材料模拟器是一个开放的互动钢铁冶金平台,通过两个同步的表面提供相同的物理信息:一个视觉的三语教学应用(Fe-Fe3C 平衡、TTT/CCT 动力学以及动画微观结构)和一个机器可读的API,其中每个响应都携带一个版本化的推理合同——明确的假设、范围边界、置信级别、拒绝(系统拒绝提出的声明)和验证需求。除了两个教育物理层次,该平台还发布一系列不断增长的经过筛选的转化数据集(目前有来自8个来源的100个数据集),这些数据集具有数据级别的来源信息:每个值均有确切的来源位置、提取方法、提取日期,以及原始出版物的许可证和引用。该论文描述了架构、提取和法律方法论(包括对Davenport和Bain创立的1930年等温转化数据集的数字化以及1951年美国钢铁等温转化图集的所有89个等温转化图的完整集),以及针对前沿大型语言模型的一个预注册四基准评估。作者的两个初步假设被驳斥,并作为主要发现报告:教科书的平衡物理在正确性上并未优于前沿模型权重,而在模型规范被披露后,封闭形式动力学计算也并未优于模型权重——经过测试的前沿模型通过无辅助的算术重新产生了约200步的Scheil加和积分,精确到小数点后四位。测试中存活下来的成果是一个穿透性图,在三个层面上:教科书知识和披露的封闭形式计算均由模型无辅助复现,而来源标记的测量值则无法(仅凭权重的准确率为33%,在披露完整元数据但不披露值的情况下仅提高至60%,而具有实时数据访问的代理的准确率为100%)。检索是一个独立的先决条件:在一个未提示发现的测试中,3个任务中没有找到开放的机器可读资源。本文描述的数据集在CC BY 4.0下单独存档(概念DOI 10.5281/zenodo.21285189),预注册基准(10.5281/zenodo.21285520)也是如此。平台代码采用MIT许可证。预印本。包括PDF和手稿的Markdown源文件。
Jan Mészáros(Sat,)对此问题进行了研究。
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: