半真半假:AI 报告中的无据量化数字
风险描述
在主题、术语、文献和多数叙述都显得合理的研究文本中,AI 模型可能混入缺乏直接证据的数字或成果。这种错误比完全虚构更难发现:报告"看起来对",但具体数字(GPU 小时、性能提升、数据规模、计算成本)找不到对应的原文支持。
典型表现
- 报告中出现具体数字(如"7B 模型需要超过 18 万 GPU 小时"),但没有可直接支撑的原始来源。
- 多个 AI 模型在同一主题上给出相近数量级,但都未给出可核验的引用。
- 数字使用了具体硬件型号、训练数据规模或时间窗口,但报告中并未说明计算前提。
- 数字可能来自模型推算而非论文实验,却被包装成"论文中的实验结果"。
为什么容易漏检
- 主题背景真实、术语正确,读者倾向于默认数字也真实。
- 链接存在但只是"题名相近"的另一篇论文,肉眼难以分辨。
- 多模型一致时容易被误认为"已交叉验证"。
- 量化陈述往往嵌在长段落里,逐字核验成本高。
检查与缓解
- 把所有量化陈述单独列清单,逐项找直接来源。
- 对每个数字记录:硬件型号、实验条件、计算方式、原文位置。
- 找不到直接证据时:删除数字、改写为不确定信息、或补充可靠出处。
- 多模型一致不能替代原始证据;让不同模型互审也不能替代读原文。
- 对综述、论文或教学材料中的引用数字负责到底。
关联风险
关联方法与任务
来源