SRC-LIFE-006：实测数据告诉你：带引用的 AI 也不可靠
来源说明
这是复旦大学新闻学院《数据新闻与可视化》课程团队（署名：夏昊扬、李林杰、宋语阳、唐小茗）在澎湃新闻·澎湃号发表的中文实测。团队让多款主流模型在联网与不同推理设置下回答专业信息问题，再逐条人工判断回答中的引用是否真正支持对应结论。它适合作为普通人理解"有链接不等于已核实"的真实案例。
原始资料：
核心数据
- 实验对象：5 款主流模型（原文刻意未点名，Wiki 不补全）
- 问题集：8 组问题，源自团队成员各自的专业背景
- 设置变量：每款模型分别测试"开启深度思考"和"不开启深度思考"两种模式
- 总回答数：400 个
- 总引用次数：3123 次
- 完整支持回答的引用：1706 次
- 不能完整支持的引用比例：45.37%
- 最常见的错误类型："无中生有"，在 3123 次引用中出现 952 次
实验给出的七类引用错误
- 链接失效
- 无中生有（链接根本不存在或对应页面与表述无关）
- 张冠李戴（链接来源正确，但所述事实与该来源不符）
- 时间混乱（引用了过时数据或时间错位）
- 以全概偏 / 以偏概全（用片面或不具代表性的来源支撑普遍性结论）
- 计算错误（模型基于引用做出的运算出错）
- （与"以全概偏"并列出现，原文表述略异）
来源本身给出的关键结论
- 联网和引用只能提供核查入口，不能替代打开原文、定位证据、判断证据是否支持结论。
- 开启更强推理（深度思考模式）在该实验中并未稳定降低引用错误。
- 不能把"回答更长、推理过程更多"直接理解为"事实更可靠"。
操作过程（团队经验）
- 先把需要核实的结论拆成可单独判断的事实陈述。
- 要求模型给出来源链接，但不把"出现链接"当作核验完成。
- 打开每个链接，检查页面是否存在、是否为原始或可靠来源。
- 在页面中定位与回答相对应的证据，判断证据是否完整支持表述。
- 记录无中生有、张冠李戴、时间错位、范围扩大和计算错误等问题。
- 医疗、法律、金融和公共安全等高风险信息继续交给专业人员或权威机构复核。
适用对象
使用 AI 做消费研究、资料检索、新闻判断、工作调研或专业信息查询的普通用户；以及对"AI 引用是否可信"这一议题感兴趣的研究者与新闻从业者。
来源边界
- 来源直接支持：实验设计、样本数量、引用数量、支持性判断方法和原文列出的错误类型。
- 不支持的：把实验结果外推到所有模型、所有任务、所有领域；把"45.37%"读作"AI 总体准确率"；把五款模型具体到任何已命名产品；把实验结论延伸到投资建议、医疗处方、法律判断等高风险决策。
- 时效性：实验采集于 2025-07 前后。Wiki 收录时间为 2026-07-13。模型版本与网页内容会持续变化，所有引用核验应以当前模型、当前来源、当前日期重新执行。
可生成的关系
原始引用摘录
实验针对 2025 年当时的五款模型和特定问题集，不能直接推导所有模型在所有任务上的准确率。