陳芷洛心跳與健康主題中英文書目 AI 核驗案例
背景與目標
臺灣大學圖書館參考服務館員陳芷洛在 2023 年以「心跳對健康的影響」為主題，先向 ChatGPT 詢問可參考的中文期刊文章，再以同一主題詢問可參考的英文期刊論文。目標不在評測 ChatGPT 的綜合能力，而是針對 AI 生成書目做圖書館級的逐條核驗，展示外觀完整的書目並不等於真實存在的文獻。
輸入與條件
- 兩類真實提問：
- 中文：詢問探討心跳對健康影響時可以參考哪些中文期刊文章。
- 英文：詢問心跳與健康相關的英文期刊論文。
- ChatGPT（2023 年 4 月測試版本）返回的中英文書目，每條包含作者、題名、期刊或出版社、年份、卷期或頁碼等欄位。
- 可用核驗入口：
- 中文：臺灣大學圖書館目錄、臺灣「國家圖書館」期刊文獻系統、華藝、CNKI、Google。
- 英文：PubMed、Scopus、Web of Science，輔以 Crossref、Google Scholar、出版商頁面、DOI 解析頁。
過程
- 將模型給出的中文四條書目逐條在多個目錄與資料庫檢索，嘗試完整題名與「作者＋年份」組合。
- 在多個覆蓋範圍不同的入口後仍未發現任何對應記錄，因此將四條全部標記為「在已查詢目錄與資料庫中未能驗證」。
- 將模型給出的英文三條書目在 PubMed、Scopus、Web of Science 中逐一核驗，發現三種不同型態的錯誤。
- 對第一條確認為真實論文但年份寫錯，正確年份應為 2018。
- 對第二條以題名與期刊兩組關鍵詞交叉檢索，發現模型所稱期刊無該文，另一期刊存在題名相近的真實論文。
- 對第三條先用完整題名檢索無結果，再以題名拆分檢索（拆開長題名，去掉低區分度方法詞，用前半段或關鍵詞組合檢索），找到若干主題相近的真實論文，判斷為拼接型記錄。
- 對未驗證條目保留「當前無法驗證」狀態，並未讓 AI 自行補全。
產物或結果
- 一份分類標註的引用問題清單：
- 中文 4 條：在多種入口中無法驗證。
- 英文 1 條：存在但年份有誤。
- 英文 1 條：題名與期刊錯配。
- 英文 1 條：疑似多篇真實論文題名片段拼接。
- 一份逐欄位核驗示範：作者、完整題名、期刊、年份、卷期、頁碼、DOI 各自如何被獨立檢查。
- 一條可重複使用的方法鏈：保存問答 → 拆欄位 → 選入口 → 完整題名檢索 → 題名拆分檢索 → 逐欄位比對 → DOI 終檢 → 內容支持性檢查。
限制
- 樣本集中在心跳與健康主題，條目數量有限；不能據此計算 ChatGPT 在全部學科或當前版本的虛構比例。
- 館員並未對所有英文條目逐篇閱讀全文，本案例不證明 AI 對論文觀點的概括是否準確。
- 部分資料庫需要機構訂閱；對無法訪問專業資料庫的使用者，覆蓋能力受限。
- 2023 年測試版本的行為可能與 ChatGPT 當前版本不同。
- 「查不到」嚴格意義上為「在已查詢目錄與資料庫中未能驗證」，並不等於文獻絕對不存在。
相關教程、工具與方法
來源
本案例直接來自 02-learning-research/SRC-LEARN-008.md，原文展示完整的中英文核驗操作鏈；本 Wiki 頁面僅對其結構、欄位與方法做歸納與雙鏈整理。