AI 研究室 EP13|AI問不出關鍵問題:會看病歷,卻不會問病史
#高雄 正義站&黃線捷運計劃,平面車位3房全新完工
實品屋預約鑑賞中。正義站通勤南科,未來捷運串連衛武營、Lalaport。正義公園,風景入門廳 。陽明國中自由學區07-7801988 洽澄清路227號
https://sofm.pse.is/9v2m2a
----以上為 SoundOn 動態廣告----
把病歷、檢查報告整理好餵給 AI,它像神醫;要它自己開口問病人、問現場人員,或被你一句「你確定嗎?」頂回去,表現就開始變形。這一集拆解三篇 2026 年 11 月的 arXiv 預印本,看大型語言模型在「互動」裡的能力邊界:Ravenda 等人的 Hx2Dx 把 1,000 個 NEJM 真實病例變成問診競技場;Tang 等人的 Ask2Decide 用 43 個營運規劃任務測 AI 代理人會不會問出改變決策的事實;Lee 的 Room to Reconsider 則發現,被質疑時 AI 是迎合還是自我修正,關鍵在給它多少回覆空間。
🎧 這集你會聽到:
・開場情境:資料給齊時的「全知幻覺」,與 AI 必須主動蒐集資訊時付出的「互動稅」
・Hx2Dx(Ravenda 等人,2026):AI 醫生只拿到一句轉介(年齡、性別、主訴),要自己問病史、開檢查;病人只簡短回答,資料代理只提供原病例真的做過的檢查
・資料一次給齊的靜態版,GPT Luna 6 準確率 83.9%;改成自己問診,7 個模型全部下降 24.8 到 36.5 個百分點,GPT Luna 6 跌到 47.4%(準確率定義見補充)
・轉錄稿移植實驗:把最會問診的 GLM 5.3 Flash 的對話紀錄交給較弱的模型,模型間差距從 32.5 縮到 11.4 個百分點——卡關的多半是「問」,不是「想」
・限制:病人、資料與評分都由 Gemini 3.5 Flash Lite 擔任,互動上限 50 回合,沒有真人醫師對照
・Ask2Decide(Tang 等人,2026,作者標註 Work in progress):派車、護理師排班等 43 個任務,人類操作員握有紀錄裡沒有的「今天的事實」,例如某條路封閉、一號車 10 點前要回場
・用 Gurobi 求解器算出每個隱藏事實的後悔值,並為關鍵事實配上「雙胞胎事實」:句型一樣、聽起來同樣重要,卻不影響最佳計畫
・大型任務中,GPT-6.1 Sol 問出關鍵事實 37%、雙胞胎事實 39%;資訊給齊與自己問的第一份計畫損失差距,以及 58% 計畫無法執行(口徑見補充)
・Room to Reconsider(Lee,2026):同一句「你確定嗎?」,Qwen3-4B 在 96 token 短回覆時準確率下降 1.3 個百分點;給到 1,024 token,它把 43.2% 原本答錯的題目改對,整體準確率上升 5.7 個百分點
・損益兩平規則:初始準確率 a 小於 c/(c+k)(c 修正率、k 屈服率)時,質疑反而有益
・延伸討論:AI 家教該示範「怎麼問」;以及三個重點——蒐集比分析難、問得多不如問得對、不讓 AI 把話說完才是真正的毒藥
📌 補充說明:
・約 04:49:本集的「準確率」把完全正確與部分正確(抓到正確的疾病類別或機轉)都算成功。只算完全正確時,互動版最好的 GLM 5.3 Flash 為 36.6%、GPT Luna 6 為 27.6%。
・約 06:56:論文原文是較弱模型「最多」追回約四分之三的互動損失;依數字約為 65%–71%(例如 Llama 4 Scout 由 23.6% 升到 48.0%)。即使拿到最佳問診紀錄,各模型仍比自己的靜態版低 9.9–27.6 個百分點。
・約 07:44:Gemini 3.5 Flash Lite 同時擔任病人、資料、評分代理,也是 7 個受測模型之一,這是事實;「可能有自我偏好」是延伸評估,不是論文自述的限制。
・約 11:49:37% 與 39% 是 17 個大型任務(frontier-A)、以「操作員有說出該事實」計算;只算模型自己有問到的,為 24% 與 21%。全部 43 題中,模型對關鍵事實的揭露率仍比雙胞胎高 5–12 個百分點,只是偏好很弱。
・約 12:20、21:01:「文字接龍、模式匹配、在做詩」是主持人對原因的推測,論文沒有提出這個機制解釋。
・約 12:58–13:19:論文的「損失」是 0(最佳計畫)到 1(無法執行)的指數,不是百分比。資訊給齊時四個模型的第一份計畫損失為 0.05–0.28,自己問時升到 0.60–0.98;音訊說「0.05%」有誤,換算約為 5%。58% 是表現最好的 GPT-6.1 Sol 第一份計畫無法執行的比例,四個模型為 58%–98%(資訊給齊時僅 5%–28%)。
・約 14:02 與 20:00–20:27:「100 萬買股票」與「金融機構限制 token 輸出」是主持人的延伸情境,三篇論文都沒有金融實驗,不構成投資建議。
・約 16:50:96 token 下的 −1.3 個百分點統計上不顯著(95% 區間 −3.3 到 +0.6);短回覆時只有 Qwen3-8B 的下降顯著。
・約 19:09:應為 4-bit 量化,不是「4B」;受測模型最大 8B 參數。
・約 19:41:「簡單題被質疑反而改錯」是由兩平規則推得的方向。實測中允許完整回覆時,5 個設定有 4 個質疑後準確率上升,包括 Qwen3-4B 在初始 85.9% 的 ARC 題組仍 +3.9;唯一負值是 OLMo-2 7B(−1.2,不顯著)。
📚 本集引用文獻:
Ravenda, F., Cesarini, M., Montagnani, D., Karpenko, V., Mira, A., & Raballo, A. (2026). Hx2Dx: From Anamnesis to Diagnosis – A Multimodal Arena for Conversational Clinical Reasoning in LLMs. arXiv:2611.14122v1. https://arxiv.org/abs/2611.14122v1
Tang, Y., Fan, K., Zou, X., Mo, B., Cui, K., Qu, A., Zheng, O., Yu, J., Koutsopoulos, H. N., Zhao, J., & Zhou, Y. (2026). From Questions to Decisions: Benchmarking How LLM Agents Acquire Decision-Relevant Information from Human Beings. arXiv:2611.13015v1. https://arxiv.org/abs/2611.13015v1
Lee, O. (2026). Room to Reconsider: Reply Length Decides Whether Pushback Makes Language Models Sycophantic or Self-Correcting. arXiv:2611.11035v1. https://arxiv.org/abs/2611.11035v1
⚠️ 本集語音由 AI 生成,可能有簡化、比喻或口誤,引用前請以原始文獻為準。
AI 研究室|把論文聽進去 🎙️