📰 重點摘要

2026年春天,美軍已出動軍機執行針對一艘中國船隻的武力行動,官員卻在最後一刻驚覺:支撐此次行動的情報竟是AI聊天機器人「幻覺」出來的產物。CNN週五報導指出,該行動在最後關頭緊急中止,驚險避免了與中國爆發潛在衝突。

這份情報流傳於美伊戰爭期間,內容宣稱該船隻載有核武計畫相關零組件。假情報源頭是一名特種作戰司令部的分析師,他使用AI聊天機器人整合公開情報與機密信號情報時,該工具誤判了船隻的貨物艙單內容。該分析師接著第二次使用該工具,把這些錯誤結論整理成一份看似正式的官方摘要,並在指揮系統各層級間流傳擴散。

這起幾乎釀成大禍的事件,正值美軍積極加速整合AI以提升決策速度、維持對中國的優勢之際。五角大廈曾表示AI能大幅加快「殺傷鏈」(kill chain)反應速度,讓指揮官能即時應對。但同樣的速度優勢,也可能讓AI幻覺在人為監督不足時長驅直入。

GovAI研究學者、退役美軍軍官Jake Steckler向TechCrunch書面回應表示,軍人必須理解大型語言模型固有的不確定性,尤其在攸關武力使用的決策(如鎖定目標、情報分析、作戰規劃)上更是如此,因為這類決策攸關生死。他強調,這起事件應成為強化AI安全防護機制的警訊,而非因噎廢食,若一味追求採用速度而犧牲安全措施,只會讓軍人對AI系統失去信任,最終反而拖慢採用進程。

💬 JudyAI Lab 觀點

美軍今年春天差點因一份由AI聊天機器人「幻覺」出的情報,對中國船隻發動武力行動,直到最後一刻才緊急喊停,驚險避開一場潛在衝突。

我們認為這起事件的關鍵不在AI犯了錯,而在錯誤如何一路被放大:一名分析師用聊天機器人整合公開情報與機密訊號情報,工具誤判了貨物艙單內容,分析師接著又把錯誤結論整理成正式摘要,在指揮系統各層級間流傳,層層轉發卻沒人回頭核對原始資料。這正是追求速度時最容易出現的破口,工具跑得越快,錯誤傳播得也越快,尤其是在攸關生死的決策場景。

給AI builder的提醒:任何AI產出的關鍵結論,都該保留一條可回溯查證的路徑,而不是任由摘要一路往上傳卻無人核對來源。

📅 原文資訊

🔗 延伸閱讀