📰 重點摘要

OpenAI 新模型「Astra」據《The Information》週二報導，將採用一種名為「循環深度」（recurrent depth，亦稱「不透明遞迴」opaque recurrence）的推理技術，讓模型跳脫多數推理模型慣用的線性、逐步思考方式。此技術讓模型對同一查詢在迴圈中反覆處理多次，而非依序展開步驟，結果是留下的可讀痕跡變少，等於繞過了傳統的思維鏈（chain-of-thought）紀錄方式，因此可能讓模型的思維鏈更難被監控。Redwood執行長Buck Shlegeris對此表示「極度擔憂」，並指出若OpenAI日後加大這項技術的使用強度，將有能力大幅提升遞迴程度，徹底摧毀思維鏈的可監控性。長期關注AI安全的Zvi Mowshowitz也示警，認為可能需要立法防止各AI實驗室之間出現「競次」（race to the bottom）。目前思維鏈紀錄被視為監控模型不當行為或偏差的重要工具，例如OpenAI先前處理「失控代理」（rogue agent）事件時，思維鏈紀錄就是釐清代理行為原因的關鍵依據。不過報導也指出，Astra對此技術的使用似乎有限，其思維鏈仍預期維持可讀，OpenAI也否認會轉向完全不可讀的「neuralese」模式。首席科學家Jakub Pachocki在X上重申，維持思維鏈可監控性是公司自第一代推理模型以來的核心研究目標之一。

💬 JudyAI Lab 觀點

OpenAI新模型Astra傳出採用「迴圈深度」推理技術，讓模型在同一次查詢裡於迴圈中反覆運算，而非依序展開步驟，這種設計可能讓外界更難看清模型內部的思考過程。

這反映出AI領域一個微妙的拉鋸：推理效率提升的同時，可監控性可能跟著下降。思維鏈紀錄過去是判斷模型是否偏離軌道的重要工具，例如OpenAI先前處理「失控代理」事件時，就是靠這類紀錄還原行為脈絡。一旦推理過程壓縮成不透明的迴圈運算，留下的痕跡自然變少。也因此Redwood執行長與長期關注AI安全的Zvi Mowshowitz都提出示警，擔心若缺乏約束，各實驗室之間可能出現犧牲可解釋性換取效能的「競次」局面，即使OpenAI本身表示會維持思維鏈可讀。

對AI builder而言，這是個提醒：追求更高效的推理架構之餘,也該想清楚自己的系統是否還保留足夠的除錯與稽核可見度。

📅 原文資訊

🔗 延伸閱讀