📰 重點摘要

Google Research與Google DeepMind近日展示AMIE(其研究型醫療AI系統)首次進行即時臨床視訊問診的能力。過去看診時,醫師能觀察咳嗽、步態、不適表情等語言之外的線索,而AMIE現已能在視訊情境中做到這點。系統以Gemini與Project Astra為基礎,採多代理(multi-agent)架構打造,能解讀視覺與聽覺線索、引導虛擬理學檢查(physical exam),並即時進行診斷推理。

研究團隊以模擬問診方式進行隨機對照研究,由病患演員與一群基層醫師(primary care physicians)參與,並由臨床評估者從多項核心臨床能力面向評分,包括病史詢問完整度、診斷準確性、處置適當性,以及溝通品質,結果AMIE在這些面向均獲得正面評價。此外,病患演員也表示偏好視訊問診體驗,勝過純文字聊天形式。

Google強調AMIE目前仍屬研究性質系統,距離可負責任地實際應用於臨床場域前仍需更多研究驗證,但此次展示為醫療AI的未來發展提供了令人期待的一瞥。詳細內容請見原文連結。

💬 JudyAI Lab 觀點

Google DeepMind近日展示AMIE(研究型醫療AI系統)首次進行即時臨床視訊問診,能像醫師一樣觀察咳嗽、步態等非語言線索,值得AI圈關注。

AMIE以Gemini與Project Astra為基礎,採多代理架構,能同時解讀視覺與聽覺線索、引導虛擬理學檢查並即時推理診斷。這反映一個明顯的設計趨勢:AI系統正從單純的文字問答,走向能整合多模態情境資訊的互動代理。研究團隊以模擬問診搭配病患演員與基層醫師進行隨機對照研究,由臨床評估者對病史詢問完整度、診斷準確性、處置適當性與溝通品質評分,結果均獲正面評價,病患演員也表示偏好視訊問診勝過純文字聊天。這說明多模態不只是技術升級,更直接影響使用者的信任與體驗。Google也強調AMIE仍屬研究性質,距離實際臨床應用還需更多驗證。

對AI builder來說,可以想想自己的產品若加入語音或視訊等多模態輸入,能否補上文字互動遺漏的關鍵資訊。

📅 原文資訊

🔗 延伸閱讀