📰 重點摘要

OpenAI近期針對ChatGPT在低資源程式語言上的表現進行強化，推出新一輪評測，聚焦軟體工程任務、SQLite相關操作，以及COBOL程式碼的遷移能力。相較於Python、JavaScript等主流語言，這類語言由於訓練資料稀少，長期以來是大型語言模型表現較弱的環節。此次更新透過新增專屬評測基準，檢視模型在撰寫、除錯與移植這些語言程式碼時的實際準確度與可靠度，藉此找出能力落差並針對性改善。詳細內容請見原文連結。

💬 JudyAI Lab 觀點

低資源程式語言一直是大型語言模型的弱點，這次OpenAI針對COBOL與SQLite強化評測，反映業界終於正視這塊長期被忽略的缺口。

多數模型的評測資料長期集中在Python、JavaScript這類主流語言，COBOL這種仍撐著銀行、保險核心系統的語言卻乏人問津。OpenAI透過新增專屬評測基準，檢視模型在撰寫、除錯、移植這些語言程式碼時的準確度，顯示評測設計正從「全能幻覺」轉向「場景化驗證」。對AI builder而言，這提醒我們：模型在主流語言表現亮眼，不代表在冷門語言同樣可靠，產品設計得針對實際使用情境做專屬測試，而非只看通用榜單分數。

如果你的產品涉及非主流程式語言，建議自建一組貼近真實任務的評測案例，別只信賴公開榜單資料。

📅 原文資訊

🔗 延伸閱讀