📰 重點摘要

機器學習中有一類核心問題：給定一批資料點，如何還原它們背後的分佈？具體而言，需要估計兩個量——密度（density）與分數（score）。密度是直方圖的平滑版本，高峰對應資料聚集處；分數則是對數密度的梯度，指向機率上升最快的方向。擴散式生成模型（如 Stable Diffusion、DALL-E）正是反覆沿分數方向移動，把隨機雜訊逐步轉化為真實影像；貝葉斯採樣與電漿粒子模擬也依賴相同的分數估計。

傳統核密度估計（KDE）不需訓練、適用任何分佈，但準確度隨維度升高急劇下降；神經網路分數匹配模型在高維下維持精度，卻必須針對每個新分佈從頭重訓，通用性受限。

AllenAI 提出的 DiScoFormer（密度與分數Transformer）同時解決了這兩個痛點。模型以一批資料點為輸入，透過堆疊的 Transformer 層與交叉注意力機制，單次前向傳播即可在任意查詢位置（不限於資料所在位置）同時輸出密度與分數，無需重新訓練。關鍵設計在於：模型以共用主幹連接兩個輸出頭，利用「分數必須等於對數密度梯度」這一數學約束作為無標籤一致性損失。推論時固定上下文，針對該一致性損失做少量梯度步驟，即可讓模型即時適應分佈外輸入，完全不需要真實標籤。

💬 JudyAI Lab 觀點

分佈估計有個長期兩難：通用方法（KDE）在高維失準，精準方法（神經網路）每換一個分佈就要重訓。AllenAI的DiScoFormer用單一Transformer同時輸出密度與分數，打破了這個取捨。

這個設計最值得關注的不只是架構，而是把數學關係轉化為訓練訊號的思維。「分數必須等於對數密度的梯度」這個約束，在DiScoFormer裡成了無標籤一致性損失，讓共用主幹同時學習兩個輸出頭。推論時，模型能在不依賴真實標籤的情況下，透過少量梯度步驟即時適應分佈外輸入。我們在設計多輸出系統時常忽略一件事：輸出之間往往存在可被利用的數學關係，這些關係本身就是免費的監督訊號，不需要額外標註成本。

下次設計多輸出模型時，先盤點各輸出之間有沒有已知的數學關係——那個關係可能就是最好的無標籤訓練訊號。

📅 原文資訊

🔗 延伸閱讀