什麼是注意力機制?

讓模型在處理一個詞時,能「注意」到輸入中其他相關的詞。就像閱讀時,看到「銀行」這個詞,你會根據上下文判斷是「河岸」還是「金融機構」。這是 Transformer 的核心技術。