什麼是Token 化（分詞）？
把文字拆成模型能處理的小單位（Token）的過程。英文大約 1 個詞 ≈ 1.3 個 Token，中文 1 個字 ≈ 2-3 個 Token。理解 Token 很重要，因為它直接影響 API 費用和 Context Window 的使用效率。
Token 化（分詞）
Token 化（分詞） 是什麼？把文字拆成模型能處理的小單位（Token）的過程。英文大約 1 個詞 ≈ 1.3 個 Token，中文 1 個字 ≈ 2-3 個 Token。理解 Token 很重要，因為它直接影響 API 費用和 Context Window 的使用效率 — Judy AI Lab AI 詞彙庫