串流輸出

串流輸出是什麼？LLM 一邊生成一邊回傳結果，而不是等全部完成才一次送回。用戶體驗更好（看到字一個個出現），Agent 可以更早開始處理。但要注意串流中斷的錯誤處理。 — Judy AI Lab AI 詞彙庫

framework intermediate

什麼是串流輸出？

LLM 一邊生成一邊回傳結果，而不是等全部完成才一次送回。用戶體驗更好（看到字一個個出現），Agent 可以更早開始處理。但要注意串流中斷的錯誤處理。