//💰Claude 的中文稅竟然是真的?問同樣內容比英文多花 65% token,OpenAI 只多 15%
AI 研究員 Aran Komatsuzaki 將 Rich Sutton 的知名論文「苦澀的教訓」(The Bitter Lesson)翻成 9 種語言
餵進 OpenAI、Gemini、Qwen、DeepSeek、Kimi、Claude 6 家模型的分詞工具
結果:同樣的內容用中文問 Claude,token 消耗是基準的 1.65 倍;用 OpenAI 只有 1.15 倍
6 家橫評裡 Anthropic 墊底。
翻譯會改變文字長度,所以跟英文比的倍數不完全精確。
但更有說服力的是同一段中文在不同模型上的表現:Kimi 只花 0.81 倍(比英文還少),Qwen 0.85 倍,到 Claude 上變成 1.65 倍。
文本完全一樣,差距顯然來自於分詞工具的效率。
而中國模型處理中文比英文還省,表示問題不在中文本身,而在分詞工具有沒有為該語言做過優化。//
AI 研究員 Aran Komatsuzaki 將 Rich Sutton 的知名論文「苦澀的教訓」(The Bitter Lesson)翻成 9 種語言
餵進 OpenAI、Gemini、Qwen、DeepSeek、Kimi、Claude 6 家模型的分詞工具
結果:同樣的內容用中文問 Claude,token 消耗是基準的 1.65 倍;用 OpenAI 只有 1.15 倍
6 家橫評裡 Anthropic 墊底。
翻譯會改變文字長度,所以跟英文比的倍數不完全精確。
但更有說服力的是同一段中文在不同模型上的表現:Kimi 只花 0.81 倍(比英文還少),Qwen 0.85 倍,到 Claude 上變成 1.65 倍。
文本完全一樣,差距顯然來自於分詞工具的效率。
而中國模型處理中文比英文還省,表示問題不在中文本身,而在分詞工具有沒有為該語言做過優化。//