Kimi K3 モーメント

このラインを見て、著者が「普通のコーディング作業」と言ってるのは、モデルの出力を区別できないほど理解してないことを意味してるのかなって思った。

Fable HighとK3 Highを比べてるんだ。主にゲーム開発に使ってるモデルなんだけど、送るタスクはあいまいなビジュアルバグとか、シーンやモデルの見た目を変えたり、大きな機能を追加したりすることが多い。言葉がちょっと正確じゃなかったね。普段はFableやK3を使うことはあまりないし、もっと小規模なタスクを自分でレビューしてることが多いよ。

Kimi K3は、他のモデルと同じくらい補助金が出てるの？

Kimi K3の公的ベンチマークをやり直すのは面白そうだけど、コストをトークンで正規化するのが条件だね。まあ、K3がターミナルベンチではFableに勝つかもしれないけど、どれだけのトークンを使ったのかっていうのが重要だよね。

私の経験では、Kimiは考えすぎる傾向があって、特に自分を何度も疑ってるのが目立つんだ。何度も「待って、実は…」って段落を繰り返して、聞かれたことの小さな詳細にすごく時間をかけてトークンを使っちゃうのを見てきたよ。でも、GLM 5.2にJSコードをPythonに移植するタスクを与えたときは、Kimiほど疑わなかったけど、やっぱり疑ってた。ウェブ検索を繰り返して、細かいことを何度も疑って、合計で$0.25のAPIを使って約50行のJavaScriptを移植したんだ。最初の実行ではエラーが出たけど、2回目には動くプログラムをくれたよ。Claude Code/Fableにも同じタスクを与えたけど、かなり短時間で終わったし、GLMと同じエラーに引っかかった。でも、修正はさせなかった。タイミングの違いに興味があったからね。オープンモデルが好きだけど、もっと疑わないように訓練されることを願ってる。もしかしたら、私がプロンプトを変える必要があるのかもしれないけど、よくわからないな。

Kimi K3を、普段使ってる他のモデルでやったタスクで試したけど、問題に対してすごく時間がかかって、$19プランの5時間の使用制限をほぼ使い切っちゃった。ArtificialAnalysisによると、Kimi K3はタスクごとのトークン使用量でDeepSeek v4とGLM 5.2の少し下に位置していて、Grok 4.5の約2倍から3倍のトークンを使ってるみたい。https://x.com/ArtificialAnlys/status/2077832879187620192 / https://archive.vn/zBbFi 2つの他のオープンウェイト、MiMo v2.5とMiniMax M3は比較的節約できる。> サブスクリプションの使用制限は測定が難しいね。どのプロバイダーもトークンや他の比較しやすいものについて直接教えてくれないから。私はいつも「AIゲートウェイ」（CloudflareやOpenRouterは無料）を通してコーディングのサブスクリプションを使って、トークンの使用を追跡してる。私の経験では、KimiとQwen Cloudは不透明で制限が厳しいし、「クレジット」がすぐに減っちゃう。だから、MiniMax、DeepSeek、Xiaomi、Z.aiのような透明なプロバイダーに直接サブスクライブすることにしてる。 [0] OpenCode Go、Cline、AtlasCloudはオープンウェイトに対して寛大な制限があるけどね。

サブスクリプションの使用制限は測りにくいよね。どのプロバイダーも、トークンや他の比較しやすいもので何を意味するかを直接教えてくれないし、AIのサブスクリプション価格は本当におかしい。モデルによって異なる使用量があって、トークンの使用量で測られてるんだけど、そのトークンは（通常は）ベンダーが提供するインターフェースやモデルが使いたがる数によって変わる。そして、使用は不透明な時間制限によって制限されるんだ。

オープンウェイトモデルができることには感心してるっていう前提を置いておくけど、どのモデルでも同じ体験をしてる。ベンチマークが出て、Nヶ月前のOpusと同じくらいだって言うけど、複雑なタスクに使うと、似たような問題に対してNヶ月前のOpusほどうまくいかないんだ。オープンウェイトモデルが素晴らしいことをするのを見ると本当に驚くけど、私の経験では、フロンティアモデルとのギャップはベンチマークが示すよりも常に大きかった。オープンウェイトモデルは、OpenAIや他のフロンティアAPIのコストよりも安く、低い複雑さのタスク（私の主な使用ケースではプログラミング以外）を処理するのに価値があることが多い。そういうモデルでも、フロンティアモデルとのギャップはベンチマークが示すよりも大きいことがある。もしベンチマークが直接操作されていないなら、少なくともトレーニングデータやモデル構造が公共のベンチマークパフォーマンスを最大化するように選ばれていることがある。すべてのラボは、良いベンチマークを持つことがモデルの価値を示すために重要だって知ってる。ほとんどのLLM消費者は、ラボが提供するベンチマークチャートに基づいて選んでいるから、自分で評価を行うのは難しくて高くつくんだ。

そういう行動は、トップクラスのオープンウェイトモデルで見たことがあるよ。K3はトークン効率の改善があるって言われてたけど、特にK2.xの思考ループの問題を解決することを期待してたんだ。でも、今回のリリースが少しでも助けになったとしても、まだまだ道のりは長そうだね… 何が問題なのか分からないけど、ファインチューニングの質が足りないのかな。OpenAIがここ数ヶ月でやってきた推論効率の改善は本当に素晴らしいよ。ベンチマークゲームやファーブルの騒ぎに少し影が薄くなってるけど。今はトークンコストや知能よりも、特定のタスクを解決するためのトークンに焦点を当てるべきだと思う。もしトークン予算内で全く完了できないか、腎臓を一つ失うような大きな知能があっても、何の意味があるの？「最大の力」を本当に求めるニッチな用途があったとしても、トークンコストの十分の一で同じようにこなせるモデルと比べて、もっと厳しくペナルティを課す必要があると思う。人工知能のサイトでいくつかのベンチマークは知ってるけど、明らかに今はそれに十分注目してないし、ユーザーに楽しいサプライズを残してる状態だね。

キミのプランが安くなると思ってお金を払うのは絶対にやめた方がいいよ。中国の電話番号で登録すれば、同じプランを200元で手に入れられるけど、確か中国の決済方法しか受け付けてないはず。だから、プランは本当に中国のユーザー向けに作られてるんだ。