まずはOpenRouterでテストモデルを試してみて。

共有してくれてありがとう！実際に試した人たちからのこういう内部情報の信頼できるソースが欲しいな。（今のところ見つけた中で一番いいのは、Twitter/Xのアレックス・ファテエフ（https://x.com/superalesha）やAJ（https://x.com/ItsmeAjayKV）みたいな人たち）私は今、すごく限られたGeforce GTX 1660 6GBを使ってるんだけど、こんなクソみたいなカードでもどこまでできるか見てみたいな。少なくとも、jan.aiで小さなモデルを試したときに、CPUベースとこのクソGPUベースの推論の違いを見るのはかなり驚きだった。少なくともオーダーオブマグニチュードで速いから。

いい感じだね。ローカルLLM/AIがもっと強力になって、古いハードウェアでも利用できるようになることを願ってるよ。私はllama.cppを使って、GPU（GTX 750 Ti 2GB）に「できる限りすべて」をオフロードしてみたんだ。ローカルのQwen2.5-Coderをかなり速く動かせた（覚えてないけど、25〜30 t/sくらいだったかな）。でも、このモデルは悪いコードを生成するんだ（PythonとJavaScriptを試した）。だから、私のセットアップでは無料のChatGPTとチャットして、ウェブチャットとコードエディタの間でコピペする方がいいかな。私のGPUで何か試す価値あると思う？どう思う？それと、仕事ではClaude Code（Opus 5.5）やCodexを使ってるけど、個人的なことには無料のソリューションを試してみたい（それがローカルLLMを試した理由）。今のところサブスクリプションは買いたくないな。

これをいじってみる必要があるな。私はRyzen 5950X、64GB DDR4 RAM、12GBのRadeon RX 6700 XTで動かしてるんだけど… 驚くようなことは期待してないけど、11から120 (!) t/sの間で出てる。オープンエンドの質問をしたんだ：「{大きなプロジェクト}の{場所}で、このファイルの何を改善する？」って。コンテキストウィンドウが小さすぎるみたいで、ぐるぐる回ってる。何か間違ったことをしてるのかな。やっぱり驚くようなことは期待してないし、「私が間違って持ってる」ってことを受け入れるつもりだよ。llama-server \ -m ~/models/tiel-coder/Tiel-Coder-35B-A3B-MTP-UD-IQ4_XS.gguf \ -ngl 20 \ -c 16384 \ --jinja \ --alias tiel-coderを使ってopencodeで { "$schema": "https://opencode.ai/config.json", "provider": { "llamacpp": { "npm": "@ai-sdk/openai-compatible", "name": "Local llama.cpp", "options": { "baseURL": "http://127.0.0.1:8080/v1" }, "models": { "tiel-coder": { "name": "Tiel-Coder 35B A3B", "limit": { "context": 16384, "output": 4096 } } } } }, "model": "llamacpp/tiel-coder" }

ローカルでは、MOEベースのモデルがハードウェアからもっと引き出せるよ、密なモデルよりも。Qwen 3.8-27Bは、24GB以上のVRAMがあれば現在のゴールデンチャイルドだけど、密なモデルだから動かすのはかなり遅くて、たくさんのハードウェアが必要なんだ。多くのガイドは密なモデルを動かすことに焦点を当ててるけど、実際にはアクティブなパラメータが少ないMOEモデルの方が速くて、あまり知性を失わずに動かせるんだ。彼らはアクティブなパラメータのサイズよりも、ピークサイズに近い動作をする。RAMはMOEの大きなボトルネックになるだろう（少なくとも今のところ）から、どの量子化を実行できるかを決めるんだ。3080 10GBと32GBのRAMでqwen-nextコーダーモデルを動かせるけど、これは127Bモデルで、65kコンテキストで40-50トークン/sが出る。私の経験では、これは量子化されたQwen3.8-27Bよりもずっと使いやすいし、速いし、能力も高い。Qwen4がすぐに出るのを楽しみにしてるよ。27-35BのMOEモデルがもっと出てくれるといいな。ローカルハードウェアにとっては本当に良いものになるだろう。

A3Bっていうのは、そのモデルの「専門家」たちが混合専門家（MOE）モデルで3Bのパラメータを使ってるってことだよ。4ビットの量子化だと、1バイトあたり2つのパラメータが入るから、1人の専門家につき1.5GB（ちょっとオーバーヘッドも含めて）になる。これで8GBのカードでも使えるってわけ。要はトレードオフだね。VRAMにどれだけモデルを読み込むか、コンテキストにどれだけVRAMを確保するか、どれだけの量子化に耐えられるか、1秒あたりのトークン数にどれだけ耐えられるか、VRAMを他の用途（グラフィックスとかテキスト読み上げとか）に使いたいか、などなど。

このツールは各モデルに対してすごく小さい量子化が用意されてて、デフォルトでその小さい量子化になってるから、あなたが…試したかどうかはちょっとわからないな？