A/Bテストを通じて発見された「Gemini 3.0」

みんなが盛り上げるのは分かるけど、ここに貼られるTwitterリンクが「これはゲームチェンジャーだ!!! もう何も同じじゃない!!! インパクトに備えろ!!!」みたいなエネルギーで溢れてるのはちょっとウザいよね。例は素晴らしいけど、君が言ったようなプロフェッショナルじゃない評価は無視できない。

健康関連のことにLLMをよく使ってる（例えば、「過去12ヶ月の血液検査パネルが6つあります。医療情報のリストを見て、トレンドや洞察、相関関係を特定してください」みたいな）。私はプロジェクト機能が好きだから、デフォルトでChatGPTを使ってる（Geminiにはないと思うけど）。たまに同じプロンプトをGeminiでも試して比較してる。いくつかのメモ：1) Geminiは100%のケースで反応が早い（私のプロンプトのほとんどはChatGPTを考え込ませる）。ChatGPTは遅い。2) 考える時間が長くても、必ずしも質の良い回答に繋がるわけじゃない。むしろ、Geminiは反応時間が短いにもかかわらず、質の高い分析を提供してくれる。3) Gemini（とClaude）はChatGPTよりも検閲が厳しい。Gemini/Claudeは医療関連のプロンプトを拒否することが多いけど、ChatGPTは答えてくれる。

同意するよ。私はGemini 2.5 ProがClaudeやGPT-5よりも優れてると感じるケースがいくつかある：* 創作：Geminiはここでは圧倒的な勝者だと思う。個人的には、Gemini 2.5 Proは創作に使えるモデルの中で唯一の「なんとなく」使えるモデルだと言ってもいい。詩や短編小説の批評に使ってるけど、Geminiほどニュアンスを理解してくれるモデルは他にないよ。もちろん、どのモデルも詩を書くのはまだまだひどいけど。* 複雑な推論（例えば、学部や大学院レベルの数学）：ここではGeminiがほんの少しだけベストだと思う。Claude Opus 4.1とSonnet 4.5もかなり近いけど、Gemini 2.5の方が予測可能な正しい答えを書くと思う。私の偏見は代数系のことにあって、通常は可換代数、線形代数、カテゴリー理論、群論、代数幾何、代数トポロジーについて質問してる。一方で、Geminiはエージェント行動に関してはClaudeやGPT-5よりもかなり劣ってる。大きなコードベースを検索してオープンエンドの質問に答えたり、リファクタリングを書くのは苦手みたい。ツールコールの挙動がバグってて、Copilot/Cursorでは一貫して動作しないようだ。全体的には、Gemini 2.5 Proが最も賢いモデルだと思うけど、もちろんタスクによって異なるモデルを使う必要があるね。

検索して基盤を確立することに関しては、ClaudeとGeminiはChatGPTに比べてかなり劣ってると思う。Geminiは数回検索してから適当なことを言い出すけど、ChatGPTは何十回、あるいは何百回も検索して、前の検索結果に基づいて検索を行うからね。

Geminiは思考トークンがユーザーに表示されていた時は良かったんだけど、Googleがそれを思考の要約に置き換えた瞬間、あまり役に立たなくなった。以前は、思考がすごく整理されていて、最終的な答えよりもそっちをよく読んでた。

一貫してGeminiがChatGPT、Claude、Deepseekよりも優れていると感じている。私はChatGPTのProモードを利用可能になってからずっと使ってるし、ClaudeやGemini、Deepseekなども時々試してるけど、どれもProモードには全然及ばない。あれは本当に他のすべてよりも圧倒的に優れてるからね。だから、「XとChatGPTを比較してる」と聞くと、あなたはChatGPTの最高のものと比較してるの？それとも「オート」と比較して終わりにしてるの？人々がProモードに対してお気に入りのモデルをテストしない理由はわかるけど、実際に「すべてのモデルを試したけど、Xが一番だ！」って言う時には、もう少し具体的な情報を提供してくれると助かるな。（私も主にウェブ開発、UI、UXをやってるよ）

同意だね、そしてその大きなコンテキストウィンドウは素晴らしい。俺のワークフローはこんな感じだよ： - コードベース全体を文字列に変換 - Geminiにペースト - 質問する みんな「エージェンティック」なアプローチに夢中みたいだけど、俺はモデルに全コードベースを渡して会話する方が効果的で便利だと思ってる。コードを出力させたり、ファイルを修正したりするのも簡単だしね。

あなた一人じゃないよ。Geminiは、俺が取り組んでいる問題に対して実際に役立つことを一貫してやってくれた唯一のものなんだ（あまりボイラープレートコードがない問題ね）。他のモデルとは違って、時々複雑な推論の中で本当のエラーを見つけてくれるんだ。

ほんとにいいよね。数週間前、サードパーティのスクリプトが俺のReactボタンのクリックイベントを邪魔してたから、他のスクリプトの前にクリックをキャッチするためにmousedownイベントを追加することにしたんだ。夜遅くて疲れてたから、mousedownの後に数ミリ秒でクリックをシミュレートする簡単な方法を考えて、Geminiにその計画を伝えたんだ。クリックイベントの平均時間を教えてもらおうとしたら、なんと直球で拒否されて、代わりにmousedownとmouseupを組み合わせてイベントをトリガーするように言われたんだ（mousedownで状態を設定して、mouseupで状態をチェックしてイベントをトリガーする）。もちろん、これはずっと良い解決策だった。問題を完璧に理解していて、求めていたものをそのままくれるんじゃなくて、正しいやり方を教えてくれたことに驚いたよ。

私たちは$DAYJOBで最前線のモデルを徹底的にベンチマークしてるけど、Gemini 2.5は狭いユースケースを除けば、文句なしの王者なんだ。Googleが最高の事前トレーニングを持っていて、チューニングやアライメントでだけ劣っているという噂とも一致してる。Gemini 3が待ち遠しいよ。2.5は山の頂点にいるけど、まだ改善の余地がたくさんあるからね！編集：狭いユースケースは大体「真の推論」（GPT-5）やPythonスクリプト作成（Claudeたち）だね。