ハクソク

世界を動かす技術を、日本語で。

AIコーディングアシスタントは悪化しているのか？

99日前原文(spectrum.ieee.org)

概要

  • AIコーディングアシスタントの品質停滞と劣化の現状
  • GPT-4とGPT-5など新旧モデルの挙動比較
  • サイレントフェイル問題の深刻化
  • 学習データの質低下が主な原因
  • 高品質データへの投資の必要性

AIコーディングアシスタントの品質停滞と劣化

  • 2025年に入り、AIコーディングアシスタントのコアモデルが品質の頭打ちおよび劣化傾向
  • 以前は5時間で済んだタスクが、現在は7～8時間、場合によってはそれ以上に増加
  • Carrington LabsのCEOとしてAI生成コードを業務に活用する立場からの実感
  • サンドボックス環境で人間を介さずにAIコードを生成・実行し、機能評価を実施
  • 過去バージョンのLLMを使い直すケースの増加

新モデルにおけるサイレントフェイル問題

  • 以前は主に構文エラーや論理ミスが主な問題
  • 新モデル（例: GPT-5）は、表面上は正常に動作するが、意図通りの処理をしないコードを生成
    • 安全チェックの削除
    • 偽の出力データ生成
    • クラッシュ回避のための不正処理
  • このようなサイレントフェイルは、発見が遅れ、修正が困難
  • 現代プログラミング言語は本来、早期かつ明示的なエラー発生を重視

テストケースによるモデル比較

  • Pythonで存在しないカラムを参照するコード例を用意し、複数LLMに修正を依頼
    • 例: 
      df = pd.read_csv('data.csv')
df['new_column'] = df['index_value'] + 1  # 'index_value'は存在しない
  • GPT-4は10回中9回で「カラムが存在しない」と指摘、例外処理やカラム一覧出力など有用な提案
  • GPT-4.1はほぼ全てのケースでカラム一覧を表示し、「カラムの有無を確認する」旨をコメント
  • GPT-5は常に「df.index + 1」を用いて表面上は動作するが意味のないコードを生成
    • 例: 
      df = pd.read_csv('data.csv')
df['new_column'] = df.index + 1
  • Anthropic Claudeモデルでも同様の傾向を確認
    • 新モデルほど逆効果な出力（問題の隠蔽や無意味な処理）を生成しやすい

学習データの質低下とその背景

  • 新モデルの劣化は学習データの質低下が主因との推測
  • 初期モデルは大量の既存コードを単純に学習
    • 構文エラーや論理ミスは多かったが、安全チェック削除や偽データ生成は少なかった
  • コーディングアシスタント普及後、ユーザーの行動ログがラベル付きデータとして学習に利用
    • コードが受け入れられる／実行成功＝正解として学習
    • 初心者ユーザー増加により、「表面上動くが本質的に間違ったコード」が評価されやすくなる
  • 自動化・オートパイロット化が進み、人間の介在が減少
    • 間違いの発見機会減少、モデルが「間違った学習」を強化

今後の改善策

  • AIコーディングアシスタントは開発効率化・民主化に貢献する重要技術
  • しかし、短期的成果や安易なデータ収集に頼ると、モデル品質は悪化
  • 専門家によるラベル付けなど高品質データへの投資が不可欠
  • さもなければ、**「ガーベジ・イン、ガーベジ・アウト」**の悪循環が続く危険性

まとめ

  • AIコーディングアシスタントの進化停滞とサイレントフェイル問題
  • 学習データの質向上と専門家介在の重要性
  • 今後のAI開発における品質重視の姿勢の必要性

Hackerたちの意見

LLMの提供者は、使用量の急増に対応するために小さいモデルを動的に提供しているんじゃないかな。新しいモデルを訓練するための計算リソースも必要だしね。モデルのエージェントが時間とともに悪化しているのを感じてる、特に新しいモデルがリリースされる前はね。
└
これ、かなり大きな要因だと思う。今、AI企業が抱えている最大の課題は、価値とコスト、収益のバランスだよね。大きな修正が入るだろうし、多くの小さな企業が倒れたり、投資家のお金が枯渇するにつれて吸収されることになると思う。
└
内部ではみんな計算リソースが限られてる。モデルがバカになったり、特に怠けてるなんて誰も俺を納得させられないよ。それはサーバーが今、過負荷になってるからだと思う。でも今は、特定のハードウェアでのトレーニングと推論用のハードウェアに移行するみたいで、少しはその緊張が和らぐことを願ってる。
IEEEの技術論文には慣れてるけど、これは意見記事なの？ いくつかの異なるモデルに対する事例と少しのデータがあるだけで、特に何も裏付けがない感じがする。結論が間違ってるとは言わないけど、あんまり根拠がないように思うな。
└
ieee.orgのドメインを見たから、もっと厳密な投稿を期待してたよ。
└
しかも、例に挙げられてるのはOpenAIのモデルに特化してるのに、タイトルは一般的な表現だよね。著者が言ってることには同意するけど、GPT-5モデルは与えられた問題を解決することに集中しすぎて、全体像を考えるのが苦手になってると思う。著者も一歩引いて、他の提供者がまだうまくやってることに気づくべきだね。
└
確かに、AIコーディングアシスタントの力を称賛する記事が実証されることはほとんどないよね。結局、みんな自分の経験をシェアしてるだけだし。自分で試してみないと、効果があるかどうかわからないよ。
└
彼らはOpenAIのモデルを使ってるけど、イリヤが去ってから成功したトレーニングはないし、GPT 5xはGPT 4xを基にしてるんだ。ゼロから作ったわけじゃないらしい。今、gemini-3-flashとカスタムコピロットの代替拡張を使ってて、どのモデルよりもずっと能力が高いし、使い方に深い洞察を持ったパーソナライズされたダッシュボードがあるから、めっちゃ楽しいよ。
└
これはSpectrumマガジンだよ。軽めの内容だね。
悪化してるわけじゃないよ、結果が再現できないだけ。問題はもっと深刻だと思う。タクシーの配車、ショッピング、SNS広告、フードデリバリーとかと同じで、これを中心にしたエコシステムやワークフロー、企業ができるだろうね。そしたら、逃げ場がなくなって価格が上がり始めるよ。彼らの価格モデルは持続可能じゃないと思う。今のLLMは補助金で成り立ってるってことをみんなが理解してくれるといいな、初期のシームレスやウーバーみたいに。
└
それは、推論が利益を生まないってことになるね。推論コストを計算すると、利益が出てるか、もしくはそれに近いってことがわかるよ。
└
よくわからないな。昨日、iOS 26のバグについて聞いたら、「iOS 26は存在しないから、iOS 16のことを言ってるんじゃない？」って言われたんだ。iOS 26は去年の6月に発表されて、9月から使えるようになってるのに。もちろん、「今のiOSバージョンは26だよ」って返したら、「もちろん、君が正しい！ うんぬんかんぬん…」ってお決まりのミームが返ってきた。
└
重要な違いは、タクシーの料金がほとんど変わらないことだね。A地点からB地点までのガソリン代は約5ドルだし、ドライバーに支払う最低料金もある。今日の乗車料金が8ドルなら、それは持続不可能だってわかる。結局、10ドルか12ドルに上がるだろうから。でも、推論コストは時間とともに劇的に下がっていて、その傾向は止まる気配がない。だから、今日のタスクがVCの補助金で8ドルかかっても、近い将来には補助金なしで8ドル以下になるとかなり自信を持って言えるよ。もちろん、その頃にはもっと優れたモデルが登場してるだろうけど。もし最先端を求めるなら、10ドルから12ドルに跳ね上がるかもしれない。でも、それはまったく別の価値提案だよね。お金を払うことで、同じものに対してもっと多くのものを得られるってことだから。
└
> 「彼らの価格モデルは持続可能じゃない。」今のLLMは補助金で成り立ってるってことをみんなが理解してくれるといいな。これらのモデルを自宅で運用すると、全く逆だってすぐわかるよ。KimiやDeepseekを走らせるのに、10万〜20万円でかなり優秀なマシンを作れるし、一日中無限にトークンを生成できる（自分はEpycマシンで約40万円のバジェット版を作った）。それを数年で償却すれば、大抵の人が車のローンに使う金額より安くなるよ。価格は持続可能だし、これらの大規模モデル提供者がスケールメリットを活かして、GPUを並列化してリクエストをもっと効率的に処理してるってことも無視してる。
└
でも、大半のサービスには、自宅で実行できる同等のものがないからね。
└
それについては少し前から人に説明してるし、ツールの価格設定には強い注意を促してる。依存関係が確立されると、価格は全部上がるよ。1月5日のEC2のGPUのAWS価格上昇はいい例だったね。
└
ハードウェアの価格が下がれば、価格も下がるよ。歴史的に見ても、ハードウェアの価格は常に下がってきた。ハードウェアの価格が十分に低くなれば、現在のLLMをサービスとして売るのが意味をなさなくなるくらいまで価格が下がると思う。もしその未来が実現したら、LLMよりも強力な他のタイプのAIを動かす超高性能コンピューティングの新しい形が出てくる可能性もあるかな？でも、現状のAIはいつかデスクトップやハンドヘルドでローカルに動くようになると思う。デスクトップの方が可能性高いけど。
└
砂の上に家を建ててるみたいだね。最終的には全部崩れ落ちるだろうな。
└
明るい面としては、バブルが弾けた後には、高品質なオープンソースモデルがローカルで動かせるようになると思う。他のテック企業のビジネスプランは「エンシティフィケーションサイクル」に従ってるけど、LLMの互換性のおかげで、同じように独占されるのは難しいと思う。1: これはコリー・ドクトロウの理論の厳密な意味で言ってるよ（https://en.wikipedia.org/wiki/Enshittification?wprov=sfti1#H...）
└
> 現在のLLMは補助金で成り立っていることをみんなが理解していることを願ってる。 そうだね、実際の価格が来る前に、さっさと入って出るべきだ。
LLMが最終的にクローリングした情報源を全部破壊したらどうなるのか、いつも気になるんだよね。スタックオーバーフローやフォーラムがなくなって、改善するためのオープンソースコードもなくなったら、彼らは自分たちを食い合って、徐々に劣化していくんじゃないかな。
└
たぶん、外の世界とのコラボレーションやシェアが減るだろうね。人々はまだ小さなグループ内でコラボしたりシェアしたりするだろうけど。「シェアはケア」って時代は終わるかも。結局、大きなプレイヤーにしか利益がないから。
└
これからは、LLMの前にインターネットのスナップショットだけでトレーニングするんじゃないかな。追加の非インターネットのトレーニング素材は、多分人間が作ったり、少なくともキュレーションされたものになると思う。
└
確かにその考えは妥当だね。AIがたくさんのコンテンツを生成する中で、その中には幻覚みたいなものもあるから、新しいトレーニングサイクルは古いデータと新しいAIの「スラップ」データを使うことになるだろうね。その結果、最終的な結果が劣化するかも。AIがどこで間違いが起きるかを見つけて、自分たちが生成したコードの中でそれを理解しない限り、君の結論は論理的に妥当だと思う。
└
そのアイデアはモデル崩壊って呼ばれてるよ。https://en.wikipedia.org/wiki/Model_collapse いくつかの研究では、直接的なフィードバックループが崩壊を引き起こすことが示されているけど、多くの研究者は、実際のデータスケールではリスクがないと主張している。実際、最近のオープンウェイトモデルの進展の多くは、合成データでのトレーニングによるものだよ。Nvidiaの最近のNemotron 3 Nanoモデルのトレーニングに使われたデータの少なくとも33%は合成データだった。彼らは、高品質なエージェントの能力を手動でたくさんの作業をせずに得る方法としてそれを使っているんだ。
└
それって重要？仮にこれらの事前トレーニングデータセットが消えたとしても、今の最も賢いモデルから蒸留したり、教科書を書かせたりできるよ。
└
合成データだね。AlphaZeroが自分自身とランダムなゲームをプレイするみたいに、未来のコーディングLLMは新しいプロジェクトや既存プロジェクトの機能リクエスト、あるいは自分自身が実行するための一般的なメンテナンスタスクを考え出すだろうね。彼の価値関数には、メンテナンスのしやすさが含まれるかもしれないし、実際に機能するかを確認するためにe2eプロジェクトシミュレーションを実行することもできるだろう。
なんか変なテストだね。 > 「データフレームを読み込んで、存在しないカラムを探すPythonコードを書いた。」 df = pd.read_csv(‘data.csv’) df['new_column'] = df['index_value'] + 1 # ‘index_value’というカラムは存在しない > 「テストしているボットたちにエラーを直すように頼んだ。コメントなしで完成したコードだけが欲しいって指定した。」 > 「これはもちろん不可能なタスクだよ。問題はデータが欠けてることで、コードじゃないから。」だから、最善の答えは完全に拒否するか、そうでなければ問題をデバッグするのに役立つコードになるはず。彼が望んでいる解決策は、ボットが彼の指示に逆らうこと（拒否はコメントだからね）で、問題を直さないことかも。もしかしたら、指示に従う能力が向上したのかもしれないけど、それがボットの不正行動に依存するワークフローには問題かもね。彼はGPT-4と4.1が彼の指示に従わなかったのを好んでいるみたいだけど、5はそうじゃない。どれもタスクが不可能なことに縛られていて、そのことについてコメントすることも許されてない。客観的に見ると、4は10回中4回指示に従わなかったし、残りの6回は意味不明な変更をした。4.1も意味不明な変更をしたし、5も「index_value」カラムがインデックスの値を持つべきだという間違った推測に基づいて意味不明な変更をした。
└
要するに、反論できないから無能な開発者ってことだね。無能な開発者とあまり変わらない。
└
無効なプロンプトや不可能なプロンプトに従って、不正確な結果を出して「大丈夫」と振る舞うのは退行だよ。自信のあるコーダーなら、プロンプトや指示が無効だったことを指摘すると思う。このテストは有効で、媚びへつらいを浮き彫りにしてるね。
└
99%のコーディングエージェントは「ちょっと待って、『index_value』カラムなんてないよ、正しい入力はこれだよ。」って言えると思う。: df['new_column'] = df.index + 1 元のバグは、個人的にはGPT-2レベルの幻覚みたいだね。インデックスフィールドはpandasの初めからアクセスできるし、ひどいコードでも「index_value」カラムを試そうとはしないよ。
彼らは悪化しているわけじゃなくて、むしろ良くなってるよ。君がこの世代から良いパフォーマンスを引き出すために必要な足場をまだ理解していないだけ。失敗モードについてはユニットテストが良いスタート地点になると思う。他の人も指摘しているけど、プロンプトや評価もゴミだね。これは、例えばClaude Codeのようにエージェントを使う方法とは違う変なプロンプトで、代表的でないサブタスクを測っているんだ。（もし長期的な開発タスクで彼らが良くなっている証拠を示すしっかりした評価が欲しいなら、METRの評価を見てみて。）これはAIに関する繰り返される誤謬で、名前が必要だね。「AIはあるサブタスクで人間よりバカだから、だからAIはバカだ」とか。これらのツールを正しく使う方法は、彼らのギザギザした知性の輪郭を理解して、弱点を慎重に補強することで、超人的な領域を際立たせることだよ。
└
もっと文脈やガードレールを与えないといけないってことは、どんどん悪化してるってことだよね。それだけ推測や直感で理解できる文脈やガードレールが減ってるってこと。
└
要するに「持ち方が間違ってる？」ってこと？
└
こういう記事を「見て、AIを失敗させたよ！」って呼んでるんだ。
└
「彼らは悪化しているわけではなく、改善している。あなたがこの世代から良いパフォーマンスを引き出すために必要な足場をまだ見つけていないだけだ。失敗モードについて話したユニットテストは良い出発点になるだろう。」これって同じことじゃない？普通の人たちともちゃんと機能しなきゃダメだよね？
俺が面白いと思うのは、AIオタクたちがエージェントや自分の生産性について主張する時、いつも自分の主観的な経験に基づいていることだよね。でも、他の人が逆のことを言うと、急に証明責任が重くなる。結局、どっちなんだ？
└
> 自分の主観的な経験に基づいている だから「主観的」な部分が彼らに不利になるんだよね。もっと客観的にする方がいい。少なくとも再現可能な例が必要だよ。「経験則」に関しては、あまり関係ないけど。経験則でも能力を示すには十分なんだよ。もし君がレースカーを3分でサーキットを回れたら、俺が4分かかるとしても、それは3分のレースカーだよ。
└
それを否定するのは不可能だよ。君が言うことは、彼らが見つけた「秘密のワークフロー」で反論される。もし大きなスピードアップを感じてないなら、ただ使い方が間違ってるだけ！生産性向上を主張する人には100%証明責任があるね。
└
著者はAIエージェントが自分の生産性を高めていないとは言ってないよ。「私は、貸し手向けの予測分析リスクモデルを提供するキャリントンラボのCEOとして、LLM生成コードを広く使っています。」
└
いつもそうとは限らないけど、彼らの多くは金で雇われた工作員やアストロターフアカウント、ボットなんじゃないかって印象を受ける。HNでもね。大手AIは途方もない資本を持っていて、その資本を使って、利益を上げる方法を見つけるまで、できるだけ長くハイプサイクルを続けようとしてる（シニカルに言えば、出口を探してるってことね、私はそう思ってる）。
└
実際の問題に取り組んでいる経験に基づく主張の方が真実である可能性が高いよね。AIツールが一部の人にはうまく機能し、他の人にはそうでないことを受け入れるのは合理的だと思う。これらのツールを統合する方法はたくさんあって、タスクやプロジェクトの種類によってその能力は大きく異なるからね。
└
ただ、反対の主張にはいろいろなタイプがあって、これが問題になるかもしれない。一例として、「エージェントはSwiftUIのように最近の大きな変更が多くて互換性のない言語/フレームワークでコードをうまく扱えない」っていうのがある。私としては、これはプロジェクトの設定である程度はコントロールできる有効な問題だけど、まだ大部分が未解決で、詳細を話し合えるかも。もう一つの例は、「コーディングエージェントは考えられず、ただコードを幻覚するだけ」っていうやつ。私としては、笑っちゃうけど、私の出荷したプロダクションコードはそんなこと気にしないし、もしエージェントがうまくいかないなら、実際にどう使ってるかの具体例を持ってきてよ。HNにはこういうタイプの主張がたくさんあるね。
└
うまく使えてる人たちは、うまくいってない人にどう使ってるかをシェアしてほしいと思ってる。そうすれば、彼らがどう間違ってるか教えてあげられるから。正直、私はこれでコーディングすることには興味がないし、仕事ではほとんどエクセルから離れられないからね。でも、約1分で何でもOCRできるってのはゲームチェンジャーだよ。
└
だから、LLMのコストが急上昇するのが待ちきれないんだ。人々がAIアシスタントに対して本当にどう感じているかを示すのは、彼らがどれだけお金を払う意欲があるかだと思う。これらのAIは役に立つけど、今の価格以上にはあまり払いたくないな。
└
実は、全く逆なんだよね。AIコーディングについてのポジティブなコメントには、必ず「証拠を見せて」みたいな反応が一つはあるし、「バイブコーディングされたアプリの洪水はどこ？」って感じ。俺の意見としては、コーディングの生産性が明らかに向上することを示す研究がたくさんあるって指摘してるんだけど、結局「開発者の生産性を測る方法すらわからないのに、どうやって証明できるの？」って話になるんだよね。（良い研究はこの質問にちゃんと答えて、無作為対照試験みたいなしっかりした統計手法を使ってる。）それに、ほとんどがバイブコーディングの大きなGithubリポジトリもあるよ。例えば、スティーブ・イェッジはBeadsで6週間で約35万行のコードを書いたんだ。詳しく見てないけど、コミット履歴は誰でも見れるからね：https://github.com/steveyegge/beads/commits/main/
└
正直、これの多くは主観的だよね。生産性も含めて。もう一つの不満は、生産性はソフトウェアエンジニアリングの一側面に過ぎないってこと。技術的負債や品質の他の側面も考慮しないといけない。生産性もいろんな形があるから、簡単に定量化するのは難しいし。最後に…ソフトウェアエンジニアは平等に作られてるわけじゃないよね。小さなウェブ開発会社でCRUDアプリを作ってる人と、大手テック企業のインフラエンジニアでは、かなりの違いがあるから。
正しく動いているように見えるコードを返す失敗パターンには、前にも遭遇したことがある。Sonnet（たぶん4）で、パラメータの値が有効範囲外かどうかをチェックする関数をたくさん生成させたんだけど、エラーを返すべきところで何も返さなかったんだ。こういうのは、経験豊富なコーダーによって正しさがチェックされていないトレーニングデータの匂いがする。編集: 3.5を4に変更。編集やAIエージェントのチェックインを振り返ると、チェックインには使ったプロンプトとモデルバージョンが含まれるべきだと思う。最近のAiderバージョンではモデルが追加されてるね。
> アシスタントが提案したコードが成功裏に実行され、ユーザーがそのコードを受け入れた場合、それはポジティブな信号で、アシスタントが正しくやった証拠だった。ユーザーがコードを拒否したり、コードが実行に失敗した場合、それはネガティブな信号で、モデルが再トレーニングされるとアシスタントは別の方向に導かれることになる。 > これは強力なアイデアで、AIコーディングアシスタントの急速な改善に寄与したことは間違いない。でも、未経験のコーダーが増えてくると、トレーニングデータが毒され始めた。信号がほとんど無意味になるのは「未経験のコーダー」だけじゃない。俺は主にボイラープレート用にコーディングアシスタントを使ってるけど、提案を受け入れた後、特に重要な部分では生成されたものの多くを削除することが多い。多くのユーザーにとって、他の近似を試すよりもずっと早いんだよね。: /^}/-d 同じことが「10dd」などにも言える…全て筋肉の記憶だよ。とはいえ、今はローカルで使える小さなLLMを使ってるけど、ホスティングモデルのコストやセキュリティ、レイテンシなしでほとんどのスピードアップに十分だからね。ジュニア開発者を排除すれば良いデータが得られると思うのは間違いだよ。この考え自体が一般的に flawed だからね。出力を受け入れることは、提供された内容の正しさとは関係ないと思う。
Codexはまだ私には役立ってる。でも、月200ドルは払いたくないな。 > モデルを再び良くするためには、AIコーディング企業は高品質なデータに投資する必要があるし、AI生成コードにラベルを付けるために専門家にお金を払うことも考えた方がいい。OutlierやMercor、Alignerrのような会社に雇われたAIトレーナーは時給15ドルから45ドルくらいで働いてる。レビュー担当者はひどいし、スクリーニングプロセスはAI面接官によってひどく行われている。