GPTと取り残される感情

みんなが見落としてるのは、たまにうまくいくこともあれば、うまくいかないこともあるってことだよね。「他の誰かがやるともっと良くなる」とか「自分が使ってるモデルよりも良いモデルがあるはず」とか「もっと上手にプロンプトできれば、いい結果が出るはず」とか「自分が使ってるIDEよりも優れたエージェントがあるはず」とか、そういうことを考える人が多いけど、確かにそういうのはあるかもしれない。でも、結局のところ、確率が変わるだけで、うまくいく時といかない時があるのは変わらないんだよね。例えば、エージェントにちゃんとしたデータを表示する画面を作ってもらったことがあるんだけど、最初は素晴らしいものができたけど、いくつかのフィールドが抜けてたり、フォーマットが不一致だった。でも、それを指摘したら、ちゃんと直してくれたんだ。プロダクトマネージャーやエンドユーザーの言葉で話してくれたからね。コードの質もすごく良くて、自分が書いたのと同じくらい、いや、もしかしたらそれ以上かも。もちろん、そうならないこともたくさんあるけどね。タイプスクリプトの型がよく分からないコードをいじってて、変なエラーメッセージを与えたら、理解しようと試みたけど、結局うまくいかなかった。1日か2日かけて「ラバーダック」として使ってみたら、何が悪いのか、どう直せばいいのかが分かるようになった。エラーが出ても理解できるし、エージェントも理解できるようになったりする。たまに型チェックに引っかかるコードを書くこともあって、「tscを実行してエラーを直して」と言うと、ちゃんと直してくれることもあるし、誇れる仕事をすることもあれば、つまらない型ガードを追加することもある。例えば、「if (x && typeof x === "object") x.someMethod()」みたいな感じで。基本的に同じ問題を与えても、Javaでテストを書くとなると、全然違うアプローチを取ることもある。ある時は、他のテストで使っている依存性注入フレームワークを使って、プライベートフィールドにモックを注入するけど、別の時は、プライベートフィールドにモックを直接注入するためのヘルパーメソッドを書くこともある。こうしたランダムさをうまくコントロールできるテクニックもあるかもしれないけど、結局はうまくいく時といかない時があるから、良い時だけ話したり、悪い時だけ話したりしたら、全然違う話になっちゃうよね。

一番最悪なのは、LLMがコードに微妙なバグを導入して、それをすぐに見つけられないことだよね。最近、Langfuseの統合をやってて、Cursorを使ってトレースやスコアをすぐにプッシュするためのスケルトンコードを生成したんだけど、生成されたコードには「score_id」っていうパラメータが含まれてて、Langfuseではドキュメント化されてなかったのに、なぜか受け入れられて、全体のトラッキングがめちゃくちゃになっちゃった。何度もデバッグを繰り返しても、トラッキングの問題が何なのか分からなかったけど、別のLLMにコードの可能な問題を見つけてもらったら、そのscore_idの行をすぐに指摘してくれた。

HNで見つけたブログ記事が、LLMを使ったコーディングのやり方を完全にレベルアップさせてくれたよ。https://harper.blog/2025/02/16/my-llm-codegen-workflow-atm/ AIが質問をしてくれて、PRDや仕様について考えることで、システムデザインが上手くなった気がする。

MITでCSの学位を取得して、2004年から2020年までプロのソフトウェアエンジニアリングをしてたんだけど、最近別の分野で会社を始めたから、約4年間本格的な開発はしていなかったんだ。今夏、休暇を取って、自分の業界に特化した小さなソフトウェア趣味プロジェクトを始めることにした。初めてCursorを試してみたんだけど、新しいコードベースを立ち上げる際の面倒なことを実装するのに、すごく役立った。ビルドシステムの設定、ライブラリやAPIの調査、設定やI/Oのためのフレームワークの実装など、全部助けてくれた。もちろん、難しい部分は自分でやらなきゃいけなかったし、（おそらく一番重要なのは）Cursorが書いているコードを理解して、間違った方向に行った時には修正しなきゃいけなかったけどね。実際に「いや、なんでそんなやり方するの？Xの方がずっとシンプルだよ」と言ったら、だいたい直してくれた。何回か、自分でたくさんのコードを書いた後、久しぶりにプロジェクトをコンパイルしたら、（普通はそうするように）解読不可能なC++のテンプレートエラーの森に突っ込んじゃった。全部をスクロールする時間を使う代わりに、「コンパイルエラーを直して」と言ったら、ちゃんと直してくれた。もう一つの例として、「このクラスの比較演算子を実装して」と言ったら、5秒で終わった。プロジェクトが複雑になるにつれて、欲しい動作のテストを書くのがすごく役立って、「このテストを通して」と言ったら、ちゃんとやってくれる。コードベースを理解して、ジュニアデベロッパーのように追加してくれるから、すごく良い仕事をしてる。IDEを使って、全体のコードベース（ビルドシステムやテストを含む）にアクセスできることが重要だね。ChatGPTを単独で使って、コピペするのは価値がない。最初から全てのプロジェクトをやるのは無理だけど、面倒な作業からは助けてもらえたから、十分価値があると思う！