HNに聞きたい: コーディング用LLMから価値を引き出すのに苦労している人はいませんか？

それは、彼らが「エンジニア」というカテゴリーに入るからだよ。地元の郵便配達員やミハエル・シューマッハも「ドライバー」というカテゴリーに入るのと同じようにね。ほとんどの人は技術的に難しいことに取り組んでいるわけじゃないし、大半の問題はビジネスロジックの問題で、技術的には解決できないか、レガシーコードの回避策で、3〜10人のドメインエキスパートを数時間集めて解決する必要があるんだ。

LLMを使うと、だいたい10%くらい生産性が上がる感じがする。これは素晴らしいけど、いくつかの主張に比べるとそんなに極端じゃない。カーソルのオートコンプリートは、どうせ自分が打つつもりだったものをたくさん補完してくれるし、LLMの検索はGoogleの強力な補完になるけど、直接の代替にはならない。数行以上のコードを生成すると、だいたい悪いコードになることが多いけど、知らなかったライブラリを提案してくれることもあるし、特に自分の専門外ではそういうことが多い。中間的な結果について話している人はあまりいないけど、極端な意見が会話を占めているからだと思う。

現実はその中間にあるからね。特定のトイタスクを除けば、100倍や10倍にはならないけど、私の日常の仕事ではおそらく1.5〜2倍くらいだと思う。私は主にロングテールの科学的なことに取り組んでいるから、ボイラープレートが多いフロントエンド開発をしている人ならもっと生産性が上がるかもしれない。LLMが生産性を上げていないと言っている人は、正しく使いこなせていないか、非常に特定のニッチな問題やインフラに取り組んでいて、役に立たない場合が多いと確信している。2倍という数字は、メディアで読んだことに比べると大したことないように思えるかもしれないけど、数年前に企業に「エンジニアの生産性を平均して2倍にできる」と言ったら、今頃は数十億ドルの資金を得ていたかもしれない。そのくらいの生産性の向上は本当に大きいんだ。

Math Academy、ChatGPT、YouTube（主に3Blue1Brownや似たようなチャンネル）で数学を学んでるよ。この組み合わせがなかったら、マジで地獄だったと思う。今はいい感じ。数年前はアムステルダム大学の似たようなものでやってたけど、その頃のChatGPTはあんまり賢くなかったから使わなかった。もっと大変だった気がする。ChatGPTは、先生が「何言ってんの？」って思うような質問にも答えてくれるけど、俺は数学の文化を理解したいタイプだから、それを通じて解決策を考えられるんだ。例えば、角度の話をする時にmっていう文字が使われる理由とか。数学的には関係ないはずなのに、aの方がしっくりくると思う。認知負担を減らして、数学に集中したいからね。だからChatGPTに聞いてみたら、歴史的には「measure」を意味してたって言ってた。なるほど、理解できたから、また実際の数学に集中できるようになったよ。もう一つの例は、分散の計算。average_of_squares - square_of_the_averageが(1/n) * sum((x - mean)^2)からどう来るのか？それをただ見せてくれる。世界征服？いや、でも普段なら学べないことを学んでるよ。YouTubeとMath Academyがそれぞれ役割を果たしてるのは分かるよね。

LLMは新しいプロジェクトに対して100倍生産的だと思う。もしXページのReactアプリを作りたいなら、Reduxストアや認証なども含めて、数分で作れる。例えば「今Xを追加して」って言えば、ちゃんとやってくれる。結果もだいたい良いし。でも、既存のシステムを維持したり、複雑な機能を追加したり、ビジネスドメインの詳細を知る必要がある時は、LLMはあんまり役に立たない。コードの提案ツールとしてはまだ良いけど、全体の機能を提供するには、簡単な部分を超えるとほとんど役に立たない。LLMを指示するのにかかる時間は、自分で書くのと同じくらいかかることもある。俺は、好きなデザインのスタブコードを書いてから、LLMに隙間を埋めてもらうことが多い。LLMが100倍生産的だって言ってる人は、たぶん新しいプロジェクトだけやってて、難しい部分にはまだ到達してないんだろうね。みんなが言うように、最初の90%は簡単な部分。最後の10%が一番時間がかかるところで、今のところLLMがその難しい部分をうまくやってるとは思えない。

ちょっと皮肉っぽいけど、私の経験では、100倍生産的な人たちは小さな数字を100倍にしてるだけだと思う。コーディングのリサーチフェーズではLLMがすごく役立つことが多い。先週、ドメイン特有の線形代数を書く必要があって、他の制約のせいでLAPACKを使えなかったから、手作業でやらなきゃいけなかった（そう、こういうのは手作業でやるべきじゃないって分かってるけど、小さな部分だったし、ドメイン的には完全に最適化されたLAPACKは必要なかった）。LLMを使ってリサーチ部分をやったら、普段は数冊の数学の教科書を使わなきゃ理解できなかったことを理解できたから、その場合は100倍効果的だった。必要な情報を見つけて、要約してくれたから、すぐにコードに変換できた。ついでに、LLMにコードを生成してもらったけど、専門家でないと分からないような微妙なミスがあった。ジュニアエンジニアなら感心してそのままチェックインしてしまうかもしれない。私は、自分がチェックインするコードのすべてを理解することが大事だと思ってるから、たとえLLMが本当に優秀になったとしても、私の仕事の「コードを書く」部分は早くならないと思う。でも、どのコードを書くかを考えるのに関しては、LLMが人々をもっと早くすると思う。リサーチと要約の部分は素晴らしい。世界での本当の価値は、合成と新しいアイデアだと思う。もしかしたら私はルダイトかもしれないけど、それには人間の創造性が必要だと思ってる。LLMは重要なサポート構造になるけど、高価値のコードを書くことにはまだ懐疑的だ。

エンジニアには2種類いるらしいけど、実際には少なくとも3種類あると思う。俺はそのどちらにも当てはまらないから。生産性が100倍になるわけでもないし、特別なサポートを受けてるわけでもない。プロとしてコードを書いて30年近く経つけど、常に何かを調べる必要があるのは変わらない。自分が何をしたいのか、何が可能なのかは分かってるけど、文法や具体的なことを覚えておくのが苦手なんだ。言語を頻繁に切り替える仕事をしていることもあって、余計に覚えられない。Googleみたいな質の高い検索エンジンがなかった頃は、参考書やマニュアルをめくるのが常だった。それが検索エンジンが登場して、少しは生産性が上がった。さらにSOみたいなサイトが出てきて、また一歩進んだ感じ。LLMもまた一歩前進だと思うけど、量子的な飛躍ってわけじゃない。例えばオートコンプリートの提案なんかは、時には思い出すきっかけになることもあるし、逆に自分が求めてるものじゃないと分かって無視することもある。チャットインターフェースは、SOをググるよりもやり取りができるから便利だと思う。

マクロな視点で見ると、前者のグループの人たちは思っているよりも良い状況かもしれない。LLMが登場してから、俺はシニアIIからリードアーキテクト、そしてプリンシパルエンジニアに昇進した。文字通り100倍の生産性アップってわけじゃないけど、特定の知識が足りないところを補ったり、新しい分野を調べるときの最初の接点として活用してきた。LLMのおかげで、T字型の知識の曲線を深めることで、自分の影響力を広げられた。

俺の予想では、何を扱うかによると思う。見栄えのいいウェブサイトやランディングページを作る能力には感心してるけど、ゲームを作ろうとしたら、動いているように見えても、最終的には自分のコードベースに混乱をきたして、昨日の要件が今日の機能追加で失われたり壊れたりすることが多い。まるで自分の尻尾を追いかけているような感じで、いわゆる「バイブコーディング」ってやつだ。ゲーム開発は今後ハイブリッドアプローチになると思う。新しいプロジェクトを作成して、提案された解決策を見てから、自分のメインのコードブランチに取り入れるつもり。これがカーソルのロールバックや提案された編集に過度に慎重になるよりも簡単だと思う。まだこの考えに至ったばかりだから、うまくいくかはこれからだ。ちなみに、プログラミング自体は得意だけど、ゲーム開発は俺のアキレス腱なんだ。どうなるか見てみよう。

たとえ誰かがAIを使って100倍速く作業しても、それが既存の市場を簡単に支配できるわけじゃない。製品は単なるコード以上のものであり、会社も従業員数だけではない。製品や市場に関するドメイン知識が必要だし、働く人の個々の能力や、長年にわたって育まれた構造の強さも関係している。ユーザーの習慣や信頼は、新しい製品が征服しなければならない大きな要塞だ。これは、ランダムな開発者や開発チームが100倍速くなるだけで簡単に達成できるものではない。現実的には、この主張がどこから来ているのかという疑問もある。AIを使って100倍速くなる人は、高い能力を持っているわけではないかもしれない。100倍のうち、90倍はおそらくピークの開発者とのギャップを埋めるためのものだろう。だから、最終的には特定の分野で高い能力を持つ開発者と同じくらい生産的になると思う。ただ、特定の分野での経験がなくても、どの分野にもアクセスしやすくなるだけだ。正直言って、AIなしでも、他の人がコピーしたり、クッキー型のものを作ったりしているから、すでにそれに近い状態だと思う。