世界を動かす技術を、日本語で。
Paul Grahamが「17歳なら何をするか」との質問に回答。 LLM（大規模言語モデル）の構築とトレーニングを推奨。 利用可能なハードウェアで最大限に強力なモデルを目指す姿勢。 若者への技術習得の重要性を強調。 元ツイートのリンク付き。
Paul Graham は「17歳だったら何をするか？」という質問への回答
LLM（Large Language Models） をゼロから構築する方法の習得
利用可能なハードウェア で可能な限り強力なモデルのトレーニング
AI技術 の基礎から応用まで自分で学ぶ姿勢の重要性
若い世代 への自発的なスキル習得のすすめ
それは、実際のエンジニアリングをするにはGoogle規模のボーグ展開が必要だと言ってるようなもんだね。少ないハードウェアでもかなりのことができるよ。r/StableDiffusionがそのいい例。
そうだね。まるで（アポロ）月ロケットの打ち上げを見て、ティーンエイジャーにガレージでロケットを作ることを勧めるようなものだよ。おもちゃプロジェクトとしては面白いけど、キャリアのチャンスはほとんどないからね。
これって、先入観に基づいてる部分が大きいと思う。多くのアプリがElectronで作られたのは、ネイティブは「難しすぎる」っていうのが一般的な考えだったからだよね。今はLLMがあるから、Rustでネイティブアプリを書く人も増えてきたし、彼らの中には、思ってたほど難しくないって気づいた人もいるんじゃないかな。
ほとんど同意だけど、個人的には5年前におもちゃみたいなLLMを作ったことがあるんだ。あんまり使われなかったけど、妻を退屈させるクソみたいなコマンドラインデモをやって喜んでたおかげで、どうやって動くのか理解する手助けにはなった。JAXやPyTorchで遊んで、MCPの簡易版やLLMプールを作って、ローカルモデルにリクエストをプロキシするのもやったから、オープンルーターやMCPのエージェントワークフローの進化を見るのに苦労しなかった。若い頃に自分でクソみたいなウェブサーバーを作ったり、痛い思いをしながらSQLxタイプのデータベースを作ったりしたのが本当に良かったと思ってる。これらの経験がNginxやOracleの開発につながったわけじゃないし、JAXを知ってもAI研究所での仕事にはつながらないけど、技術の仕組みを深く理解してるおかげで、その上にあるものがすぐに使いやすくなるんだ。これからエンジニアリングの分野に入る人たちにも同じことが言えると思う。もしLLMが怖い箱みたいなものであれば、内部を理解している人と同じだけの成果は出せないから、少なくとも「赤ちゃんの初めてのLLM」を理解しておくことが、他の人よりも遥かに先に進む助けになるよ。遊びたい人には、https://github.com/rasbt/LLMs-from-scratch っていう素晴らしいリソースがあるから、LLM周りのエンジニアリングをしたいなら、ぜひ読んでみてほしい。
AIは未来の基盤だと思う。だから、明日を理解するためには、まず基本から考えるのが大事だよね。80年代後半、ティーンエイジャーの頃にx86アセンブリとCを学んだのは、クソみたいなCGA（その後はVGA）カードからゲームやグラフィックをプログラムするために必要だったから。もう何年もアセンブリは書いてないけど、キャリアの中でやったことは、金属に近い基盤を持っているおかげで、同僚よりも優位に立つ手助けになった。
「必要は発明の母」 - 限られたハードウェアは、常に人々に少ないものでより多くをする賢い方法を見つけさせてきた。現在のモデルは、効率の限界には全然達していない（脳ははるかに少ない電力でずっと多くのことをしている）。
多くのスタートアップ企業は最前線のモデルを訓練しているわけではなく、LLMの問題点を解決したり最適化したりする手助けをしている。サイバーセキュリティやトークンの使用、ハーネスなどだね。これらの仕事には機械学習の博士号は必要ないけど、LLMを深く理解していると役立つよ。
もう一つ付け加えると、実際に研究を行っているチームは比較的小さくて、特定の資格を持ったメンバーが多いから、自然と参入障壁が高くなってるんだよね。
その点では、モバイル電話とあまり変わらないね。20年前、携帯電話は電子産業を牽引したけど、本当に電話を作れる人の需要は限られてるからね（つまり、ハードウェアを作って、信号処理をゼロから書くこと）。最底辺で電話を作る会社はそんなに多くないから。エンジニアの中にはお金持ちになった人もいるけど（例えば、ビタービ）、ほとんどの人は「普通に」良い生活をしてた。電話で金持ちになった人たちは、電話の仕組みを知ってたわけじゃないしね。ちなみに、LLMの最底辺のスキルは、モバイル電話に必要なスキルとあまり離れてないんだ。どちらも数学、計算、情報理論に基づいてるから。
現実は、世界中の企業の中で本当にトレーニングや最適化を行っているのは、信じられないほど少数派なんだ。ほとんどの目的には不必要で非効率的だから、完全にLLM企業になることに専念していない限り、やっぱり苦労するよね。トレーニングを行っている少数の企業は、予算のほとんどをコンピュートに使っていて、チームも比較的小さい。求人情報はしばしば馬鹿げてるし。最近、ドイツのAMDの求人広告でMLカーネルエンジニアの募集を見たけど、シニアじゃないんだよ。要件はこんな感じだった > 修士号が必要で、博士号と査読付き論文が好ましい > C/C++で10年以上の経験 > GPUプログラミングの経験が必要 > さらに10個以上の馬鹿げた条件 どうやってティーンエイジャーが自己学習でLLMを学んでチャンスを得られるのか、全く分からないよ…
ここでのコメントがこんなにネガティブなのには驚いてる、特にHNでは。高校で最新技術（真空管、ラジオ、マイクロプロセッサ、ウェブ/JavaScript）を使って何かをハックすることを学ぶのは、世代を超えたテック界の共通テーマだったのに。LLMやオンラインチュートリアルがある今、これって難しい提案じゃないよね。新しい技術を学ぶのが無駄だと思ってる人がいるの？
理論的には、実際のLLM機械学習ができるエンジニアの需要がめっちゃあるのに、実際にはポジションや起業のチャンスがほとんどないっていうジレンマがあるよね。実際のところ、世界中の企業の中で本格的にトレーニングや最適化を行っているのはほんの一握り。LLM企業になる覚悟がない限り、ほとんどの目的には必要ないし効率的でもない。それでも、トレーニングを行っている数少ない企業は、予算のほとんどをコンピュートに使っていて、チームも比較的小さい。こういう分野で経験を積むには、まず高価なハードウェアにアクセスする必要があるし、そのスキルを実際の価値に変えるのはかなり難しい。 decentな収入を得るには、辛抱強い投資家からの資金がたくさん必要だし、正しい場所に雇われるための良いコネクションがベイエリアにないと厳しい。失礼ながら、paulgはちょっとしたバブルにいる感じがする。これが世界の現状とは合ってないよ。