GPT-6 Astraが自動車を運転する能力を獲得しました

トークンをリングバッファに入れるだけでうまくいくんじゃない？

これについても聞いたことある！でも、私たちのベンチマークの目的は、フロンティアLLMをビジョン付きでそのまま評価することだったから、リアルな車を運転するために特別に訓練されているとは期待していなかったんだ。オープンな場所のコーンコースで低速でも何かできるっていうのはかなりすごいよね。Qwen Driveや運転専用に訓練されたモデルなら、もっと良い結果を出すと思うよ。 - アディティア、トビアス、サイモン

テスラがこんなに長い間何をやってたと思う？

苦い教訓は、すでに何世代もの自動車会社のエンジニアに理解されていて、多くの人がすべての車両スタックに学習したコンポーネントを取り入れていることを知っておくといいよ。苦い教訓には非常に具体的な制限もある。時間が経つにつれてコンピュータの性能が上がり、計算に依存するデータ駆動型の一般アーキテクチャが特注アーキテクチャを上回るようになる（これが苦い教訓）と、今の最も一般的なアーキテクチャが今あるすべての特注アーキテクチャに勝つとは限らない（近い将来でもそう）。苦い教訓は、長期間続く研究の方向性にとって最も具体的だね。時には、今できる限り最善のものが必要なんだ。

元の記事からどうやってそんな風に考えたのか分からないな。うちの4歳の子供でも、ペダルに届けばオートマ車でそのコースを運転できるよ。レゴランドではもっと難しいこともやってるし。ただ、道に出すのはちょっと無理かな。少なくとも、ガードレールは確実に機能する必要があるし、理想的には超人的な感覚を持ってないと、自動運転車を道路で受け入れてもらうのは難しいと思う。

自動運転車にはつらい教訓がやってきてる。そうかもしれないけど、モデルの不透明度は車には受け入れられないよ。「なんでセミの下を通ったの？」 「モデルがそう言ったから。」 「なんでモデルがそう言ったの？」 「知らんけど。」

テスラはこれをすでに解決してるよ。彼らの視覚モデルはこれを素晴らしくこなしてるし、サイドカーのLLMを追加することも示してる。主に「この3つの標識を読んで、次はどうする？」みたいな状況のためにね。

そのつらい教訓は技術のトレンドを教えてくれる。今の技術では製品を市場に出せないってことだね。

現時点では主にレイテンシの問題だね。モデルが大きすぎてローカルで動かせないけど、Qwenみたいなオープンウェイトモデルがすでに存在するから、オープンウェイトで低レイテンシのAstraに相当するものはそう遠くないはず。でも、これはちょっとおかしな見解じゃない？自動運転にはAstraは必要ないよ。Astraは複雑な3D世界を作ったり、税金を計算したり、買い物をしたり、さらには車を運転したりできるんだから。自動運転車はただ車を運転できればいいんだよ。Astraを車を運転するために必要な最低限の機能だけに絞り込むと、自動運転車の会社がすでに使ってるモデルと同じものになると思う。その後は、失敗ケースの処理みたいな実際の難しい問題に直面することになるし（Astraでもそれはまだ存在する）。> ビジョンスタック、3Dマップ、レーン選択の文法、占有ネットワーク、これらはすべてカメラフィードを見て次のハンドルの調整を予測する単一のGPTに取って代わられるかもしれない。自動運転車はずっと前からこれができてるんだよね。問題は、文脈に対して十分に堅牢じゃないこと。つまり、Astraが1台のカメラで車を運転できるなら、複数のカメラを使えばもっと上手く運転できるはずだし、3Dマップを使えばさらに良くなるはず。これらのシステムのパフォーマンスの期待を考慮し始めると、これらの機能は本当に省けないことに気づくよ。自動運転車を作ってる会社なら、カメラがないせいで車が誰かをひいてしまう訴訟に直面したくないだろうしね。ここでの本当の利点は、Astraみたいなものが自律スタックを構築するのに役立つことだと思う。もし自分で運転できるなら、新しいデータを生成したり、大量のデータを分析したり、通常はこのデータを処理する際に利用できない文脈を使って実際の自律スタックの改善に役立てることができるんだ。だけど、これらの車の会社が車の中でLLMを動かして終わりだと思うのはちょっと甘いよね。