世界を動かす技術を、日本語で。

アイドル状態のApple Siliconデバイスを活用した動的分散型仮想GPUクラウド

概要

  • Minions は、macOSデバイスのアイドルGPUを活用した分散型仮想GPUクラウドの提案
  • 中央集約型GPUインフラの課題(高コスト・低弾力性・待機時間)を解決
  • 既存のApple Silicon搭載Macを利用し、追加GPU調達不要
  • 柔軟な推論タスク実行、フォールトトレランス、高効率なリソース活用を実現
  • 実験により、制約環境下でも実用的な分散GPU推論プラットフォーム構築を示唆

Minions:Apple Silicon GPUを活用した分散型仮想GPUクラウド

  • GPUアクセラレート機械学習推論 の需要増加による、従来型GPUインフラの限界
    • 高コスト
    • 弾力性の欠如
    • リソース制約下での長い待機時間
  • Apple Silicon搭載macOSデバイス のGPUは通常時ほとんど未使用
  • Minions は、複数のmacOSデバイス間でアイドルGPUを集約し、分散型仮想GPUクラウドを構築
  • 追加GPU調達不要、既存ハードウェアの有効活用
  • 柔軟なGPU推論タスクの実行、障害耐性、効率的なリソース活用を実現
  • 制約のある環境下でも、実用的な分散GPU推論プラットフォームの構築が可能

Apple SiliconとMLXによるAI研究・開発の促進

  • Apple Silicon搭載Mac は、AI開発者・研究者の間で急速に普及
  • MLX を活用することで、最新のLLM(大規模言語モデル)をMac上で効率的に実行可能
  • 新規の推論・ファインチューニング手法の実験や、プライベート環境でのAI技術検証が可能
  • MLXは、全てのApple Siliconシステムに対応

LLM推論高速化の重要性と業界動向

  • LLM推論の自動回帰的トークン生成 は計算コストが高く、遅延が発生しやすい
  • 推論効率向上により、ユーザーの待機時間短縮が期待
  • Apple Silicon向けの推論高速化に加え、業界全体で広く使われる NVIDIA GPU 向けのLLM推論高速化も進展
  • 生産環境における大規模LLM推論の加速技術の研究開発が活発

Hackerたちの意見

これをまとめるのはいいけど、ラックに入れられるものは売らないってこと?

└

それがポイントみたいだね。企業ネットワーク上の既存のワークステーションを活用して、アイドル状態のときに夜間に計算バッチを実行するってこと。低優先度のAIワークロードのために追加のサーバーを買う必要はないんだ。

これが何についてなのか、ちょっと分からないんだけど?基本的にはAIのワークロード向けのSETIって感じ?少なくとも、ランディングページからはそんな印象を受けたよ。正直、ちょっと迷ってる。

└

MinionsはAppleで既に使われている内部の企業システムなんだ。アイドル状態のMacのGPUを共有計算クラスターにプールして、ML推論を行う仕組み。ここでは、複数のGPUを使ったテンソル並列処理による単一のLLMの分散実行はないよ。代わりに、タスクレベルの並列処理に依存していて、大きなワークロードを独立したサブタスクに分解して、別々のマシンで実行するんだ。例えば、100万のドキュメントの埋め込みを生成するみたいな。

企業にとってはいいかもしれないね?既に持っているマシンでオフの時間に推論を実行するって感じ。即時性が求められない分析作業には役立ちそう。ただ、技術的にはそんなに革新的には思えないな。

僕の考えでは、Appleはチップの独立したサプライチェーンを作ったり、自分たちのクラウドを構築したりしないことで、かなりの金を逃してると思う。一般的なARMコンピューティングに関しては、彼らが先行者利益を持っていたと言えるし、ただ市場を潤沢にして誰でも簡単にレンタルできるようにすればよかったのに。そうすれば市場の一部を独占できるだけでなく、他のチップメーカーへの需要圧力も和らげられたかもしれない。

└

TSMCやSamsungのファブをそのまま買う以外に、Appleが垂直統合された高級チップのサプライチェーンを構築する方法は見当たらないな。少なくとも10年未満のタイムフレームでは無理だと思う。そのタイムフレームでは、現在の供給問題は、ただ利益を調整するだけでなく、全力を注いでいる企業によって解決されるだろうね。

└

彼らはエンタープライズやA/UX、mkLinux、OS X Server、Mac Proタワーが全部なくなったことを理解していないんだよね。Swiftがオープンソースにして、良いLinuxサポートを持つ主な理由は、アプリ開発者がサーバーサイドで使えるようにするためだったんだ。もちろん、macOSではないよね。もしiDeviceアプリの開発にmacOSが必要なかったら、デスクトップの売上はもっと減ってたと思う。

└

僕の予想では、彼らはすでにデバイス用のチップを作るのが難しくなってるんじゃないかな。それが今のところ彼らの主な収入源だから。もしかしたら、チップチームはすでに内部用のAI目的のサーバーチップを作っているか、作業中かもしれないけど、まだ公表する必要はないんだろうね。

└

僕の予想では、彼らは生産をスケールするのに苦労していると思う(スタジオの待ち時間が6〜16週間とか)。それに、ただチップをリリースするだけではお金を逃してしまうだろうね。生産がスケールしたら、サーバーゲームに戻ってくると思う - MacOSサーバーラックとか、前の世代のチップをたくさん使ったMacOSスーパコンピュータみたいな、もっと革新的なものが出てくるかも ;)

└

みんながLinuxを使ってサーバーファームを運営してる中、自分たちのmacOSサーバーを維持しなきゃいけなくなるんだろうね。

└

現時点で、彼らは新しいMSのためにかなりの額のR&Dや設備投資をしてると思う。その見返りに最初の生産ラインでの確実なキャパシティを得てるんだろうね。完全な所有権のメリットがそのコストに見合うかは微妙だな。(コングロマリットは面白いけど…)

Hacker Newsで議論の続きを見る