概要
- MLX はApple silicon搭載Macで最新AIモデルのローカル実行を可能にするオープンソースフレームワーク
- M5 Ultra 搭載Mac Studioは大規模言語モデルの推論性能と省電力性で優れる
- Muse Spark Open などフロンティア級モデルも複数台のMac Studioで分散実行が可能
- パイプライン並列化・テンソル並列化による大規模モデルの効率的な分割実行
- Thunderbolt RDMAとMLXの新機能で高速な多台連携を実現
Apple silicon Macで動かすMLXとAIモデル
- MLX はApple siliconの統合メモリアーキテクチャを活用した配列フレームワーク
- 最新の推論・ファインチューニング手法を ローカル環境 で実験可能
- M5 Ultra のGPU Neural Acceleratorにより、高速な行列演算処理を実現
- Muse Spark Open (約1兆パラメータ)などの大規模モデルも実行可能
- Mac Studio (最大512GBメモリ)で単体実行や複数台分散実行に対応
ベンチマークと性能比較
- Qwen 3.8 27B や Mistral Medium 3.5 128B は512GBメモリのMac Studio単体で動作
- それぞれ最大68GB、158GBのRAMを消費(65,536トークン時)
- M5 Ultra は M3 Ultra よりTTFT最大4.6倍、トークン生成速度1.6倍高速
- Muse Spark Open は4ビット量子化(NVFP4)でメモリ使用量を約493GBに削減
- ピーク消費電力 はM3 Ultraで約200W、M5 Ultraで約300Wと家庭用電化製品並み
分散実行と並列化手法
- パイプライン並列化 :モデルを層ごとに複数台へ分割し、逐次的に推論
- Thunderbolt RDMA による低遅延通信で高速化
- 大規模コンテキスト(65,536トークン)では1.8倍のTTFT高速化
- テンソル並列化 :モデルの各層を幅方向に分割し、各台で計算を並列化
- 通信回数が増えるため、Thunderbolt RDMAのような高速通信が必須
- 台数が増えるほど推論速度の向上が顕著
MLXの分散実行コマンド例と特徴
- mlx.launch コマンドで複数ノードへのジョブ展開が容易
--backend jacclでThunderbolt RDMAバックエンド指定--env MLX_METAL_FAST_SYNCH=1でCPU-GPU同期高速化機能を有効化
- パイプライン並列化 や テンソル並列化 の切り替えもコマンドオプションで簡単
- Thunderbolt 5 によるダブルケーブル接続で帯域を確保
Mac StudioでのLLM実行の利点
- 高性能 かつ 省スペース・省電力 なAIワークステーション構築が可能
- ローカル・プライベート環境 での大規模AIモデル実験
- Thunderbolt RDMA とMLXの組み合わせで、研究・開発用途の分散AI実行を身近に実現
- M5 Ultra 世代のNeural Acceleratorにより、今後さらに大規模・高効率なAIワークロードへの対応が期待
まとめ
- Apple silicon MacとMLXの進化により、 最先端AIモデルのローカル分散実行 が現実に
- Mac Studio を活用したAI開発環境の構築が、研究者・開発者の新たな選択肢となる