Mac Studio 2台をThunderbolt 5で連結、分散推論「exo」でLLMを爆速化する検証

macOS Tahoeで解禁されたRDMA（リモートダイレクトメモリアクセス）とTensor並列を組み合わせ、2台のMac StudioをThunderbolt 5で連結したクラスタ環境で大規模言語モデル（LLM）の推論速度を大幅に向上させる検証が行われた。複数デバイスのリソースを束ねてLLMを実行するフレームワーク「exo」を用いることで、合計128GBのメモリ環境を構築。120B（1200億）パラメータ級の大規模モデルの生成速度を、単体環境と比較して1.36倍に高めることに成功している。

この検証では、Apple Siliconを搭載したMac Studio 2台を、Thunderbolt 5ケーブルで直接接続し、単一の大規模な計算リソースとして運用するクラスタを構築した。従来、複数のMacを高性能な分散計算環境として連携させるには、高価な専用ネットワーク機器や複雑な設定が必要とされてきた。しかし、macOSの新バージョン「Tahoe」で正式サポートされたRDMA技術と、Thunderbolt 5の高速帯域幅を活用することで、比較的シンプルな構成でメモリと演算ユニットをプールする分散推論が実現可能になった。

この手法は、単一の高価なワークステーションを購入する代わりに、既存の複数のMacリソースを活用してLLM開発や研究のスループットを向上させる新たな選択肢を示唆している。特に、生成AIの推論速度が研究やサービス開発のボトルネックとなる中で、比較的アクセスしやすいハードウェア構成で性能を引き上げる手法として、開発者コミュニティや研究機関における関心を集める可能性がある。今回の検証は、Appleプラットフォームにおける高性能分散コンピューティングの実用性を探る一歩となった。