みんな、ローカルＡＩ、やってるー？
課金したら圧倒的な性能と品質の生成AIが手に入るものの、課金するお金がない貧民のみなさん、こんにちは。
コーディング能力がない私もLLMに課金したいところですが、課金したところで作るアプリは人気がないのでペイできるわけもなく、仕方なく無料枠の範囲でGithub CopilotだったりGeminiだったりGrokだったりをケチケチ使っています。
特にGithub Copilotはここぞ！という時に使うのですが、使い切ってしまえば仕方なくローカルLLMで耐え忍んでいます。
最近のローカルLLMは複数GPU環境で全てのGPUメモリを使ってくれるらしい！
vscode+cline＋LMStudio＋Qwen3.6-35B-A3Bはそれぞれ相性がいいのか目立ったエラーやリトライも少なく、順調に何かを吐き出してくれるのですが、LMStudioをはじめ最近のローカルLLMは複数のGPUに作業を分担し、全てのメモリを使い切って動作させることができるそうな。
Geforce RTX 5090 32㎇があればいうことはないのですが、価格も70万ということがないので、複数のGPUが許されるのであればその方がコスパよくローカルLLM環境が構築できるのでは？
そんな風に思ったので、素敵なローカルLLM環境を複数GPUで構築する例を妄想してみたい！
これはそんな日記です。
妄想でのレギュレーション
妄想とは言え「5090を2枚挿したら最強！！！」とかしても面白くありません。
妄想する上でのレギュレーションを記載しておこうと思います。
- 一般に売っていて素人でも手に入るもの
入手困難なものを列挙しても仕方がないのでネット通販などで購入できそうなGPUに限定したいと思います。 - 私でも頑張れば手が届きそうな価格
買えないものを妄想しても私がグッときません。GPU価格の合計が20万円程度までとしたいと思います。 - GPUの枚数は２～３枚
戦いは数だよ兄貴！
ローカルLLMではGPUメモリ容量が最も効きますが、PCIEバスの帯域も重要になってきます。
PCIEを分割して複数カードを利用するようなことも考えられますが、帯域が不足し性能が落ちることも考えられますので、多くても3枚程度としたいと思います。
エントリーNo.1 Radeon RX 9060 XT 16GB ｘ２（合計32GB、11万円）
ど本命。
Radeon RX 9060 XT 16GBを2枚購入し、合計32GBで運用したらいいんじゃないの？という案です。
Radeon RX 9060 XT 16GBは、AMDがシェアを伸ばそうとしているのかよくわかりませんが、最近ではセール価格で5万円ちょっとで購入できてしまうGPUです。
2枚買っても11万円でお釣りがくるレベル。
これでメモリ32GB、最新のカードなのでRocmやVulcanによる推論も間違いないでしょう。
貧乏人が選定するローカルLLMサーバーのGPUの第一候補でしょう。
エントリーNo.2 Intel Arc B570 10GB ｘ２（合計20GB、7.5万円）
Intel Arc B570 です。
現状、大本命9060XTの前ではいまいちなのですが、個人的にIntel Arcは価格面で狙い目になる可能性があるのではないか？と思って結構期待しています。
1枚 3.7万円で2枚買っても7.5万円でお釣りが来ます。
メモリは20㎇とやや控えめになりますが、カバーできるモデルはかなり多くなるのではないでしょうか
B580の方が12GB、性能も高いのでこちらでー、とも思ったのですが、1枚4.8万円程度となり、それなら9060XT買うよね、ということで諦めました。
エントリーNo.3 Intel Arc Pro B60 24GB ｘ１（合計24GB、14万円）
GPU2枚挿したらいいんじゃないの？と言いながら急に1枚です。
でも1枚で24GB持っており、価格も14万なら悪くないんじゃないか？みたいな。
9060XTを2枚にはコスパは負けてしまいますが、電気代という運用コストは圧勝しそうな気がします。
その他の案
Geforce 3060 12GBや、2080、1080などが手元にあったり安価な中古品が手に入れば、これらを２～３枚利用するというのも悪くない気はしています。但し電気代は・・・
Arc A770は16GBなので、安価だったらワンチャン！と思いましたが、そうでもなかったです。
Intel Arc Pro B70 32GB 22万という手もありますが、ちょっと高いかな？1枚なので本格的？なサーバー用途には良さそうな気がします。
まとめ
いかがでしたか？
私がローカルLLMを使っていて、もうちょっとGPUメモリがあればなー！と思いながら、妄想していました。
変にローカルLLM用のGPUを準備するくらいなら、さっさと課金した方がいいとは思います。
でも、夢あるよね？