さて、先日とうとう自宅で生成AI 入門したけど、回答に時間がかかり過ぎるのでどうしようか思案中...
ググってみると、どうも下記 3点が生成AI に利用できる模様。
- CPU
- GPU
- NPU
ということで、調べたメモ。
CPU
有志の方が作成したライブラリ llama.cpp を使うことで、CPU だけで LLM を動かすことができる ... 感謝！！
ただし、CPU だけで処理するため、生成速度は遅い。
※ LM Studio に llama.cpp は同梱されていた。
GPU
dGPU（Discrete GPU）
いわゆる普通のグラフィックボード / マザーボードの PCI Express バスに接続して使うタイプGPU 品薄＆円安のダブルパンチで高止まり感半端ない。
VRAM 16GB を超えると急激に金額が上がる（コスパ悪くなる）ので、買うなら 16GB モデルにしたい。
性能とか消費スロット数とかを無視して、単純にメモリと金額で考えると「NVIDIA ＞ AMD ＞ Intel」になるので、一番安価な Intel Arc A770 にするか。
ただ、問題もあって... うちにある PC は全て LP（ロープロファイル）しか挿せないうえに、奥行きもあんまりない。
（ちなみに、奥行きがあればケース開けたまま使うという手もある）
＋ 最近のグラフィックボードは電力消費が大きいと聞くから、電源もチェックしないといけない。
詰んだ...
eGPU（External GPU）
グラフィックボードを外付けにするための装置dGPU を外付けで使おうとすると、eGPU になる。
eGPU の場合、接続に OCuLink を使う。
（OCuLink は PCI Express の外付け用インターフェイスで、PCI Express や M.2 コネクタから変換することができる）
この場合は、eGPU ボックスと変換コネクタ・ケーブルのセットが必要。
iGPU（Integrated GPU）
グラフィックボードの機能を CPU に内包するタイプ（内蔵されていない CPU もある）内蔵 GPU だと dGPU に比べて力不足感が半端ないけど、RAM を確保しやすい点が高印象。
もちろん、RAM も（dGPU 積載の VRAM と比較すると）低速だけども。
NPU
Intel や AMD など各社 CPU に NPU 内蔵してきてますが、どうも互換性がある模様。
（それぞれの NPU の差を吸収するプラットフォームが現状ないっぽい）
製品として認定されている Copilot+ PC は互換性問題が緩和されているようだけど、高いし Windows だし。
加えて、汎用ユニットの GPU と違って NPU は AI 専用感あって、且つ発展途上で仕様変更あるとゴミになるから選択しづらい。
結論
GPU が間違いがない... けど高い。