巷で話題のローカル LLM の実行環境 LM Studio を動かしてみました。

LLM（large language model）は大規模言語モデルと訳され、お話ができる生成ＡＩになります。画像生成はできません。
有名ドコロだと ChatGPT があります。

導入

環境

$ cat /etc/issue
Debian GNU/Linux 12 \n \l
$ uname -a
Linux mem30b 6.1.0-32-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.129-1 (2025-03-06) x86_64 GNU/Linux

スペック

• model
  NEC MKM30/B
• CPU
  Core i5-8500
• MEM
  16GB
• GPU
  Intel UHD Graphics 630
  ※内蔵GPU。（LM Studio では未使用）

導入手順

LM Studio は Linux 用に AppImage を用意してくれているので、ダウンロードして実行権限を付与すれば、すぐ使えます。

Download LM Studio - Mac, Linux, Windows

所感

試しに日本語が扱えるという llama-3-elyza-jp-8b-ft-functioncalling-gguf/Llama-3-ELYZA-JP-8B-FunctionCalling.Q4_K_M.gguf を選択してチャットしてみた。
遅い... 2.01 tps（ tokens per second / トークン生成速度 ... 1秒間に 2文字 的 な感じ ）
しかも書き出しに数分かかる。やはりグラフィックボードが必要そう...