LM Studioを使って、ローカルLLMを実際に動かせる環境は用意できました。
次に気になるのは、ここです。
「どのAIモデルを選べば良いのか？」
- Gemma
- Qwen
- DeepSeek
- Ministral
名前を見るだけでは、違いはなかなか分かりません。
そこで私たちは、ベンチマークの数字だけで判断せず、私たちの仕事に近い質問を実際に投げてみることにしました。
今回見たのは、主に次のような仕事です。
- このは屋を短く紹介できるか？
- 記事タイトルを考えられるか？
- 記事構成を作れるか？
- このは屋の考え方を理解できるか？
- 日本語で自然に受け答えできるか？
結論から言うと、モデルごとにかなり個性がありました。
そして、「名前をよく聞くモデルだから使いやすい」とは限らないことも分かりました。
今回試した環境について
まず前提です。
今回のLM Studioは、Mac本体ではなく、Parallels Desktop上のWindows環境で動かしています。
そのため、今回の結果は、私たちの環境で試した範囲の記録です。
同じモデルでも、パソコンの性能やメモリ、設定によって、速度や安定性は変わります。
- 「このモデルは、必ず使えない」
- 「このモデルが、絶対に一番良い」
という話ではありません。
あくまで、私たちの実務に近い作業を頼んだときの実践結果として読んでください。
最初に試したGemma 3 4B
最初に試したのは、Gemma 3 4Bです。
Gemmaは、Google系のAIモデルとして知られています。
今回は、このは屋を短く紹介する文章や、コンテンツの構成案などを頼んでみました。
- 結果、日本語での受け答えはできました。
- 記事の方向性も、ある程度は理解してくれます。
ただし、モデル名を聞いたときに、別のAIモデル名を答える場面がありました。
また、私たちの価値観であるDIYや内製化といった言葉は拾えても、その背景にある考え方まで自然に表現するのは難しそうでした。
たとえば、文章は、それらしく整います。
ですが、少し一般的なビジネス文章になりやすい印象です。
Gemma 3 4Bは、まずローカルLLMを試してみる入口としては、悪くありません。
ただ、私たちの文体をそのまま任せるには、もう少し工夫が必要だと感じました。（当然かも知れませんが。）
Qwen3 4Bは、構成案に可能性があった
次に試したのが、Qwen3 4Bです。
このモデルは、記事タイトルや構成案を考えさせたときに、比較的形になった案を出してくれました。
特に、テーマを分解して整理する作業は、ある程度任せられそうです。
ただし、気になる点もありました。
私たち、このは屋を説明させると、名称をうまく扱えない場面がありました。
また、DIYや鼻歌まじりの商売といった言葉を、表面的に処理する傾向もありました。
言葉は、出てきます。
ですが、その言葉が持つ背景や温度感までは、十分に理解できていないように見えます。
Qwen3 4Bは、ゼロから文章を完成させる役割よりも、見出し案や構成案のたたき台を作る役割が向いていそうです。
Thinkingモデルは、考える時間と品質が比例しなかった
続いて、Qwen3 4B Thinkingも試してみました。
名前の通り、考える過程を重視したモデルです。
一見すると、じっくり考えてくれそうに見えます。
ですが、今回の文章づくりでは、あまり良い結果にはなりませんでした。
出力に時間がかかるわりに、文章が機械的になったり、キーワードを並べただけのような表現になったりしました。
- 考える時間が長ければ、文章の質も高くなる。
そう思いがちです。
ですが、実際にはそうとも限りません。
少なくとも、今回のような記事づくりや文体づくりでは、通常のQwen3 4Bの方が使いやすい場面もありました。
DeepSeekは期待したが、この環境では扱いにくかった
DeepSeek-R1系のモデルも試してみました。
「DeepSeekは、考える力が高い」という話をよく見かけます。
そのため、「記事の構成や深い整理に向くかもしれない」と期待していました。
ただ、今回の環境では、少し扱いにくさを感じました。
モデル名は、正しく答えられる場面がありました。
ですが、日本語の文章には、不自然な言葉や、意味のつながりにくい表現が混ざることがありました。
私たち、このは屋に関する説明でも、実際には使っていない言葉が入り込んだり、意図しない方向へ話が進んだりしました。
また、出力にも時間がかかりました。
DeepSeekが悪いというより、今回の環境と用途では、力を活かしきれなかったのかもしれませんね。
少なくとも、初心者向けの記事づくりをそのまま任せる用途には、向いているとは言いにくい結果でした。
Ministralは速かったが、私らしさには届かなかった
Ministral-3-3Bも試しました。
このモデルは、比較的軽く、動作も速い印象でした。
ローカルLLMでは、待ち時間も大切です。
その意味では、速度は魅力です。
ただし、文章の内容を見ると、こちらも課題がありました。
質問に対して、少し違う方向へ話が進んだり、私たちらしい言葉を不自然に言い換えたりする場面がありました。
たとえば、「鼻歌まじりの商売」という考え方を、そのまま理解するのではなく、別の言葉に置き換えてしまうといったようなこと。
速く返ってくることと、こちらの意図を理解していることは別です。
この点は、実際に試してみて、よく分かりました。
モデル比較で分かったこと
今回の検証で、モデルごとの大まかな傾向は見えてきました。
| モデル | 今回感じた特徴 |
|---|---|
| Gemma 3 4B | 日本語で会話しやすいが、文章は一般論に寄りやすい |
| Qwen3 4B | タイトル案や構成案に可能性があるが、価値観の理解は浅め |
| Qwen3 4B Thinking | 時間がかかり、文章づくりでは通常版を上回らなかった |
| DeepSeek-R1系 | 期待したが、日本語や意図の安定性に課題を感じた |
| Ministral-3-3B | 比較的速いが、私たちの文体や考え方には合いにくかった |
ここで大切なのは、順位をつけることではありません。
AIモデルには、それぞれ得意な作業があります。
また、同じモデルでも、使うパソコンや設定によって印象は変わります。
だからこそ、ベンチマークの数字だけで決めず、自分たちの仕事に近い質問をしてみることが大切です。
ローカルLLMは、完成原稿を書く道具ではない
今回の検証を通して、現時点での私たちの考えは、はっきりしました。
ローカルLLMに、完成した記事をそのまま書いてもらうのは、まだ難しいです。
特に、私たち、このは屋のように、言葉の温度感や考え方を大切にする場合はそうです。
ただし、ローカルLLMが、役に立たないわけではありません。
- タイトル案を出す
- 記事の構成を考える
- 考えを箇条書きに整理する
- 別の視点を出す
- 下書きのたたき台を作る
こうした役割であれば、使える場面はあります。
- 最初から、完成を求めない。
- 人間が編集する前提で、下準備を手伝ってもらう。
これが、現時点でのローカルLLMとの付き合い方だと感じました。
まとめ
- ローカルLLMは、モデルごとに得意・不得意が大きく違いました
- Gemma 3 4Bは日本語で扱いやすいけど、一般論に寄りやすい結果でした
- Qwen3 4Bは構成案の、たたき台に可能性がありました
- Thinkingモデルは、待ち時間に見合う結果にならない場合もありました
- DeepSeekやMinistralも、今回の用途では課題が見えました
- 完成原稿を任せるより、アイデア整理や構成づくりに使う方が現実的です
次回は、Ollama公式GUIアプリを試します。
LM Studioは、モデルを探したり、細かく試したりするには、便利なツールでした。
一方、Ollama公式GUIアプリは、Mac上で、より手軽にローカルLLMを動かせるのか？
実際にインストールして、モデルを試してみます。
Intel MacでLM Studioは使えるのか？Parallels Desktopで実際に試してみた
