オープンソースモデル、パラメーター数、ローカル実行
オープンモデルとクローズドモデル、パラメーター数、MoE を理解し、ローカル実行に必要なハードウェアを見積もります。
事前学習を説明したところで、よくある疑問を見ていきましょう。
- ニュースで聞く「オープンソースモデル」とは何でしょうか。
- モデル名の「60B」は何を表すのでしょうか。
- 自分のパソコンでオープンソースモデルを動かせるのでしょうか。
Q1：オープンソースモデルとクローズドソースモデルとは
前のレッスンで、学習はモデル内部のパラメーターを調整する過程だと説明しました。学習が終わると、その値を保存します。通常、これをモデルの重みと呼びます。
どちらも大規模言語モデルです。主な違いの 1 つは、重みを公開しているかどうかです。
- オープンソースモデルは重みを公開し、誰でもダウンロードしてパソコンやサーバーで動かせます。重みを入手できるので、変更もできます。
- クローズドソースモデルの重みは非公開です。ダウンロードできず、提供元のチャット製品や API を通じて使います。
たとえるなら、オープンソースモデルは無料のパソコン用ソフトウェアです。無料でダウンロードして使え、実行するだけでなく、必要に応じてコードを変更できます。クローズドソースモデルは有料ソフトウェアに近く、通常は料金がかかります。ただし、ユーザーを集めるために無料で使える場合もあります。コードは変更できず、開発者が設定した制限の範囲でしか動きません。
Q2：どのような違いがあるのか
重みの公開以外に、主に 3 つの違いがあると考えています。
1 つ目：重みを変更してファインチューニングできるか。
クローズドソースモデルでは、重みを変更できません。そのため、Claude Opus 5.5 や GPT-6 をファインチューニングするという話は、一般に誤りです。Claude と GPT の主力モデルはオープンソースではなく、社外の人は重みを入手して調整できないからです。以前は公式のファインチューニングサービスもありましたが、次第に終了しています。
2 つ目：無料で使えるか。
まず「無料」の意味を整理しましょう。OpenAI などはモデルを非公開にしつつ、無料で試せる枠を設けています。一定量を使うと、料金が発生します。
オープンソースモデルなら、自分のパソコンやサーバーに入れ、モデルの追加利用料なしで使い続けられます。ただし、ハードウェア、電気、保守、場合によってはサーバーのレンタル代がかかります。これらを請求するのは、オープンソースモデルの提供元ではありません。
3 つ目：データがモデルの提供元に届くか。
ローカルで実行すれば、データもローカルに残り、モデルの提供元には送信されません。ただし、ホスティングサービスを使うと、データがクラウドの提供元に送られる場合があります。
Q3：モデル名の B は何を表すのか
7B、32B、60B、70B のような名前を見たことがあるでしょう。B は billion、10 億を表します。たとえば DeepSeek-V4.1-Flash は 552B のモデルです。
これは学習テキストの文字数でも、記憶した事実の数でも、コンテキストウィンドウでもありません。パラメーターの数です。552B のモデルには、約 5,520 億個のパラメーターがあります。
パラメーターが多いほど、モデルは強いのでしょうか。
その数字だけでは判断できません。
キッチンの広さで考えてみましょう。広いほど設備を多く置けますが、料理の質は食材、調理法、訓練にも左右されます。床面積だけで、どの店の料理がおいしいかは分かりません。
そのため、小さなモデルでも、十分に学習したり、特定の課題に最適化したりすれば、その課題では大きなモデルを上回ることがあります。パラメーター数は規模を表します。実力は実際の課題で確かめましょう。
次のレッスンでは、主なモデルの評価を紹介し、選び方を説明します。
Q4：混合エキスパートモデルとは
DeepSeek-V4.1-Flash は、混合エキスパート、略して MoE モデルだと聞いたことがあるかもしれません。
これは何を意味するのでしょうか。
簡単なたとえとして、DeepSeek-V4.1-Flash を 5,520 億人の専門家チームだと考えます。MoE でないモデルなら、全員で問題を検討してから結果を出します。DeepSeek-V4.1-Flash のような MoE モデルは、状況に応じて担当を分けます。
- ユーザーが質問すると、まず 8B のパラメーターだけを有効にして質問を理解します。この 80 億人は、直接答える専門家ではなく、質問を理解し、誰に答えてもらうべきかを判断する専門家だと考えてください。
- 回答が必要になると、16B のパラメーターを呼び出します。最初の 80 億人が適切な回答チームに質問を渡し、そのチームが答えを生成します。
この設計には、当然、性能上の利点があります。以前は 552B 全員で取り組んだ問題を、8B と 16B のグループで処理できます。速くなり、計算資源も減ります。少なくとも、電気代は大きく下がりますね 😆。
Q5：自分のパソコンで DeepSeek-V4.1-Flash を動かせるか
オープンソースモデルをローカルで使えるなら、あなたのパソコンで DeepSeek-V4.1-Flash を動かせるでしょうか。
ハードウェア次第です。GPU メモリーの大まかな見積もりには、よく「1.2 倍の法則」を使います。
量子化ビット数は、まだ理解しなくて構いません。精度を落とさずに使う場合は、およそ 16 です。x = 552 を入れると、約 1,325 GB の GPU メモリーが必要です。
これはシステムメモリーではなく、GPU メモリーです。4090 グラフィックスカードなら、約 1,325 GB ÷ 24 = 55.2 枚になります。
Apple のチップにはユニファイドメモリーがあるので、M シリーズの Mac でも動かせます。価格を調べたところ、512 GB のユニファイドメモリーを搭載した Mac は現在およそ 17 万人民元で、このモデルには約 3 台必要です。INT4 / Q4_K_M を使っても、約 359 GB のメモリーが必要です。これらの用語は、まだ理解しなくて構いません。
つまり、2026 年にこの最新モデルを自分のパソコンで動かすには、およそ 17 万人民元かかります。
これは単純な計算と見積もりです。実際の要件は、モデルの版、量子化、その他の条件にも左右されます。