开源模型、参数量与本地运行

我们聊完了模型是如何预训练的，我们再来聊聊几个大家可能关心的问题：

• 新闻里总说的「开源模型」是什么意思？
• 模型名字里的「60B」是什么？
• 我能在自己的电脑上运行开源模型吗？

Q1：开源和闭源模型是什么？

之前我们讲过，模型训练本质是调整模型内部的参数。训练结束后，这些参数的数值会被保存下来，通常称为模型的权重（Weights）。

开源和闭源模型都是大语言模型，他们有个关键区别是它们的权重是否公开。

• 开源模型将这些权重公开出来，让任何人都可以下载下来，并在自己的电脑或服务器上运行。并且因为这些权重都公开了，所以你还能自行修改这些权重。
• 闭源模型则是将这些权重保密，不让任何人下载下来，并只能在厂商的聊天产品或 API 中使用。

如果打个比方，你可以将开源模型类比为免费的电脑软件，你可以免费下载和使用。并且除了能下载运行外，你还能修改软件的代码，使其匹配你的需求。而闭源模型则更像是付费软件，且一般需要额外付费（当然也有一些模型厂商为了吸引更多人使用，会提供免费使用），同时无法修改软件代码，模型也只会在开发者设定好的范围内运行。1

Q2: 开源和闭源有何区别？

开源和闭源除了前面的所谓的权重区别外，我认为还有三个核心区别。

第一个：是否可以修改权重，微调模型

闭源模型是不允许修改权重的，所以如果你听说什么微调 Claude Opus 5.5 或者 GPT-6 模型，这个一般都是错误的。Claude 和 GPT 的核心模型都没有开源，公司外部的人不可能拿到权重对其进行微调。早期这些模型厂商的确有提供一些官方的微调服务，但现在都逐步关闭了。

第二个：是否能免费使用

这里需要展开说明一下，「免费」的定义。像一些闭源模型厂商，比如 OpenAI，模型是闭源的，但他们会提供给你免费试用。但当你用到一定的额度后，他们就会开始收费。

但开源模型则不一样，你可以将其安装到你的电脑或服务器上，不管用多久，都不需要额外付费。当然，你也需要承担一些额外的成本，比如硬件成本、电力成本、维护成本等。如果你的服务器是租用的，那你还需要支付额外的费用。但这些费用都不是开源模型厂商收取的。2

第三个：你的数据是否会传递给模型厂商

最后一个区别就是你的数据是否会传递给模型厂商。如果你在本地运行模型，那么你的数据只会保存在本地，不会传递给模型厂商。但需要注意，如果你使用一些厂商的托管服务，那么你的数据可能会被发送到云服务商。

Q3：模型里的 B 代表什么？

你可能见过模型名字里带着 7B、32B、60B 或 70B。这里的 B 是 Billion，十亿。比如 DeepSeek-V4.1-Flash 则是 552B。

这里的数字，不是训练文本的字数，也不是模型能记住的知识条数，或者上下文窗口的大小。而是模型的参数量。换句话来说，552B 模型大约有 5520 亿个参数。

那么问题来了，参数越多，模型就越强吗？

不能只看这个数字。

你可以把参数数量类比为厨房的规模。更大的厨房有空间容纳更多设备，但做出来的菜好不好，还取决于食材、做法和训练。不能只看厨房面积，就判断哪家餐厅更好吃。

因此，一个训练更充分、针对某类任务做过优化的小模型，可能在这类任务上超过更大的模型。参数量描述规模，实际能力要通过任务来验证。

下一章我会详细介绍下目前主流大模型的评测结果，你可以根据这个评测结果来选择适合你的模型。

Q4：什么是混合专家（MoE）模型？

你可能也听说过，别人在介绍 DeepSeek-V4.1-Flash 模型时，会说它是一个混合专家（Mixture-of-Experts）模型。

那什么是混合专家模型呢？

你可以简单将 DeepSeek-V4.1-Flash 模型类比成一个由 5520 亿个专家组成的专家团。如果需要解决一个问题，非混合专家模型，会把问题交给全部专家看一遍，最后得出结果。而像 DeepSeek-V4.1-Flash 这类的混合专家模型，则是根据情况来分配这些专家：

• 当用户输入完问题并传给模型时，模型仅会激活 8B 参数来理解问题。可以类比为这 8B 专家不太擅长解答，但非常擅长理解问题，并且知道应该将问题分配给哪些专家。
• 理解完问题后，需要输入答案时，模型则会调用 16B 的参数来生成答案。这一步可以理解为前面的 8B 专家会将问题转交给回答此问题的专家团，然后由这些专家来生成答案。

按照这个设计，自然就能带来性能的优势，之前需要 552B 个专家都过一遍的问题，现在只需要 8B 和 16B 的专家过一遍，就能得出结果。速度更快，同时所需要的计算资源也会少（起码电费会少很多 😆）。

Q5：我的电脑能运行 DeepSeek-V4.1-Flash 模型吗？

估计很多人会有个疑问，既然开源模型能本地运行，那我能用我的电脑运行 DeepSeek-V4.1-Flash 模型吗？

那这就要看你的电脑配置了。一般我们会用一个叫「1.2 倍法则」来计算运行某个模型所需要的显存。公式大概是这样：

$$\text{所需显存 (GB)} \approx X \times \text{量化位数 (Bits)} \,/\, 8 \times 1.2$$

量化位数你暂时不需要知道是什么，如果是想无损运行这个值大概是 16，x=552，代入公式，大约需要 1325 GB 左右的显存。

注意，这里说的是显存，不是内存。如果你是 4090 显卡，那么大约需要 1325 GB / 24 = 55.2 张 4090 显卡。

不过现在像 Apple 的芯片，提供了一种叫统一内存的技术，所以 Mac 用户也可以使用 M 系列芯片来运行这个模型。查了下，目前 512GB 统一内存的 Mac 大约是 17 万人民币左右，你需要大约 3 台电脑才能运行这个模型。即使用 INT4 / Q4_K_M（你暂时不需要理解是什么），也需要大约 359GB 的显存。

换句话说，如果你只想在电脑上运行这个最新的模型，2026 年的成本大约是 17 万元人民币。

当然以上都是较简单的运算和预估，实际还要看你运行的模型版本、量化位数等。