大语言模型是如何生成回答的?
从全自动文字接龙系统理解大语言模型,以及为什么你的输入会影响它的输出。
你最近应该经常看到或听到一个术语 ——「大语言模型」(Large Language Model),也有人会简称它为大模型或者 LLM。很多人称其为「人工智能」,这对吗?它实际是什么?它为何看起来像科幻片里的「人工智能」?
一、全自动文字接龙系统
简单类比的话,你可以将 LLM 看成一个「全自动文字接龙系统」。举个简单的例子,如果你向 LLM(比如 DeepSeek、ChatGPT)提问:
模型就会进行一系列的运算,但它跟你想象中的不同,它并不会进行「思考」,它实际是通过各种计算,预测这个问题的下一个概率最高的「字」是什么。
比如「今天广州的天气如何?」,下一个字可能在模型的某次生成中,运算出来的结果是「今」。

当计算出「今」之后,模型会将「今天广州的天气如何?今」作为新的输入,再重新计算下一个字,算出下一个字是「天」,得到最新结果「今天广州的天气如何?今天」。接着模型会继续计算下一个字,直到得到最终结果。
整个流程大概像这样:
最终,你会在产品里看到这样的回答:
理解了这个原理,你应该就懂得了为何在使用 LLM 的产品时,LLM 的回复都是一个字一个字地吐出答案。
二、搞懂这个概念有什么用?
懂得了这个简单原理之后,你应该就能理解,为何在 LLM 产品的早期,比如 GPT-3.5 的时候,会有众多所谓的 Prompt Engineering(提示词工程)技巧了吧。
比如在翻译场景下,你可以在输入要翻译的英文前增加一段「你是个精通中英文翻译的专家,请你翻译如下英文...」,这类指令(Prompt)。本质上来说,添加这些指令,就是为了提高 LLM 输出满意答案的概率。
为什么呢?
因为与 AI 进行交互,必须使用文字来写出来,不懂相关概念就难以把要求说清楚。换句话来说,不懂相关概念就很难向 LLM 提出问题,或者给它合适的指令。最后如果指令不清晰,或者描述有误,自然就会得到不够好,甚至错误的回答。
就拿下方这两个按钮为例,请你分别点击试试。当你点击后,你会看到一个菜单。菜单上有同样内容。但你会发现两个菜单的样式完全不一样。你觉得哪个体验更好?
如果你不懂任何的编程或产品相关的概念,完全靠简单的一句话需求:点击按钮后,出现一个菜单,菜单里有菜单 A、B、C 三个按钮。
那大概率模型只会给你一个在概率上最有可能,或者说是一个平庸的结果。但如果你懂得相关的知识,你就可以给 LLM 下相关的优化命令,让其输出变得更加出色。
这也是本教程想教给你的东西。