ChatGPT的底层数学知识：贝叶斯定理

我曾在推文「思考技术发展背后的因果关系：适应这个复杂的世界」里，和橙子一起研究学习了人工智能和ChatGPT的概念、原理和发展历史，并提到ChatGPT使用的底层技术包含贝叶斯定理。

今天就和大家一起复习贝叶斯定理，内容可能有点长，请耐心看完。

ChatGPT如何运用贝叶斯定理？

简单来说，ChatGPT是通过大规模的语义训练，形成了一个模型。这个模型可以基于你输入的问题，通过贝叶斯定理来把你的输入和它生成的输出统一作为再输入的语料，通过算法计算出一个最大概率的下一个字。然后不断地这样的迭代循环，生成出一篇你看起来无懈可击的答案。

再延伸说一点，训练出的模型之所以能达到这种效果，是因为有神经算法。

神经算法是模仿人脑的思维，像神经元的连接，每个输入有一个权重，这些输入通过中间的路径得到一个输出。从中找到权重最大的路径，生成需要的输出结果。

ChatGPT就是基于神经网络的大规模应用。 ChatGPT 1.0版本的神经网络路径有一点几亿个，结果没有那么理想。ChatGPT 3.5模型的神经网络达到了1400亿个，超过了人类的神经元数量，它生成的结果已经很接近人类的输出效果了^[1]。GPT 5模型使用先进的架构，更广泛和多样化的训练数据集，更好的语言建模能力，以及多语言支持，能给人更惊艳的效果。

贝叶斯定理

贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761年) 发展，主要公式为：

贝叶斯定理，主要讲的是一个先验概率，就是已知条件A发生时，条件B会发生的概率。

我们用一个生活中的案例来理解贝叶斯公式^[2]。

比如说有一个新冠检测试纸的敏感度与可靠度均为99%，也就是能测量出新冠的人是阳性的概率是99%，测量出未得新冠的人是阴性的概率也是99%。

我们可能觉得这个试纸比较可靠，但是贝叶斯定理却告诉我们并非如此。

假设一个公司出现了新冠感染病例（已知为0.5%），现要对全员进行新冠核酸检测，请问某人检测是阳性时确实是新冠感染者的概率是多少？

我们可能会觉得这还用问吗，既然测出来是阳性，那这个人99%是新冠感染者了。实际上这种概率只有30%多。

为什么会有这么大的差别？这就要用到贝叶斯定理。

贝叶斯定理应用案例

假设“CO”为该公司员工新冠感染事件，“NCO”为该公司员工非新冠感染事件，“+”为该公司员工检测呈阳性事件。

员工感染新冠的概率：P(CO) = 0.005。因为前面我们假设了病例为0.5%，所以这个值就是CO的先验概率。

员工未感染新冠的概率：P(NCO) = 1-P(CO) = 0.995。

新冠感染者阳性检出率：P(+|CO) = 0.99。这是一个条件概率同时也是先验概率，因为试纸的阳性检测准确性是99%。

非新冠感染者阳性检出率：P(+|NCO) = 0.01。也就是检测出错的概率，因为对于非新冠感染者，其检测为阴性的概率为99%，因此，其被误检测成阳性的概率为1-99%。

不考虑其他因素的阳性检出率：P(+) = 0.0149，也就是检测呈阳性的先验概率。

我们可以通过全概率公式计算出P(+)来：

P(+) = 新冠感染者阳性检出率+ 非新冠感染者阳性检出率
= P(CO) × P(+|CO) + P(NCO) × P(+|NCO) 
= 0.005 × 0.99 + 0.995 × 0.01 
= 0.00495 + 0.00995 
= 0.0149

根据以上描述，我们可以计算某人检测呈阳性时确实为新冠感染者的条件概率P(CO|+)为33.2215%：

P(CO|+)   = 新冠感染者阳性检出率 / 不考虑其他因素的阳性检出率
= P(+|CO) × P(CO) / (P(+|CO) × P(CO) + P(+|NCO) × P(NCO) )
= 0.99 * 0.005 / 0.0149 
= 0.332215

那试纸确实没法做到百分百可靠时怎么办呢？没关系，贝叶斯定理告诉我们可以复检，在医院里我们也就是这么做的。

如果让此人再次复检还是阳性（相当于P(CO)=33.2215%，为新冠感染者概率，替换了原先的0.5%），再使用贝叶斯定理计算，将会得到此人为新冠感染者的概率为98.01%。

写在最后

今天，我们一起学习了贝叶斯定理，并用一个假设某公司全员新冠检测，计算试纸检测是阳性时确实是新冠感染者的概率，来理解贝叶斯公式的妙用。

读书时期，我自认为数学学得还可以，但毕业后概率论这些慢慢地就忘记了，究其原因还是读书时只顾应试，知识学得一知半解。

为什么我们的直观印象和实际计算出来的差别这么大？

这很正常，我们大部分人对数字都没那么敏感。哪怕我学过贝叶斯定理，不去拿来计算也会犯同样的错误，可见学好数学有多重要。

概率论不仅让我们理解事物的原委，还能提高我们的判断力。

生活中，我们可以用简单的数学公式，来估算不同事件可能发生的概率，从而做出对应的选择和部署后续的行动。

比如是否买彩票，比如坚持长期主义。

每天进步一点点，长期来看，会积累出巨大的复利效应。

参考资料