ChatGPT的原理局限性：它永远不会做什么？

2023-02-10 · 1 min read · 计算机科学日常生活 ·

最近ChatGPT很货，我们程序员起始是最早知道它的一批人，当时在圈子里并没有多大波澜，可能是觉得它只是之前产品的一种改进，并没有达到革命性的地步。不过随着这一段时间ChatGPT被越来越多的人知道，加之它的输出结果确实惊艳，这个产品开始在社会上持续发酵越来越火，不少人觉得这个能代替人类做很多工作了，对自己的饭碗产生危机感。

就我看来，这个产品输出的其实只是貌似流畅的文字组合，但隐藏的细节可能会经不起推敲。因此只能用在一些不重要的地方作为一种助手、参考。如果把它用在重要的地方或者正式的地方，那其实还要花很多时间进行审阅，并且还有可能隐藏审阅没发现的错误，所以其给出的结果并不能让人放心的使用在正式场合。另外，需要更多创意的时候，其实也不能指望它。

今天浏览科学网，发现程京德老师写的一篇文章ChatGPT的原理局限性：它永远不会做什么？。读完以后非常赞同这位老师的观点，因此转载分享，希望给大家一些思考。

**ChatGPT 的原理局限性：它永远不会做什么？ **
程京德 ChatGPT 在全世界各行各业的热度不减，到处都是它的话题，笔者的逻辑学科普文章里也拿它举例。现在似乎大家都在夸它的功能强效果好，本文则试图说明它在原理上的局限性，理清它永远不会做什么，仅供想利用它做科研做事业做生意的人们参考。
先来提个简单问题：“ChatGPT永远不会做什么？”一个明显可能的回答可以是：“首先，ChatGPT 不会感知自己的存在。它是一种机器，没有意识，也没有自我意识。它无法感受自己的情绪，也不能产生真实的思想。其次，ChatGPT 不会从外部获取信息。ChatGPT 是一个封闭的系统，它不能从外部获取任何信息，除非这些信息被人为输入。它的计算结果受到训练数据的影响。因此，它的回答可能是不准确的或存在偏见。它永远不会具有独立的判断力。此外，ChatGPT不会做有关道德和价值观的决策。它不能识别道德规范和价值观念，也不能评估任何行为的道德价值。因此，它不能作出有关道德和价值观的决策。最后，ChatGPT不会产生自主性。它只能回答问题，不能主动对外界产生影响。它不能对外界产生贡献，也不能对外界造成影响。”但是这个回答显然太肤浅了，接下来让我们列举ChatGPT 从原理上来说的不可能（亦即，如果不在工作原理上做改动，那么永远也学不会的功能）：
（1）不可能提供100%确定的正确答案 ChatGPT的基本工作原理是深层学习（笔者从来都认为“深层学习”才是对“deep learning”之本质的中文准确翻译），其数学基础是概率论。这就意味着，ChatGPT 永远不可能对问题给出100%确定的正确答案，即便是偶尔给出正确答案，或者是直接来自于数据源或者是碰巧“凑”出来的，而并非由清晰定义的算法“逻辑地”计算出来的。这大概是ChatGPT（及其它基于同样基本工作原理的工具）最本质的特点。所以，尽管 ChatGPT 能够在以相对优劣为评价标准的领域内给出效果极佳的答案，但是对于以绝对优劣为评价标准的领域（比如，逻辑学、离散数学之全部、连续数学之大部、以及基于这些的科学理论领域、日常生活中要求是非对错黑白分明的场景等等）内要求绝对确定的正确性的应用，就无能为力了。请注意，扩展ChatGPT 的数据源的规模（比如，把维基百科全书改为不例颠百科全书）也并不可能从根本上上解决此问题。
（2）不可能具备概念性创新的能力尽管ChatGPT 能够通过在大规模数据集上的训练以及它基于大规模语言模型的优秀的言词组合能力“创造”出效果极佳的新内容（具体不论），但是，受其基本工作原理限制（亦即，在规模上把“大规模”扩展到“超大规模”也无用），它不可能自己主动提出新的概念及其清晰定义。实际上，新概念的提出和定义本身就要求绝对优劣的评价标准。但是，ChatGPT（及其它基于同样基本工作原理的工具）在工作原理上缺少的应该是提出和定义新概念时所需的认知机制和能力。如果没有提出和定义新概念的能力，那么做科研基本上就无望了（做人类的“科研助手”当然别论）。
（3）不可能具备真正的一般逻辑推理能力尽管ChatGPT 能够通过其优秀的言词组合能力“创造”出貌似“逻辑推理”的效果，但是，受其基本工作原理限制，它不可能自己主动地以其掌握的数据作为前提“逻辑地”推导出正确性依赖于前提的“逻辑结论”。从人类到计算机程序，没有一般的逻辑系统作为基础，通用的逻辑推理机制的建立是不可能的。而ChatGPT（及其它基于同样基本工作原理的工具）恰恰缺少一般的逻辑系统作为基础。所以，尽管 ChatGPT 在某些场景下根据其预埋的“逻辑路径”可以组合出让提问者认为是“逻辑结论”的答案，但是完全没有一般性和通用性。
（4）不可能具备发现和预测的一般能力
从哲学或逻辑理论上来说，这个无能是上面（3）的直接结果。但是，即便是不追求一般性或者通用，ChatGPT对它通过在大规模数据集上的训练以及它基于大规模语言模型的优秀的言词组合能力偶然“创造”出的新内容，ChatGPT 自身并没有评价标准去判断是不是对全世界是“新”的（对提问者是不是新的不论）。那么，发现和预测也就无从谈起了。所以，做科研做事业做生意的人如果自己具备相当的认知水平可以判 ChatGPT 给出的“新”内容，那么作为参考可能还是有用的，但是如果提问者本人不具备相当的认知水平而对 ChatGPT 给出的“新”内容都信以为真，那么迟早会跌落进一个“大坑”。
（5）不可能自我评价并渐进地修改评价标准而达到能力的自律成长基于神经网络的深层学习方法由于在层次自动深化利用了计算机的高速计算性能，使得这种方法有效并且极具实用性，在许多领域获得了巨大的成功。但是，笔者孤陋寡闻，似乎没看到ChatGPT（及其它基于同样基本工作原理的工具）具有自我评价并渐进地修改评价标准而达到能力的自律成长的机制。在笔者看来，似乎目前还没有什么基础理论能够对这种机制的建立起到支撑作用，所以，这种自动化机制似乎永无可能。如果ChatGPT 永无可能建立起这种自动化机制，那么就永无可能自律成长。所以，完全不用担心 ChatGPT 迟早有一天会超越人类。

最后申明一句。上文中最初的问题是笔者提问 ChatGPT，回答是它给笔者的（连续问了几次，本人挑选了最像样的回答），笔者有意为之的。本文其余部分全部为笔者原创。由此申明也可以看出，ChatGPT 工具们对人类社会认知逻辑准则的冲击。