LLMs会永远说谎

我们真的能完全信任AI吗？随着LLMs变得越来越先进，它们仍然面临一个重大问题：幻觉——即生成虚假或无意义的信息。最近有一篇论文认为，这个问题并不是一个暂时的故障，而是AI工作原理的一个永久特征。如果属实，这可能也应当改变我们未来对待AI的方式。

顺便说一句，你可以在新的YouTube频道上查看这篇论文和其他许多论文的简短视频总结 新的YouTube频道 !

概述

这篇题为"LLMs将始终存在幻觉，我们需要接受这一点"的论文提出了一个大胆的论断：由于这些系统的设计方式，AI中的幻觉是不可避免的。作者认为，无论我们如何改进AI——无论是通过更好的设计、更多的数据，还是更智能的事实核查系统——总会存在一定程度的幻觉。

他们的论点基于数学理论。通过运用计算理论和哥德尔不完备定理的思想，他们展示了某些限制是不可避免的。如果他们的观点正确，我们将不得不重新思考我们对AI系统的目标，特别是在使它们完全可靠方面。

该论文通过一系列数学证明构建其论点，每个证明解释了为什么幻觉现象是LLMs本质的一部分。论文最后讨论了这种现象在实际应用和伦理方面的后果。

简单解释

一种思考大语言模型（LLMs）工作方式的方法是，它们就像在玩一个游戏，你被要求描述一幅画，但你只能看到画的一部分。有时候，你可以猜出缺失的部分，但其他时候你会猜错，因为你不拥有整幅画，被遮挡的部分可能有一些意想不到的东西。这就是AI幻觉：系统在填补空白，但并不总是猜得正确。

论文的作者认为，这并不是不完美技术的迹象，而是AI在最基本层面上的运作方式。无论我们如何调整或改进这些系统，它们都无法做到完美地掌握一切。即使它们能够访问世界上所有的数据，仍然有深刻的数学原因使得它们无法总是检索到正确的信息。

主要的收获是，与其试图让AI达到完美，我们应当接受它的缺陷，并专注于如何有效地管理这些缺陷。

技术解释

论文作者依赖数学证明来解释为什么幻觉在大型语言模型中不可避免。首先，他们表明训练数据永远不可能是完整的，并引用类似哥德尔的陈述来证明没有数据集可以包含所有事实。这意味着由于信息不完整，幻觉是不可避免的。

接下来，他们通过将信息检索与计算理论中的一个著名问题——接受问题——进行比较，来探讨信息检索。简而言之，这意味着AI模型无法保证100%准确地检索到正确的信息。他们用同样的逻辑来分析理解用户意图的问题，得出结论，AI系统也无法完美地解读用户在问什么。

最后，他们研究了生成语言的过程。通过证明对于LLMs来说，停机问题——确定一个进程何时结束——是不可判定的，他们认为AI系统无法提前预测自己会说什么。这为幻觉现象打开了大门。

该论文还表明，没有任何事实核查系统能够纠正所有幻觉。即使是一个完美的事实核查器也无法解决导致幻觉的根本计算问题。

批判性分析

尽管论文提供了强有力的数学证据，但仍有一些问题需要进一步探索。

首先，该论文对“hallucination”（幻觉）采用了广泛的定义。论文似乎认为，任何偏离完美知识的情况都是一种幻觉，但实际上，许多AI系统即使存在一定的误差也能很好地运行。对于许多应用来说，即使偶尔出现幻觉，“足够好”也可能是可以接受的。

此外，虽然该论文侧重于确定性结果，但现代AI系统是概率性的，这意味着关于不可判定性的结论可能并不完全适用。即使完美行为无法达到，也有可能将幻觉减少到几乎不可察觉的程度。

该论文也可以从更多的实证证据中获益。在实际的AI模型中测试这些想法将增强论点。此外，讨论主要集中在基于变压器的模型上，这留下了这样的问题：这些限制是否也适用于其他AI架构。

最后，该论文没有讨论人类如何处理不完整的信息和自己思维中的错误。将AI的幻觉与人类的错误进行比较，可以提供一个宝贵的视角。

结论

如果论文的结论成立，我们可能需要重新思考我们如何开发和使用AI系统。与其追求完美，我们应该专注于管理和最小化幻觉的影响。我们还应该致力于提高AI素养，让用户了解这些系统的局限性。此外，设计能够容忍偶尔错误的AI应用程序可能是前进的最佳方式。

我认为这项研究提出了重要的问题。一些我想到的有……

• 如何衡量并减少幻觉在现实世界中的影响？

• 是否存在一些新的AI架构可以避免这些问题？

• 如何调整法规和伦理标准以适应AI总是存在缺陷这一事实？

我很想听听你的想法。你觉得这些数学论证有说服力吗？你认为这将如何影响LLMs的未来，特别是我们如何看待其可靠性？在Discord中告诉我。

如果你觉得这项分析有用，不妨订阅以获取更多关于AI/ML研究的解析。也欢迎将这篇文章分享给其他对这些关于AI未来的大问题感兴趣的人。感谢阅读！