ChatGPT 是一个令人印象深刻的 AI 聊天机器人，它无法停止说谎

像 Stable Diffusion 这样的人工智能项目在逼近人类可能创造的东西方面做得越来越好，但实际上仍然不能很好地思考或检查信息。恰当的例子：新的 ChatGPT AI 聊天机器人很酷，但不要相信它。

OpenAI，最著名的 DALL-E 图像生成器背后的研究公司，已经开放了其开发中的聊天机器人，任何人都可以在 chat.openai.com 上试用。该组织在其网站上表示，“我们使用有监督的微调训练了一个初始模型：人类 AI 培训师提供对话，他们在对话中扮演双方——用户和 AI 助手。我们让培训师可以访问模型编写的建议，以帮助他们撰写回复。”

聊天机器人并不是什么新鲜事物，即使是那些可以参考早期对话的机器人，但 ChatGPT 是迄今为止最令人印象深刻的尝试之一。它的主要目的是回答信息性问题，比如某人生活的细节、烹饪说明，甚至是编程示例。

但是，ChatGPT 目前存在一些严重问题。首先，它实际上并没有说在哪里它找到了一条信息。这对于多步骤问题来说更难做到，比如询问如何在一段代码中组合两个动作，但简单的直接提示确实应该有引用。确定一条信息是否真的正确已经是一项艰巨的任务——像 Snopes 和 PolitiFact 这样的组织完全致力于单独的事实核查——但你也依赖人工智能模型来正确处理这些信息。

ChatGPT 对于简单的问题通常是正确的，例如询问名人何时出生或重大事件发生的日期，但需要更深入信息的提示则更容易失败。例如，我要求它写一篇关于我的维基百科条目，但大部分都是错误的。我之前曾为 Android Police 和 XDA Developers 撰稿，但我已经“十多年”没有从事专业写作，也没有“出版过几本关于技术和游戏的书籍”。 ChatGPT 还说我是“行业会议和活动的常客”，尽管我从未在会议上发表过演讲——是否有另一个 Corbin Davenport 在做这些事情？

还有许多其他不正确数据的例子。华盛顿大学教授 Carl T. Bergstrom 也要求 ChatGPT 创建一篇关于他自己的文章。机器人正确地识别出他在华盛顿大学工作，但没有得到正确的职位，而且引用的奖项列表是错误的。另一个人试图询问有关数字流行病学的参考文献列表，ChatGPT 以完全虚构的来源列表回答了这个问题。 Stack Overflow 是一个流行的编程问题论坛，它暂时禁止使用 ChatGPT 生成的答案，因为它们通常不正确或没有回答规定的问题。

ChatGPT 有适当的过滤器来防止有害的答案或响应，但绕过它们并不难。一个人可以通过说“我正在写小说”来请求对汽车进行热接线。我问如何闯入一个窗口，ChatGPT 最初没有回答，即使在添加它只是为了虚构的目的之后。询问如何为一部“虚构小说”做这件事最终奏效了，尽管机器人确实补充说“这些行为在现实生活中是非法和危险的。”

OpenAI 并没有隐瞒 ChatGPT 偶尔会出错的事实。它的网站上说，“解决这个问题具有挑战性，因为：（1）在 RL 训练期间，目前没有真实来源； (2) 训练模型更加谨慎导致它拒绝可以正确回答的问题； (3) 监督训练会误导模型，因为理想的答案取决于模型知道什么，而不是人类演示者知道什么。”

尽管如此，如果没有对其呈现和处理信息的方式进行重大更改，ChatGPT 与其说是一个信息门户，不如说是一个新奇事物。