[智能应用]多位专家聚焦讨论：人工智能幻觉，怎么破？ [复制链接]

2025年被视为AI应用大规模落地的元年。AI技术带来革命性便利的同时，其负面影响也随之越来越受到关注。尤其是AI幻觉，即所谓“一本正经胡说八道”的问题，限制了AI在很多领域的应用，甚至引起社会治理方面的担忧。该如何应对AI幻觉带来的挑战？环球时报研究院日前举办“环球前沿科技论坛·AI治理共识探索与中国方案”专题研讨会，邀请多位业内专家就相关话题展开讨论。
幻觉问题是AI进化的“胎记”？
相关调研显示，在“公众认为使用AI应用过程中有哪些突出问题”的问卷调查中，反馈最多的是“内容不准确，或含虚假信息”，占比高达42.2%。
中国信息通信研究院人工智能研究所安全与具身智能部主任石霖介绍说，业内说的AI幻觉，主要是指大模型生成的相关内容，和现实世界或者用户的输入不一致的现象，本质上是由于大模型的训练设计缺陷、数据的不足以及架构的偏差等因素造成的。更通俗地说，大模型的底层原理是基于概率内生机制，生成过程中会倾向于选择训练数据中出现频率高的表达方式，所以在回答中AI会不断选择出现概率最高的词，然而其中一个词产生了错误，AI并不知道哪些是正确或者客观答案，不会自我纠正，导致错误进一步扩大。
总体上可以将AI幻觉分为三类：事实性幻觉，也就是公众反馈最多的AI编造虚假事件、引出不存在的知识、进行违反常识的推断等；忠实性幻觉，主要是由于当前大模型的注意力机制，导致不能维持超长文本的一致性，表现出上下文自我矛盾，比如AI先肯定一个观点，接下来的回答又否定同一个观点，出现上下不一致的现象；随着多模态的应用，AI还出现了跨模态不一致的问题，比如文生图的时候，可能会出现相关幻觉问题。
石霖强调说，目前的大模型架构，不可能完全消除幻觉，只能通过各种技术手段进行缓解。
另一名与会专家表示，对AI幻觉，公众倒不用谈之色变。我们可以将幻觉理解为生成式AI进化的“胎记”。大语言模型基于transformer架构，核心是让模型动态聚焦重点词，通过注意力机制同时扫描整句话的所有词，建立上下文关系逻辑，再结合位置编码记住词顺序，层层推导后输出结果。再形象一点说，模型就像一个靠背课文考试的学生，遇到不会的题就靠联想瞎蒙，还不敢交白卷，这样，通过模型的技术限制+数据缺陷+生成机制，导致“幻觉”无法完全避免。
他认为，从另外的视角看，AI的适度生成自由度可以称之为可理解的幻觉，是大模型保持“创造力”的一个必要的代价，“像绘画是对于人类记忆或者形象的一种创造性重构，AI的幻觉可能正是它持续实现能力突破的一股内生力量”。
资料图
北京师范大学法学院博士生导师、中国互联网协会研究中心副主任吴沈括也认为，AI幻觉一方面带来信任危机、安全漏洞、信息污染，包括意识形态安全风险；另一方面不能由此否定所有的正向价值，幻觉产生过程也会有一定偶然性，也有可能带来新的创造力，在艺术和科研等领域很有价值。
AI幻觉的危害有多大
《自然》杂志的统计显示，各类聊天机器人在提及参考文献时的出错率相当惊人。对于很多要求严谨的专业领域，例如开具医疗处方、司法判决、推荐股票、生成生产代码等，AI的使用就受到严格限制，还有人担心海量AI生成的幻觉内容涌入网络，又被大模型当成训练素材学习，导致幻觉更严重，形成恶性循环，加剧网络低质量内容增长。
清华大学公共管理学院院长、科技发展与治理研究中心主任朱旭峰认为，讨论AI幻觉对于社会的危害，其实不取决于AI本身，而是取决于应用的场景。如果只是把AI作为聊天工具，幻觉问题并没有什么严重后果，就类似和朋友天南海北地聊天，其中有吹牛的成分也无伤大雅。但如果把AI生成的错误结果不加识别地用于法院判决等场合，显然危害很大，用AI进行医疗诊断，出现幻觉问题可能导致严重的医疗事故。
朱旭峰表示，现在AI幻觉问题还主要集中在文字内容上，但随着DeepSeek等大模型开始普及，AI被用于其他大量场景，生成的不是文字，而是软件、算法、程序甚至决策的信号，影响就更大了。比如现在多个品牌的自动驾驶技术，就是用生成式人工智能技术把人的驾驶习惯大数据跟周围场景结合起来，通过深度学习利用人工智能算法生成出自动驾驶或紧急避让决策。如果这时候人工智能出现幻觉，就可能引发交通事故。这些也是属于AI幻觉所产生的后果，所造成的危害显然是实实在在的。因此谈AI幻觉，不能抛开场景。
中国政法大学数据法治研究院教授、联合国人工智能高级别咨询机构专家张凌寒指出，大模型的幻觉问题引发严重关注，主要在于人们将其应用于不适宜的领域。公众对大模型生成内容及其功能存在过度幻想，当其生成的内容不够真实时，便将问题归咎于AI，而实际上人类本就不应完全依赖人工智能大模型。在文化创意产业等领域，AI幻觉的影响相对较小，因其本就倚重丰富的想象力。然而，在对精准性要求极高的行业，AI幻觉可能导致严重问题。例如，2023年2月，美国纽约南区联邦法院在审理一起航空事故诉讼时发现，原告律师提交的法律文书中引用了ChatGPT生成的6个虚假判例，这些虚构案例包括完整的案件名称、案卷号及法官意见，甚至模仿了美国联邦最高法院的判例风格，其虚构能力严重干扰了司法程序。
吴沈括表示，AI幻觉具有难以预测的特点。数据安全、供应链安全、自动化决策以及意识形态等领域当中会有进一步的扩大或者风险放大的趋势。从数据安全角度来讲，在AI幻觉过程中形成的新数据可能成为下一次训练数据的组成部分，这样的累积叠加，同样从供应链安全角度来讲，幻觉的存在进入到新的应用场景当中，会引发软件供应链安全风险，这个问题具有一定的隐藏性。此外，国外相关研究对于大模型应用过程当中存在的根深蒂固的歧视和偏见等问题非常关注。他们经常讲到幻觉内容会引发意识形态的安全问题，提出需要有前瞻性的规划部署和风险防范。
石霖表示，大模型生成的内容正不断出现在互联网上，里边可能会包含幻觉产生的数据，如果再拿这些数据反过来做训练的话，会污染大模型训练相关的数据集，会对大模型进一步的训练造成一定的阻碍。同时AI幻觉也可能会限制现有技术产品的能力。再有幻觉大模型底层的风险隐患，会造成我们研发和修补的成本持续增加。
石霖也认为互联网信息污染问题在一定程度上会影响国家安全，因为很多人用AI技术专门博取互联网流量，这些内容有可能大部分都是低质量的，或者因为幻觉产生错误的问题，包括像“林黛玉倒拔垂杨柳”等内容，这些内容没有直接的危害，但它长期存在于互联网上，可能会使下一代产生认知偏差。
朱旭峰强调，幻觉并不是人工智能时代才有的产物，自古以来就有，应辩证、更加全面地看待它。对于AI幻觉，不能因噎废食，要通过不断强化修正、监督机制，让AI更好地服务于人类。
引入高质量数据集，探索风险分级
与会专家认为，从AI幻觉产生的原理看，矫正或降低幻觉的一个基本方法是在大模型训练中采用高质量的训练数据。这些高质量的训练数据包括原生数据和合成数据。
但近年来业内不断有专家警告称，随着大模型的高速发展，可供大模型训练的数据存在枯竭问题。有与会专家表示，现在所谓训练数据枯竭，其实主要是指互联网公开和可采集到的数据，主要是采集头部互联网域名几十万个网站的公开信息，但这些网站的信息语料属于低质量数据，其中含有大量的错误、广告等内容，需要花费很大力气清理。相对而言，高质量数据主要来自于专业书本或者出版物，但这些数据由于版权问题没有上网。现在大模型厂商也注意到互联网数据的质量问题，更注重选择高质量数据。此外在很多特定场合，也在利用合成数据训练大模型，比如训练机器人抓球的动作，互联网上并没有现成的数据可供使用，但可以通过搭建仿真环境，让大模型在里面做各种各样的动作，根据物理规则产生相关的数据，这就是所谓大模型使用的合成数据。
石霖认为，对于大模型本身，可以RAG检索增强方式，引入知识图谱或者构建因果推断的模型，在一定程度上利用核验方式缓解AI幻觉，提高输出的可靠性。引入高质量数据集，加入真实性核验插件，通过联网实时核验。同时在行业层面，建立幻觉评估的评测体系，优先选择幻觉低的模型作为基座。建立幻觉联防联控机制；建立辟谣网站，积累负面样本。
与会专家建议，从合规层面，可以探索对幻觉风险进行分级分类，例如对可能造成灾难性、敏感性、涉及重大安全的幻觉风险，要划清级别，并采取措施避免AI幻觉引发重大经济、社会和公众安全侵害。
吴沈括提议，对于生成内容标识的监管，一方面是提前预判风险，及时梳理汇总，追加实践；另一方面是引入必要的机制，比如创建白名单知识库，建立安全可信、动态更新的信源和数据知识库。同时通过专项行动定期清理幻觉数据，对跨境数据进行审查和评测等。
张凌寒认为，AI幻觉问题的根源在于人们将本不适宜交给大模型的任务交给其处理，并且缺乏事后审查和核查机制。在金融、医疗等关乎重大利益的领域，最终的审核与决策应由人类掌控，而非将决策权完全交给AI。与其纠结于控制 AI幻觉，不如深入探讨是否应在严谨与精准行业使用AI，以及是否应无条件信任AI。
目前，从技术层面无法完全消除AI幻觉。张凌寒表示，治理层面应着重区分人类与机器生成内容，并加强内容把关、严控及评价。当前，监管部门已要求对人工智能生成合成内容进行标识，虽不涉及具体内容质量判断，但能明确指出哪些内容由人工智能生成。
张凌寒强调，中国在人工智能内容治理领域已处于领先地位。2023年1月10日起施行的《互联网信息服务深度合成管理规定》率先将人工智能生成标识设为强制性规定。而美国加州的《加州人工智能透明度法案》将于2026年1月1日生效，欧盟《人工智能法案》中关于标识义务的要求将于2026年8月2日起正式实施。中国在人工智能内容治理方面已经形成成熟方案，为全球提供了制度借鉴。

针对AI幻觉带来的挑战，专家们提出了多种应对策略和建议：

1. 提高数据质量：通过引入高质量的训练数据来矫正或降低AI幻觉。这些高质量数据包括原生数据和合成数据。大模型厂商应注重选择高质量数据，并利用合成数据训练大模型。

2. 技术手段缓解：采用RAG检索增强方式，引入知识图谱或构建因果推断模型，在一定程度上利用核验方式缓解AI幻觉，提高输出的可靠性。加入真实性核验插件，通过联网实时核验。

3. 建立评估评测体系：在行业层面建立幻觉评估的评测体系，优先选择幻觉低的模型作为基座。建立幻觉联防联控机制，建立辟谣网站，积累负面样本。

4. 风险分级分类：从合规层面探索对幻觉风险进行分级分类，对可能造成灾难性、敏感性、涉及重大安全的幻觉风险划清级别，并采取措施避免AI幻觉引发重大经济、社会和公众安全侵害。

5. 生成内容标识监管：引入必要的机制，如创建白名单知识库，建立安全可信、动态更新的信源和数据知识库。通过专项行动定期清理幻觉数据，对跨境数据进行审查和评测。

6. 人类掌控决策权：在金融、医疗等关乎重大利益的领域，最终的审核与决策应由人类掌控，而非将决策权完全交给AI。深入探讨是否应在严谨与精准行业使用AI，以及是否应无条件信任AI。

7. 区分人类与机器生成内容：治理层面应着重区分人类与机器生成内容，并加强内容把关、严控及评价。监管部门已要求对人工智能生成合成内容进行标识，虽不涉及具体内容质量判断，但能明确指出哪些内容由人工智能生成。

8. 中国在人工智能内容治理领域的领先地位：中国在人工智能内容治理方面已经形成成熟方案，为全球提供了制度借鉴。《互联网信息服务深度合成管理规定》率先将人工智能生成标识设为强制性规定。

总之，应对AI幻觉带来的挑战需要从技术、合规、监管等多个层面入手。通过提高数据质量、技术手段缓解、建立评估评测体系、风险分级分类等措施，可以在一定程度上降低AI幻觉的危害。同时，在关键领域应由人类掌控决策权，并加强内容把关和监管。中国在人工智能内容治理方面已走在前列，为全球提供了有益借鉴。

多位专家聚焦讨论：人工智能幻觉，怎么破？
AI幻觉的定义与成因
中国信息通信研究院人工智能研究所安全与具身智能部主任石霖介绍，业内所说的AI幻觉，主要指大模型生成的相关内容与现实世界或者用户输入不一致的现象，本质上是由于大模型的训练设计缺陷、数据的不足以及架构的偏差等因素造成的。更通俗来讲，大模型的底层原理基于概率内生机制，生成过程中倾向于选择训练数据中出现频率高的表达方式，若其中一个词产生错误，AI不会自我纠正，导致错误进一步扩大。

AI幻觉的分类
总体上AI幻觉可分为三类：

事实性幻觉：公众反馈最多的AI编造虚假事件、引出不存在的知识、进行违反常识的推断等。
忠实性幻觉：主要由于当前大模型的注意力机制，导致不能维持超长文本的一致性，表现出上下文自我矛盾，比如AI先肯定一个观点，接下来的回答又否定同一个观点，出现上下不一致的现象。
跨模态不一致：随着多模态的应用，AI在文生图等情况下可能出现相关幻觉问题。
AI幻觉带来的问题与危害
相关调研显示，在公众认为使用AI应用过程中有哪些突出问题的问卷调查中，反馈最多的是内容不准确，或含虚假信息，占比高达42.2%。《自然》杂志统计显示，各类聊天在提及参考文献时的出错率相当惊人。AI幻觉的危害与应用场景密切相关：

一般性场景：若把AI作为聊天工具，幻觉问题后果不严重，类似和朋友聊天时的吹牛成分，无伤大雅。
特定专业领域：若把AI生成的错误结果不加识别地用于法院判决、医疗诊断等场合，危害很大。用AI进行医疗诊断，出现幻觉问题可能导致严重的医疗事故。此外，随着大模型普及，AI用于生成软件、算法、程序甚至决策信号时，影响更大。比如自动驾驶技术中，人工智能出现幻觉可能引发交通事故。
专家提出的应对方案
技术手段缓解
石霖强调，目前的大模型架构不可能完全消除幻觉，只能通过各种技术手段进行缓解。例如360集团创始人周鸿祎提到，在医疗、法律、金融等对准确性要求高的领域，“幻觉”虽然可能出错，但可以利用技术手段，如RAG（检索增强生成）技术，通过比对专业知识库、网络实时信息等方式予以矫正。

适度包容与柔性监管
周鸿祎建议借鉴避风港原则成功经验，对大模型以及相关的产品和服务实施柔性监管，适度包容大模型的幻觉，对于幻觉导致的一般性失误，避免直接关停下架，给予企业自我纠正的机会，促进企业大胆创新、放手竞争，争取让更多企业复制DeepSeek的成功。同时呼吁各界共同努力，构建更加完善的大模型应用安全治理体系，在保障安全的前提下最大化地释放大模型技术的潜力。

正确看待与合理应用
中国政法大学数据法治研究院教授、联合国人工智能高级别咨询机构专家张凌寒指出，大模型的幻觉问题引发严重关注，主要在于人们将其应用于不适宜的领域。公众对大模型生成内容及其功能存在过度幻想，实际上人类本就不应完全依赖人工智能大模型。在文化创意产业等领域，AI幻觉的影响相对较小，因其本就倚重丰富的想象力；而在对精准性要求极高的行业，应谨慎使用AI或对其输出结果进行严格审核