← 全部免费试听

政务AI办公 · 免费试听 · 02:40

政务AI办公:应对大模型幻觉

主讲:邵俊博士 · 真实智元

本节主题

介绍应对大模型幻觉的三种方法:充分提供背景信息、要求标注出处,以及交叉核验生成内容。

本节主题:破解AI的幻觉。结合政务办公中的信息准确性要求,了解如何补充背景资料、追溯引用并检查事实。

看完这一节,怎样自己练

政务AI办公怎样降低“说得像真的”带来的风险?

本节给出三种方法:充分提供背景信息、要求标注出处、交叉核验。它们帮助暴露和核对问题,不能替代工作人员对事实与口径的审查。

  1. 补充背景:提供允许使用的材料、任务目标和必要上下文,减少私有知识缺失与知识过时造成的误答。
  2. 标注出处:要求数据、事实和观点对应引用序号,并回到原始来源检查,警惕虚构的引用。
  3. 交叉核验:让另一个AI审阅方案中的事实错误与待核对项;分歧最终仍需通过原始资料和人工判断解决。

多个模型给出同一答案也不代表事实正确。正式使用前,应核对原文、计算过程和适用条件。练习优先使用公开或模拟资料。

以上为本节主题的操作要点与练习建议,完整演示请观看页面中的视频。

查看政务AI办公内训方案 →
阅读课堂文字整理

可按时间点回看讲解,也可在播放器中开启“中文(课堂整理)”字幕。

怎样降低AI胡说八道的问题?这里介绍三种方法:第一,充分提供背景信息。

什么是背景?就是与任务相关、应该让AI知道的信息。AI的知识通常来自公共信息。

它不知道单位的私有信息。比如明天有汇报、上级领导要来,不告诉它,它就不知道。

如果这次汇报需要有特定的视角、独特观点,就应把相关要求告诉AI。

这些任务要求不提供给AI,就难以体现在结果里。提供以后,它才有条件继续思考方案。

补充背景,是为了减少私有知识缺失和任务上下文不足的问题。

第二,要求标明出处。正文涉及数据、事实与观点时,要对应引用序号。

引用案例时,也可以要求它说明案例来自哪里。这是要求标注出处。

第三,交叉核验。人需要为AI把关,有时也可以让另一个AI审阅。

把一个AI生成的东西交给另一个AI。也可以新开一个对话窗口,再检查原来的内容。

课堂用概率举例:AI有随机性。假设一次出错概率为10%,再核验一次。

如果两次错误独立,概率示例中可相乘。但这是独立假设下的举例。

交叉核验可以帮助发现问题。问另一个AI:哪些内容可能不实,哪些需要格外核验?

借助另一个AI审查,这就是这里讲的交叉核验方法。