拿AI编造案例当诉讼依据, 离谱操作是对专业性的背弃

10月28日，澎湃新闻报道了一则令人大跌眼镜的法治新闻，再次将AI推上舆论焦点。报道显示，北京市通州区人民法院在近日审结的一起商事纠纷案件中，竟然发现原告代理人在书面意见中援引了由AI生成的虚假司法案例，作为诉讼依据。

乍眼看去，原告提交的案例与审理中的案件高度契合，似乎颇具价值，但出于职业敏感性，承办法官对相关案例进行了核实，结果发现其案号对应的真实案件，与原告书面意见中所写的内容完全不同。面对法官的质询，原告代理人承认，文书中的案例，是其向某AI大模型软件提问后得到的结果，他对此并未核实，便直接复制粘贴了过来。最终，承办法官对原告代理人的该部分代理意见未予采纳，并对其不做检查和核验，放任AI生成或者编造虚假信息扰乱司法秩序的做法提出了批评。

近年来，随着人工智能技术突飞猛进，AI大模型理解用户意图、汇总专业知识、生成相应内容的能力越来越强，其输出的文字、图片、视频等，也越来越能“以假乱真”。在这一背景下，早前就已引发过社会讨论的“AI幻觉”问题，已经对现实世界构成了不容忽视的风险，因此日益令人担忧。在这一背景下，上述司法案件中原告方的“离谱操作”，正是这一担忧在现实中的注脚。

尽管在这起案件中，得益于承办法官的职业素养，AI生成的虚假内容被及时发现，未对判决造成实际影响。但是，原告代理人作为法律专业人士，轻易相信AI提供的所谓“案例”，将其写入书面意见，还给法官留下了“初看之下极具参考价值”的第一印象，无疑为社会敲响了警钟。在社会大众的认知中，法庭是再严肃、认真不过的场合，对文书内容的要求也有较高的标准。今天，AI生成的虚假案例已经“闯入”法庭，我们又怎能不担心：拟真度与此相仿的AI生成内容，会不会已经在不知不觉间，广泛渗透到其他生产生活领域之中？

值得指出的是，AI生成的虚构内容，可以分为两类：第一类是用户主动要求AI虚构，并且明知其虚构属性的内容；第二类则是用户正常向AI提问，AI自行虚构，却将其作为真实信息提供给用户的内容。从性质上看，前者和人类自行虚构的内容没有本质上的不同，其影响也应由用户负全责。相比之下，被称为“AI幻觉”的后者，却可能对社会造成大得多的潜在威胁，甚至动摇公众对客观现实的认知，给社会互信制造裂痕。

这类虚构内容之所以被称为“幻觉”，是因为AI在输出内容时，本身就会对这些信息信以为真。换句话说，AI并不会发现自己编造了信息，更不是故意欺骗用户，而是由于技术的局限，意外生成了这些虚构内容。也正因如此，人类用户很难快速辨别这些信息的真伪，只有认真核对，才能发现其中的破绽与漏洞。对于这一问题，AI从业者和监管机构都有清醒的认识，因此，几乎所有AI大模型都会提示用户，不要轻信AI提供的内容，AI也无法为对其生成内容的真实性负责。但是，随着AI大规模向用户普及，普通人的AI使用频率不断增高，这些提示能起到的作用自然越来越有限。更不要说，AI编造信息的“业务能力”也在水涨船高。

面对这一局面，社会各界首先要提高警惕性，对“AI幻觉”在当下的影响作出有效应对，尽可能让更多人能像新闻中这位承办法官一样，以过硬的专业能力，将各种AI虚构内容“堵”在可能对社会造成实际影响的关口之外。在短期内，最重要的是把核查机制补上。像法律、新闻、医疗等领域，引用内容必须有人工复核的程序，绝不能直接照搬AI生成的文字。监管部门也可以要求AI产品在输出结果时，增加一道即时的风险评估与提示流程，加强对用户的警示。对普通用户来说，不论是在工作还是生活中应用AI，也最好能养成二次核实的习惯，对AI提供的内容，尤其是那些特别“合自己心意”的内容，亲自动手查查出处。只有这样，AI带来的便利才能不至于变成风险。

此外，从AI从业者、AI研究者到相关监管部门，各方也要建立长期思维，从AI技术发展、制度法规建设、大众媒介素养等层面入手，在未来抑制“AI幻觉”问题进一步扩大，并想方设法从根本上解决这一问题，让AI能识别幻觉，不再“无意识”地蒙蔽用户。也唯有如此，才能使AI真正成为值得人类充分信赖的技术工具，最大化发挥其正面价值。