一起美国刑事上诉案件显示，生成式AI在司法场景中的风险已从“效率工具”转向“证据与程序合规问题”。新墨西哥州最高法院认定，辩护律师斯蒂芬·阿伦斯在为一名被判谋杀罪的当事人提交上诉文书时，使用了由ChatGPT生成的虚构证人及编造警察证词。法院以其未核实文书准确性、构成藐视法庭为由，对其处以5000美元罚款，并将其移交律师纪律委员会调查。
文书中的“证人”并不存在
根据法院披露的信息，阿伦斯提交的上诉材料中出现了对一名“完全虚构的证人”的引用，并包含由AI生成的虚假警察证词。阿伦斯承认，相关文书内容借助ChatGPT起草。他解释称，去年接手该上诉案时，自己将电脑生成的庭审文字记录和其他案件材料交给ChatGPT，希望其整理庭审过程并给出摘要。
问题在于，他并未意识到AI可能产生严重“幻觉”，即生成看似完整、合理但并非真实存在的事实、引语或记录。法院认为，律师在将文件提交法庭前，有义务核实其中事实与法律依据的真实性，而不能将核查责任交给生成式AI。
- 涉案文书用于一起谋杀罪当事人的刑事上诉程序；
- 文书中出现虚构证人及编造的警察证词；
- 相关内容由ChatGPT生成；
- 律师未核实提交材料的准确性；
- 法院认定其行为构成藐视法庭。
罚款5000美元并移交纪律调查
法院对阿伦斯作出5000美元罚款决定，按当前汇率约合33640元人民币。此外，陪审团在相关意见中提到，阿伦斯“缺乏悔意，也缺乏对委托人的关心”。法院同时将其移交律师纪律委员会，进一步调查其行为是否违反律师职业规范。
在听证会上，新墨西哥州最高法院曾要求阿伦斯解释虚构内容如何进入主要上诉文书。阿伦斯表示，自己原以为ChatGPT会给出“无懈可击的摘要”，并称“所有依赖这项强大却有时不够稳定的技术的专业人士，都应从中吸取教训”。
法官对此并不接受。C·香农·培根法官在听证会上质问：“律师先生，你看新闻吗？听广播吗？有没有在了解外面发生什么？律师依赖AI幻觉的问题，每天都是头条新闻！”这一表态表明，法院并未将AI错误本身视为免责理由，而是将重点放在律师是否履行基本核查义务上。
AI生成错误已进入司法处罚实践
阿伦斯案并非孤例。随着律师开始使用大模型起草诉状、摘要、法律检索记录和上诉文件，美国已有数十名律师因提交包含AI错误的文书受到州或联邦法官处分。已披露的问题主要包括编造判例引用、错误引用法律条文，以及生成不存在的判决摘要。
与部分因引用虚假判例而被处罚的案件相比，阿伦斯案的严重性在于，AI生成内容进入了刑事案件的事实陈述层面。虚构证人证词并不只是法律检索错误，而可能影响法庭对案件事实、程序合法性及证据可信度的判断。这使得该案成为观察AI幻觉进入司法系统后责任边界的一个典型样本。
从现有判决态度看，法院并未否认律师可以使用AI工具，但正在明确一条底线：AI可以辅助起草，不能替代专业审查。律师提交给法院的文书，无论是否由AI生成，最终责任仍由律师承担。
法律行业需要为AI设置新的风控标准
这一处罚结果对法律行业的影响，可能不止于个案。律师事务所、法律援助机构和独立执业律师在引入生成式AI时，需要建立更明确的使用规范，包括对AI生成内容进行逐条事实核对、标注AI辅助起草范围、禁止将未经核实的庭审记录直接交由模型摘要，以及对关键证人、证词、判例和法条进行人工交叉验证。
该案也提示监管机构和律师协会，未来可能需要进一步细化AI辅助法律服务的合规要求。例如，是否要求律师在提交文件中披露AI参与程度；是否将“未核实AI生成内容”单独列为职业过失；以及如何在保护当事人权益的同时，允许行业采用新技术提高效率。
对于AI行业而言，这起案件再次暴露了大模型幻觉在高风险场景中的现实后果。法律、医疗、金融和公共治理等领域对事实准确性要求极高，模型输出的连贯性并不意味着内容可靠。当AI进入司法系统，技术能力并不能替代法律责任，最终仍需由专业人员把关。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/mei-guo-lyu-shi-ti-jiao-chatgpt-wei-zao-zheng-ci-shang-su
