【评论】AI会掌控人类吗?在幻错中成长的人工智能...
【吉米言法】熟悉并熟练使用人工智能工具可以帮助我们有效地提高工作效率,但是这往往发生在使用者有能力对人工智能工具所提供答案进行批评和修正的情况下。一旦你接受的回答超越了你的认知范畴,人工智能的答案真伪就会无从得知。
从2023年1月的52%的幻错率(Hallucination Rate),到2024年5月法律人工智能最低17%的幻错率, 再到2025年3月GPT4.5的15%幻错率 1 , 人工智能进步迅速,但是若要完全消除幻错率,路途仍旧漫长。
2023年1月,美国最高法院部落格( scotusblog.com ) 发表了著名的《不,金斯伯格 (Ruth BaderGinsburg) 在奥贝格费尔 (Obergefell) 案中并没有提出反对意见,以及 ChatGPT 对最高法院的其他错误看法》一文 (“No, Ruth Bader Ginsburg did not dissent in Obergefell — and other things ChatGPT gets wrong about the Supreme Court”)。
作者罗莫瑟(Romoser)要求ChatGPT列出金斯伯格大法官的3个重要意见,ChatGPT的答案有对有错,它错误声称金斯伯格大法官在Obergefell案中写下过反对意见。
不仅如此,罗莫瑟还创建了一份围绕美国最高法院的50个问题清单,让ChatGPT回答。 当时ChatGPT的表现并不令人鼓舞,仅正确回答了其中的21个问题。错了26个问题,在其他的3个问题中,ChatGPT的答案表面是正确的,但不完整或具有潜在的误导性。
在2024年11月初于加拿大满地可所举办的第九届全国公益法律双年会上,有一起卑诗省的判例在谈到人工智能时被提及。在卑诗高等法院2024年2月的案件Zhang v. Chen, 2024 BCSC 285中,一名Ke姓律师使用人工智能的聊天工具ChatGPT, 在未“核实资讯来源”的情况下,引用了两桩不存在的判例(Ke姓律师有诚恳道歉)。
Ke姓律师表示,“无论Al辅助工具的可靠性水平如何,本人都应该使用更可靠的平台进行法律研究,并且应该验证将在法庭上提供和/或与对方律师交换的资讯的来源。”
到了2024年5月,斯坦福大学的政策,评估以及治理实验室(REGLab)联合以人为中心的人工智能(HAI)发表文章,表示有75%的律师计画使用人工智能来帮助他们的工作。在他们所实验的一对常用法律人工智能工具中,一个工具的错误率高于17%,另外一个工具的错误率超过
34%。
在一般公众眼里,官司的结果往往只有黑白两分的输跟赢。在此情况下,20%的错误率和50%的错误率差别并不显著,因为都会大大增加当事人在观感上输掉官司的可能性。50%意味着开盲盒;20%则预示着你还是需要花额外或重复的代价去找错。
律师之所以能成为律师是因为他们有着大学研究生(Post-graduate)的学历,有着法律行业监管组织的严格监管。人工智能不会完全取代法律的专业工作者,特别是出庭诉讼律师的工作,但是人工智能的产品会更广泛地协助受认证的专业人士来提升服务的效率,从而在确保质量的前提下,间接地减低司法服务的成本。
1 https://research.aimultiple.com/ai-hallucination/?utm_source=chatgpt.com
目前ChatGPT 会使用1)交叉核对资讯,2) 情境意识,3)诚实透明原则,以及4)持续学习的态度来减低幻错率,确保相关性和正确性。正如ChatGPT告诉笔者,“我会承认【自己的】限制”。我想当人工智能哪天能自我意识到其实“自己一无所知”的时候,才是人工智能真正闪现智慧光芒的时刻。
撰文:吉米言 (卑诗公益法律服务社团 Access Pro Bono Society of BC 法律义诊服务总管及资讯官)
网络图片
>>>星岛网WhatsApp爆料热线(416)6775679,爆料一经录用,薄酬致意。
>>>立即浏览【生活百答】栏目:新移民抵埗攻略,老华侨也未必知道的事,移民、工作、居住、食玩买、交通、报税、银行、福利、生育、教育。
