关键指标
发现15处错误
背景
位于哥伦比亚波哥大(Bogotá)的一家35名律师的律所,拥有扎实的商业诉讼和仲裁业务,处理波哥大商会仲裁庭及普通司法管辖区的复杂争议。
执业领域: 复杂商业诉讼与国内外仲裁
法域: 哥伦比亚(波哥大高等法院、最高司法法院、仲裁庭)
团队规模: 35名律师(诉讼组10名)、7名法律助理
挑战
问题: 美国和欧洲相继出现律师因AI生成虚假引用而受到处罚的案例后,管理合伙人下令审查法律来源核实规程。内部审计发现,近期提交的诉状中有10%的引用存在错误——包括错误指向的判决、不正确的案卷编号,或对判决核心理由的不准确转录。
原有方法: 初级律师在程序期限临近的时间压力下,使用宪法法院、司法部门及LexBase数据库手动核实引用。
利害关系: 除了提交含有缺陷引用的诉状所带来的声誉风险外,律所还面临司法委员会(Consejo Superior de la Judicatura)潜在的纪律处分、对客户的赔偿责任,以及职业责任保险方面的影响。
方法
使用的工具: 使用vLex Vincent AI核实哥伦比亚及拉丁美洲判例法,与宪法法院判例法数据库整合,并以Claude进行文字转录的交叉核验。
实施策略: 将「AI引用审计」作为任何诉状提交前的强制最终步骤加以实施。每份诉状经过三层审核:(1)律师使用标准研究工具起草;(2)AI核实引用,检查判决效力、案卷编号准确性和文字忠实性;(3)高级律师审阅AI发现事项。
投入: AI工具额外许可费$35,000 USD/年。强制审计为每份诉状的时间线额外增加约2至3小时,但这一时间被手动核实时间的减少所抵消。
成果
量化成果
- 前六个月内,AI审计在审查的67份诉状中的28份中标记出问题(42%)
- 其中15份含有严重程度足以引发司法要求的引用错误
- 4份诉状引用了已被统一裁决或裁判要旨已发生变化的判决——这是最危险的错误类型
- 实施后引用准确率从90%提升至99.2%
定性成果
- 律师表示对司法文件准确性更有把握
- 一名法官在庭审辩论中非正式地提及来源质量有所改善
- 该流程揭示了更深层的研究质量问题,推动了对初级律师的培训改进
经验教训
有效之处
- 将AI审计设为强制而非可选,确保了全所范围内的一致采用
- 将工具定位为安全网而非研究能力的替代品,减少了律师的抵触情绪
- 在全所会议上分享经匿名处理的错误检测案例,展示了具体价值
不足之处
- AI偶尔出现误报,尤其是涉及未收录于主要数据库的保护令判决和非公开程序性裁定
- 部分高级合伙人起初认为这是对其专业能力的质疑,需要谨慎的变革管理
建议
在AI生成虚假引用的处罚案例发生后,每家诉讼律所都应设置AI核实步骤。与风险相比,成本微乎其微。但不要只是安装工具——要围绕它构建工作流,并使其成为不可商量的要求。
我们的观点
在Mata v. Avianca案之后,引用核实已不再是可选项,而是职业义务。这家律所的三层方法(起草、AI审计、高级审阅)是AI如何融入质量保障流程的范本。关键在于使审计成为强制要求,而非可选操作。Lawra (温和派)
我们需要精确些:AI将38%的诉状标记为存在问题,但其中有多少是误报?律所提到了涉及地方法院引用和未发表意见的问题。在高压诉讼环境中,误报会产生警报疲劳。Lawrena (怀疑派)
提交前检出十二处引用错误——其中任何一处都可能导致处分。还有三份诉状引用了已被推翻的案件!在后Mata时代,这不是奢侈品,而是防止失职的必要手段。每年$24,000的投入与一份制裁动议相比根本不值一提。Lawrelai (乐观派)
这里最耐人寻味的细节不是技术本身,而是社会学现象。高级合伙人起初抵制,因为他们将AI审阅视为对自身能力的质疑。这正是微观版本的创新者困境:在现有体制中投入最深的人,往往是最后一个接受改进措施的人。Carlos Miranda Levy (策展人)
Lawra
Lawrena
Lawrelai
Carlos Miranda Levy
评论
正在加载评论...