一位法学教授历时两年对比禁止 AI、无指导 AI 使用和结构化 AI 训练三种方式对学生成绩的影响,结果禁止 AI 组在两年中均排名最后,研究者坦承自己原先的假设是错的。
阿姆斯特丹自由大学(Vrije Universiteit Amsterdam)的 Thibault Schrepel 教授将"AI 法学"课程的学生随机分成三组。任务对所有人相同:以四到五人的小组形式,用 20 分钟改进欧盟《AI 法案》中的一条条款。评分标准涵盖内容实质、清晰度、比例性和创新性。
第一组不能使用 ChatGPT。第二组收到的 ChatGPT 修改建议直接嵌入在文本中,可以使用该工具但没有任何使用指导。第三组则接受了法律 prompt 工程实战培训,学习如何检查 AI 建议的一致性和准确性。
所有学生参加相同的考试:选择题测试和take-home考试,后者要求他们修改另一条 AI 法案条款。实验在 2024 年以 66 名学生进行,2025 年重复进行,参与者达 164 人。
Schrepel 写道,无 AI 组大多只做了微小的措辞调整,如为清晰而改写、删除冗余内容。只有少数小组尝试了实质性法律改进。10 到 15 分钟后,许多小组常常陷入枯竭——Schrepel 称之为"创意枯竭"(idea exhaustion)。不过,不用 AI 确实倒逼了组员之间更深入的讨论。
第二组基本不加质疑地接受了 AI 建议,往往理由是"听起来更好"。一些学生用 AI 建议的替代词替换了"shall"和"individual",但没有表现出他们理解其中的法律含义。每个小组都保留了 ChatGPT 输出中至少一个误导性或法律上无关的术语。
只有经过培训的第三组与 AI 进行了真正的双向互动,测试不同的措辞并深入探究任务背后的实质性问题。
2024 年,训练有素的第三组得分远高于另外两组,尤其是在难度更高的 take-home 考试上。一年后,这一差距几乎消失了。2025 年,三组的表现在大致相同的水平。
Schrepel 将此归因于学生 chatbot 熟悉度的增长。许多学生已经在日常生活中使用这些工具,因此 2025 年正式培训带来的提升不如前一年。他补充道,伦理使用和法律责任仍需要教学。
两个年度中有一项发现保持一致:无 AI 组始终垫底。Schrepel 得出结论,禁止 AI 产生的结果平均比允许使用 AI 更差。优势是来自结构化训练还是仅仅来自实践经验,这仍是一个开放问题。
第二组的表现令他惊讶。Schrepel 写道,他预期课堂练习中不加批判地接受错误的现象会延续到考试中。结果恰恰相反:错误没有重复,而且该组实际上得分略高于无 AI 组。他说最可能的解释是,学生通过自己的使用学会了发现 AI 的弱点,尤其是当准确性有实际后果时。
这迫使 Schrepel 放弃了他最初的假设。他曾坚信 AI 只有在结构化训练下才有帮助,否则应该被排除在课堂之外。"我错了,"他写道。跳过 AI 教学是一次错失的机会,但不会造成一些人预测的教育崩溃。
Schrepel 表示,部门负责人应该抵制全面禁止 AI 的做法,给教师留出实验空间。大学还需要为教师投资 AI 技能,许多教师感到自己装备不足。
传统的硕士论文也需要重新思考。他指出,核心价值——长期的研究和论证斗争——现在可以用 AI 工具在几分钟内完成。纯粹的文献综述不应再被计入成绩,课程应该要求实践导向或实证工作,其中审慎使用 AI 是评分的一部分。
并非所有大学都在朝这个方向前进。UC Berkeley 法学院几乎禁止 AI 用于所有评分作业,理由是未来的律师需要在以任何有用方式使用 AI 之前建立核心思维能力。这一立场与 Schrepel 的发现直接冲突,后者表明无论理由如何,将 AI 拒之门外会使学生处于更不利的地位。
Schrepel 承认他的研究有局限性:样本量小,报名 AI 课程的学生可能比平均水平更懂技术,且无法核实学生在 take-home 考试中实际使用了多少 AI。
最后一点很重要,因为其他研究发现,在无监督作业上 AI 效果最强。UC Berkeley 的一项覆盖超过 50 万成绩的研究发现,ChatGPT 发布后,写作和编程密集型课程中 A 的比例跃升了 13 个百分点。监考考试没有出现类似变化。中国中部一项追踪超过 2.6 万名 K-12 学生的纵向研究从另一个角度讲述了类似的故事:AI 提升了作业成绩,而考试成绩下降了高达 24%。损害最大的是 AI 取代独立思考而非支持独立思考的地方。