洞察
为什么AI打破了传统的绩效评估
我一直在思考的一个大学系别，去年把时间花在了争论错误的事情上。
争论的焦点在于作弊。学生们提交用AI撰写的作业，教师们分成了每个机构最终都会出现的两大阵营：禁止并严格监管，或者允许并听天由命。双方都认为问题出在诚信上。其实不然。问题在于测量。一个世纪以来，论文之所以能作为评估工具，是因为它成本高昂。产出八页连贯的文字速度很慢，而这种缓慢正是核心所在。该系从来不想要论文。它想要的是证据，证明一个年轻人在压力下能够组织好一个论点。这种成果批改起来便宜、作假困难，因此它替代了真正重要的东西。当生产成本崩溃时，替代品就不再起替代作用了。成果依然会交付。只是它不再包含关于提交者的任何信息。这不是一个教育问题。它此刻正摆在每一家公司的每一场绩效评估中——交付物送到了，而组织却再也无法辨别其中人类究竟做了什么。
Two pieces of evidence make me think the exit
第一项证据来自一个由沃顿商学院带头的团队，他们在台北十所高中开展了一项为期五个月的Python教学随机试验。每个学生都使用相同的AI导师和相同的材料。唯一的变量是练习题分配的顺序——一组固定，另一组则根据每个学生的实际参与情况进行调整。仅仅这一个设计上的改变，就使期末考试成绩提高了0.15个标准差，作者将这种效果比作多出了六到九个月的学习时间。没有额外的教学时间。没有额外的教师工作量。工具是完全相同的。但围绕工具的设计不同。设计本身就是全部的收益。第二项证据则没那么舒服了。经济合作与发展组织（OECD）最近的成人技能调查涵盖了31个国家的约16万名成人，结果发现在过去十年中，大多数国家的读写和计算能力都在下降或停滞不前——表现最差的十分之一人群降幅最大，而顶端人群则有所改善。国内的技能不平等现象加剧了。大约五分之一的成年人只能处理简单的文本或基本的算术。因此，我们将一种能够产生流利输出的技术交到一个群体手中，而这个群体评估流利输出的能力在许多人身上正朝着相反的方向发展。这并不会自动让人变得更聪明。它让设计决策变得无比重大。
It is a contribution instrument
该系最终采取的做法很小，而且我认为是正确的。它不再单独给成果打分，而是开始给成果背后的决策打分。学生仍然需要提交论文。他们还要提交一份简短的记录，说明他们尝试过并放弃了什么、拒绝了哪些信息源以及原因、以及他们在哪些地方与模型意见不一致。然后，他们会花二十分钟向一个会不断提出质疑的人辩护自己的论点。这项作业并没有变得更难写。它变得更难作假了，因为评估的对象从输出结果转移到了其背后的推理过程。批改作业的时间增加了。教职员工认为，这就是衡量任何真实事物的代价。注意这究竟是什么。这不是诚信监管。它是一个贡献工具——在判断力的产物不再稀缺的世界里，它是一种使一个人所行使的判断力变得清晰可见的方法。每一个组织都需要这样一个工具。你们的考核表是在论文时代建立的。它们之所以衡量成果，是因为成果过去很昂贵；而在成果失去意义很久之后，它们仍会继续衡量成果，因为没有人提出过替代方案。大学正被迫在公开场合、在截止日期前解决这个问题，面对的则是那些当系统在装腔作势时能立即察觉的学生。而我们其余人则可以更慢、更不诚实地去解决它。我宁愿向他们学习，也不愿重复他们的覆辙。