幼儿园情绪识别原型的隐私审计
开源原型 Emotion-Guard 目前使用模拟分类器,作者用合成数据跑通流程并逐行审计代码。审计聚焦日常场景下的告警频率、历史数据默认留存期、报表是否包含姓名,以及下游能否区分模拟数据与真实数据。
AI 深度解读
Emotion-Guard 想在幼儿园识别持续的负面情绪,提醒老师及时关心孩子。但作者审计后发现,真正的分类模型还没接上,系统已经会频繁报警、无限积累实名情绪记录,甚至把真实数据标成模拟数据。
这篇最有价值的地方,是把 AI 项目的检查顺序往前挪了一步:先别争论模型准不准,先看规则会制造多少噪声、数据留多久、报告暴露谁,以及输出能否追溯来源。对做 AI 应用的程序员,这些问题比换模型更容易被忽略,也更早需要解决。
模型还没上线,系统已经在做哪些决定
作者检查了仓库原样交付的 970 行 Python,并用合成数据跑了八组实验。全部实验没有使用真实儿童的图像或个人信息。
流水线分为人脸检测、情绪分类、历史存储、告警和报告五步。detector.py 有真实的 OpenCV Haar 检测器,但能运行的分类器只有 MockEmotionClassifier,按预设概率抽取情绪。FERClassifier 会抛出 NotImplementedError;接入 fer 或 DeepFace、把七类映射成 happy / calm / sad / angry,目前只是文档里的设想。
作者还纠正了自己的「多模态」描述:搜索 audio、voice、transcript 都没有结果,实际输入只有人脸。
模型虽然是假的,下游决策却已经写死:
- 持续负面规则默认
window=6,最近六次里 sad / angry 达到negative_threshold=4就警告,达到critical_threshold=6就报严重告警。 - 教师规则只要在最近六次里看到一次 angry,就警告。
- 情绪突变规则检查相邻的 happy、angry,两次间隔不超过
swing_window_minutes=20就提醒关注。
这些规则决定了产品如何解释数据。模拟器只能证明流程能跑通,不能证明这些解释成立。
作者引用 Barrett 等人 2019 年对一千多项研究的综述,强调面部动作不足以可靠、特异地推断情绪。微笑不能直接证明快乐,皱眉也不能直接证明愤怒。后面的告警、人工复核和留存,都得接受这个前提。
没有人真正陷入困境,为什么还是天天报警
原有 14 项测试全部通过。作者又构造了一个上课日:8 个孩子、1 位老师,24 个二十分钟时段,共 216 次观察,并安排了孩子持续低落、一次情绪突变和教师一次愤怒。
C-04 的持续负面严重告警能稳定捕获。但一天结束时评估,总告警数会落在 3 到 8 条之间,其中突变提醒有 2 到 7 条,只有一条来自预设事件。其余只是随机抽样恰好形成了 happy、angry 相邻组合。
更有解释力的是没有预设事件的对照实验。作者按默认分布模拟 30 天:孩子负面情绪概率为 15%,教师 angry 概率为 5%,逐时段评估。
240 个儿童日里,15 个至少出现一次持续负面警告,占 6.3%,累计触发 33 次时段警告;严重告警没有出现。教师则有 23 天触发警告,占 76.7%。
这里的「误报」只针对作者设定的正常模拟日,不能当作真实幼儿园的误报率。但它足以揭示规则的问题:单次命中就报警,再给它一天多次抽样机会,普通背景波动也会不断触发。
评估时机还会改变结果。教师预设的愤怒发生在第 15 个时段,到了放学已经滑出最近六次窗口。五次独立进程运行中,日终评估只捕获一次教师警告,因此 examples/demo.py 选择逐时段评估。另一边,突变规则遍历全部历史,早晨的事件到了晚上仍可能再次出现。
置信度也没参与决策。同样六次 sad,confidence 为 0.99 或 0.51,输出的告警逐字节相同。模拟置信度只是从 0.62 到 0.97 均匀随机抽取,与情绪结果无关。happy、calm、angry 不触发突变,间隔 40 分钟的 happy、angry 也不触发。它识别的是相邻标签组合,离识别真实情绪变化还有距离。
不存照片,为什么仍然有隐私账单
仓库做对了一件事:不保存人脸图像,帧只存在于检测和分类调用期间。
但 Observation 仍保存身份、姓名、角色、精确到秒的时间、情绪、置信度和 simulated 标记。ClassroomSession 没有清除、删除、到期或匿名化机制,mood_summary 对全部历史计算占比。只要进程一直运行,系统就在持续建立每个实名孩子的情绪档案。
Person 没有同意状态字段,ingest 只检查是否注册。报告默认逐人输出姓名、ID、情绪占比和带时间的告警。
更直接的错误在来源标记。作者输入一条 simulated=False 的观察,build_report 仍返回 simulated: True,因为 dashboard.py 把它写成常量。控制台也无条件声称全部数据均为模拟数据。接入真实模型后,这个标签可能继续误导使用者。
作者把历史截到最近六次后,持续负面和教师规则的结果完全不变;只有扫描全部历史的突变规则,以及按全部历史计算的情绪占比发生变化。留存范围因此可以按功能拆开:短期告警用有限窗口,长期趋势单独定义同意和到期机制。
存储成本并不构成约束。每行 JSON 约 147 字节,按每天 216 次观察计算,30 天约 0.95 MB,180 天约 5.7 MB;即使九个人连续八小时每分钟采样,每天 4,320 次,也只是每月约 19 MB、半年约 114 MB。需要限制的是可识别身份和时间跨度。
报告同样可以收缩。作者做过班级聚合原型,将一次日报从 2,163 字节减到 199 字节,保留班级情绪占比和告警计数,移除九个人的姓名与个人曲线。个人层则建议使用轮换假名,姓名映射离线保存。
我的判断
我认同作者先审计规则和数据链路的顺序,但这份结果只能支持「当前实现有问题」,还不能支持「修好后适合部署」。
复现性问题已经有明确证据:examples/simulate.py 用 Python 内置 hash() 派生种子,受 PYTHONHASHSEED 影响。同样 master_seed=7,五个进程分别产生 4、5、6、8、8 条告警;设置 PYTHONHASHSEED=0 后,三次都得到 8 条。作者用 SHA-256 派生种子完成误报实验,这是比「设置过随机种子」更完整的复现要求。
但置信度门槛、每个孩子每天最多一次警告、突变规则限制为两小时等,属于改进建议,没有完整对照结果。置信度还需要校准,降低通知频率也不会自动提高识别质量。它们值得验证,不能直接包装成有效方案。
真实模型也不会像模拟器一样独立掷骰子。年龄、族群和光照可能让错误集中出现,文中没有分组公平性、教师响应率、漏报代价或信任变化的数据。与面部推断相比,人工观察和主动沟通仍需作为比较对象,作者没有证明系统优于这些做法。
法律部分更应按作者的工程解读理解。原文指出,欧盟 AI Act 第 5(1)(f) 条自 2025 年 2 月 2 日起原则上禁止教育和工作场所的情绪推断,医疗或安全例外范围有限;美国 2025 年 COPPA 修订及 Illinois BIPA 涉及同意、留存和销毁要求。具体适用边界未经律师审查,不能把「保护儿童」当成自动通行证。
隐私设计做得更好,仍然不能替一个未经验证的用途证明合理性。
能拿来做什么
- 在 AI 演示接入真实模型前,检查身份字段、采集同意、到期删除和导出内容,并让报告与告警都能区分模拟、真实及混合数据。
- 给规则增加「没有目标事件的一天」测试,按实际运行频率统计每人每天收到多少次提醒,再单独验证离线回放是否漏掉短暂事件或重复生成旧告警。
- 在前端报告中默认展示班级聚合信息,个人详情只保留处理当前提醒所需的内容;界面用语应保持「建议关注」,避免把推断写成确定事实。
- 为模拟与回放建立跨进程复现检查,记录种子派生方法、规则参数和来源标记;最近六次就能服务的功能,不必默认读取全部历史。