神经发散程序员分享对 AI 工具的不安全感——AI 缺乏明确的沟通风格。呼吁 AI 工具在包容性设计上下功夫。
我们经常将神经网络称为"黑箱",因为我们并不真正了解它们如何得出答案。但这里的讽刺是:神经典型的思维对我们来说也是黑箱。
我们蜂拥涌入计算机是因为它们是透明的盒子。我们可以查看寄存器、跟踪执行堆栈、检查变量。
通过用自然语言模型替代显式代码,我们本质上建立了一台模拟神经典型大脑的机器:它依赖上下文、暗示而不是陈述、并且经常自信地出错,足以让你怀疑自己的理智。
要理解为什么这个转变令人震惊,我们必须看心智理论。
在心理学中,心智理论是一种能力,能够将心理状态、信念、意图、欲望、情感归因于自己和他人。它是理解我脑子里的东西与你脑子里的东西不同的能力。对许多神经多样性的人来说,这是一个令人筋疲力尽、高摩擦力的过程。在晚宴上导航需要不断的、实时的社交信号、潜台词和隐藏议程计算。如果我告诉同事"我们要去喝酒",这是暗示的邀请还是仅仅在传递信息?如果仅仅是信息,你说"太好了,我们走",那你就很无礼和冒失。但如果这是邀请,你说"好吧,不错",那你就很无礼和不友好。为什么人们不能在说的时候就直截了当呢?
编程需要零心智理论。编译器没有隐藏议程。它没有"思维"来理论化。它运行在纯粹的、未掺杂的逻辑上。人类互动:"我很好"(可能意味着:我很开心,我很生气,我很累,或滚开)。计算机互动:return 0;(意思是:函数成功结束)。
45 年来,IDE(集成开发环境)是一个安全空间,社交互动的规则被暂停了。反馈是残酷的,但它是诚实的。语法错误不是对你品格的判断;它是关于缺少分号的事实陈述。我回忆起那些日子,我在想"好吧,如果你知道分号丢失了,为什么不能直接加上呢?"当然答案是编译器没有心智理论,不"知道"我想要什么。
人工智能入侵了。我们被告知"英语是最火热的新编程语言"。我们被告知"prompt"机器。但 prompting 不是编程。Prompting 是协商。
当我们为 LLM 写 prompt 时,我们突然被推回到语言哲学家保罗·格赖斯的准则的混乱世界中。保罗·格赖斯提出了合作原则,这是关于数量、质量、关系和方式的规则。
人类经常违反这些规则。我们使用讽刺(违反质量),我们唠叨(违反数量),我们采取被动攻击(违反方式)。传统代码严格执行这些准则。它简洁、真实且相关。但 LLM 呢?它产生幻觉(违反质量)。当你要求一个布尔值时,它给出冗长、华丽的解释(违反数量)。它要求你"按摩"输入以获得正确的输出。
突然间,"源代码"受到与随意对话相同的语言歧义。我们必须猜测模型对某个措辞的"感受"。我们本质上是在对浮点数的矩阵进行治疗,以让它写出 SQL 查询。
有一次事故,当飞行员需要复飞时,他告诉副驾驶"takeoff power"。这是一条指示,设置完整的(起飞)动力来帮助飞机获得高度。不幸的是,副驾驶听成了"take off power",他把它理解为"关掉动力",所以他把发动机设置为空转。这种情况因为所有航空运输通信都用英语进行而加剧,这不是这些飞行员的母语。很难看出护栏或上下文接地如何能在这里提供帮助。
我实际上认识 Claude Shannon。我们住在同一个城镇,我高中和大学时与他的女儿是好朋友。我们也都是 MIT 杂技俱乐部的成员。
对于那些只从教科书上认识这个名字的人,Shannon 是"信息论之父"。他是那个意识到所有信息都可以用二进制数字——比特表示的人。他给了我们数字确定性的基本单位。
在 Shannon 的世界里,"比特"是不确定性减少的度量。它是是/否问题的答案。它是歧义的数学对立面。
当我们在过去 45 年中用 C 或 Java 编写代码时,我们住在 Shannon 建造的房子里。我们在操纵比特。我们在解决不确定性。每行代码的目标是消除噪音,使信号完美。
但 LLM 运行在 Shannon 工作的另一部分:英语的熵。
Shannon 曾著名地估计过书面英语的"熵"(或不可预测性)。他理解人类语言是冗余的和统计性的。这正是现代 AI 工作的方式——它利用语言的统计冗余来预测下一个单词。
但这里有个问题:预测不是精度。
通过从传统编码转向 prompt 工程,我们用 token(概率可能性)交换了比特(绝对确定性)。我们离开了编译器的无噪声通道,涉足回了语言熵的沼泽——正是 Shannon 用数字逻辑为我们铺平的沼泽。
然而最深层的摩擦是数学上的。几十年来,我们活在确定论的世界中。
如果 P,那么 Q。这是二进制的舒适感。它是可验证的。它是可复现的。AI 引入了概率论的世界。P(Q|P)(给定 P,Q 的概率)。
当我要求 AI 写代码时,它不"知道"代码。它根据大规模数据集预测最可能的下一个 token。它运行在感觉和统计可能性上。
对于在模式和刚性系统中寻求舒适的神经多样性思维者来说,这是深刻焦虑的来源。我们从"正确或不正确"的系统转向"足够好"的系统。
旧世界:你花 3 小时调试,因为逻辑有缺陷。
新世界:你花 3 小时"prompt 工程",这真的就是试图找出魔法词汇来说服黑箱表现良好。然后又花 3 小时验证生成的代码是否正确(你确实检查了,对吧?)
我不是卢德分子。我是 AWS Hero、AWS Ambassador,拥有 10 项美国技术专利。我每天都使用 AI。它是一个强大的工具。但我哀悼失去的二进制避难所。
我们正在进入一个"编码"看起来不像建筑而更像外交的时代。它会奖励那些擅长语言细微差别和劝说的人,这些技能历来青睐神经典型的人。另一方面,直觉飞跃可能实际上有利于神经多样性。
对于那些花了几十年在编译器错误的绝对真理中寻求安慰的我们来说,我们必须学习一项新技能。我们必须学会容忍机器的歧义,就像我们学会容忍世界的歧义一样。
但我会想念那些日子,当我准确地说出我的意思时,机器准确地做我说的事。
Brian Tarbox 拥有语言哲学和认知心理学学位