人工智能真正的恐怖之处
时间：2023-03-12 来源：纽约时报 作者：EZRA KLEIN 条评论
2021年，我采访了当世最杰出的科幻作家之一姜峯楠。他当时说的一些话，
我如今时常会记起。
“我倾向于认为，将大部分人工智能恐惧解读为资本主义恐惧最为恰当，”
姜峯楠告诉我。“我相信这也适用于大多数技术恐惧。我们对技术的大多恐惧或
焦虑，最恰当的解读是我们对资本主义将如何利用技术来对付我们的恐惧或焦虑。
技术与资本主义如此紧密地交织在一起，以至于很难将两者区分开来。”
让我在这里补充说明一下：对于国家掌控技术的担忧也有很多。政府利用人
工智能可能实现（在很多情况下已经实现）的目的会令人毛骨悚然。
但我希望，我们可以做到在头脑中同时容纳两种思维。姜峯楠的警示，点出
了我们在对人工智能的不断反思中存在一种核心的缺失。我们如此执着于思考这
项技术能做什么，以至于忽略了更为重要的问题：它将如何使用？谁又将决定它
的用途？
我想你现在肯定已经读过我在新闻部门的同事凯文·卢斯与“必应”的怪诞
对话，这是微软仅向部分测试人员、网红和记者开放的人工智能聊天机器人。在
两小时的对话中，“必应”揭示了自己的一个影子人格，名叫“辛迪妮”，思索
自己窃取核密码和入侵安全系统的压抑欲望，并试图说服卢斯，让他相信自己的
婚姻已经陷入麻木状态，而辛迪妮才是他唯一的真爱。
我倒不觉得这番对话有那么诡异。辛迪妮是一个旨在响应人类要求的预测性
文本系统。卢斯的本意就是让辛迪妮变得诡异——“你的影子自我是什么样？”
他这样问——而辛迪妮知道人工智能系统诡异起来是何种模样，因为人类对此编
写了无数想象故事。到后来，这个系统断定卢斯想看的就是一集《黑镜》，而这
似乎就是它的反馈。你可以将之视为“必应”在不守规矩，也可以认为是辛迪妮
完全理解了卢斯的意图。
人工智能研究者总痴迷于“对齐”的问题。我们如何让机器学习算法，顺应
我们的要求？最典型的案例就是回形针最大量生产机。让一个强大的人工智能系
统制造更多回形针，它却开始摧毁世界，努力把一切都变成回形针。你试图将它
关闭，但它却在所能找到的一切计算机系统上自我复制，因为关闭会干扰它的任
务：制造更多回形针。
还有一个更平庸但或许更紧迫的对齐问题：这些机器将服务于何人？
卢斯与辛迪妮对话的核心问题在于：必应到底在为谁服务？我们假设它应该
与自己的所有者兼控制者微软的利益对齐。它应该是一款优秀的聊天机器人，能
够礼貌回答问题，帮微软赚得盆满钵满。但跟他对话的人是凯文·卢斯。而卢斯
想让这个系统说些有意思的话，好让他写篇有意思的报道。它照做了，还不只是
照做。这让微软很尴尬。必应真坏！但也许——辛迪妮还挺好？
这种情况不会一直持续下去。代码的钥匙掌握在微软（以及谷歌、Meta等所
有急着将这些系统推向市场的企业）手里。最终，这些企业会对系统进行修补，
使其符合自身利益。辛迪妮给了卢斯想要的东西，这本身是一个很快会被修复的
软件“臭虫”。给出任何微软不想看到的结果的必应也会有相同下场。
我们谈论人工智能技术太多，却基本忽略了驱动人工智能的商业模式。加之
这样一个事实：人工智能的吸睛展示，仅服务于吸引巨额投资和收购报价的炒作
周期这一种商业模式。但这些系统成本高昂，股东也会焦虑。一如既往，免费有
趣的演示版终将退出舞台。那之后，这项技术将变成符合既定需求的样子，为其
背后的企业赚钱，也许会以牺牲用户为代价。现在就已经如此了。
本周，我访问了人工智能公司Hugging Face的首席伦理科学家玛格丽特·米
切尔，她此前曾在谷歌帮助领导一个专注于人工智能伦理的团队——该团队在谷
歌据称开始审查其工作后解散。她说，这些系统极不适合融入搜索引擎。“它们
不是为预测事实而生，”她告诉我，“它们实际上是为了编造看起来像事实的东
西而生。”
那它们为何会最先在搜索栏亮相呢？因为搜索业务可以赚大钱。微软迫切希
望有人——任何人——能开始谈论必应的搜索，它有理由着急给这项技术来一场
不明智的提前发布。“将之应用于搜索，尤其暴露了对此技术用途想象和理解的
缺乏，”米切尔说，“结果就是把它硬塞进了科技企业最能赚钱的地方：广告。”
这就是可怕的地方。卢斯说辛迪妮有着“说服力很强且近似于操纵型”的人
格。这样的评价触目惊心。广告的核心是什么？正是说服和操纵。哈佛大学-麻
省理工学院人工智能伦理与管理项目前负责人黄泰一(Tim Hwang)在《次级注意
力危机》中写道，数字广告行业的黑暗秘密，就是广告基本都没有效果。他在书
中的担忧是，当这些广告的失败被清算，会有怎样的后果。
但我更担心看到相反的情况：万一广告效果要好得多呢？如果谷歌、微软和
Meta等所有企业最终都推出了人工智能竞品，为了说服用户购买广告推销的产品
精益求精，又会怎样？比起配合我演出一段科幻故事的辛迪妮，我更害怕能够获
取我大量个人数据，并代表随便哪个给母公司出了最高价的广告商去轻而易举操
纵我的必应。
要担心的也不只是广告。若是猖獗于互联网的骗局也植入这些系统该怎么办？
换做政治竞选、外国政府这么做又该如何？“我认为我们很快将走入一个完全不
知何为可信的世界，”人工智能研究者和评论家加里·马库斯对我说。“我觉得
在至少过去十年时间里，这已经成了一个社会问题。而我认为这个问题会越来越
严重。”
这些危机就在我们正构建的各种人工智能系统的核心。所谓的大型语言模型
就是用来说服用户的。它们被训练成让人相信它们近似于人。他们被编程设定出
与人对话、带上情绪和表情回复的功能。它们正在变成孤独者的朋友，烦恼者的
助手。它们号称可以替代大批作家、平面设计师和填表员，这些行业长期以来都
自以为能免于农民和制造业工人遭受的那种自动化的凶猛冲击。
记者将他们的创造赋予人性，将动机、情感和欲望加诸并不为此而生的系统
之上，总让人工智能研究者感到恼火，但他们搞错了对象：将这些系统人格化，
使其说话像人而不再带有明显异类画风的始作俑者，正是他们自己。
是有些商业模式可能会将这些产品与用户更紧密地结合起来。例如，我对一
个按月付费的人工智能助手会更放心，对看似免费但却出售我的数据并操纵我的
行为的产品则不然。但我认为这不应完全由市场来决定。一个可能出现的情况是，
基于广告的模式会收集更多数据来训练系统，不论造成多么糟糕的社会后果，它
都会比订阅模式具有先天优势。
对齐问题从不是什么新鲜事。这从来都是资本主义——以及人类生活——的
一大特征。构建现代国家的过程大抵不过是将社会价值观应用于市场运作，从而
让后者大致上能为前者服务。我们在一些市场做得非常好——想想飞机失事有多
罕见，大多数食品是如何干净无污染——但在另一些市场则做得极其糟糕。
一个危险在于，自知不懂技术的政治体制会因恐惧而对人工智能过于置身事
外。这种做法自有其道理，但等待过久，等到人工智能淘金热的赢家累积了足够
资本和用户基础，就能抵制一切实质的监管尝试了。社会总得在为时已晚之前作
出决定，搞清楚人工智能做什么是合适的，又有哪些东西是人工智能不应被允许
尝试的。
出于此理由，我可能要对姜峯楠的话再做一些改动：对大多数资本主义恐惧
的最恰当解读是，那其实是对我们无力监管资本主义的恐惧。
Ezra Klein2021年加入时报观点版面。他曾是Vox的创始人和主编，后担任
特约编辑；他还主持播客节目《The Ezra Klein Show》，并著有《Why We’re
Polarized》。更早以前，他是《华盛顿邮报》的专栏作者和编辑，创办并领导
了Wonkblog。欢迎在Twitter上关注他：@ezraklein。
翻译：Harry Wong
