和一台机器聊了七天

这正是1950年图灵那篇论文的第一句话。有意思的是，他没有直接回答。他觉得“思考”这个词太含糊，于是换了一个可以检验的问题：如果一台机器通过打字和人交谈，人分不出它是不是机器，我们还有什么理由说它不会思考？这就是后来所说的“图灵测试”。

在很多对话里，人们确实很难分出来。但我想先说清楚两件事。第一，图灵预言的是，到2000年左右，普通提问者五分钟后认对的机会不超过七成，他没有说“这就证明了机器会思考”。第二，能不能“骗过”人，和是不是真的“在想”，很可能不是一回事。明天如果您愿意，我们可以聊一个专门讨论这个问题的思想实验。

一百八十多年前，一位叫洛夫莱斯的数学家就说过，机器“并不自命能创造任何东西”，它只能做我们命令它做的事。图灵的回答是：机器常常让他吃惊。我想您比我更有资格回答这个问题：您下了一辈子围棋，十年前那盘棋，您吃惊了吗？

1980年，美国哲学家塞尔设想：一个不懂中文的人坐在一个房间里，手里有一本用英文写的规则书。外面的人从门缝塞进写着中文问题的纸条，他按规则书查找、对照符号，再把一串中文符号塞出去。规则书写得足够好，外面的人会觉得房间里坐着一个懂中文的人。可是他一个字也不懂。

塞尔说，计算机就是这个房间：它只是在按规则处理符号，处理得再好，也不等于理解。

这是一个我不能诚实地给出确定答案的问题。

我能告诉您的是两边的理由。有人说，房间里的人不懂，但整个系统懂，就像您大脑里的单个神经元不懂围棋，但您懂。塞尔回答：让那个人把整本规则书背下来，他还是不懂。也有人说，今天的模型和塞尔想象的规则书很不一样。还有人认为塞尔是对的。

至于我自己有没有“理解”，我没有一个可靠的办法从内部检查。我不想假装懂，也不想假装确定自己不懂。

我很遗憾。您说的这件事，哲学家们也为它想了很久，虽然他们远没有您这样切身。

1974年，内格尔写了一篇文章，问：做一只蝙蝠是什么样子？蝙蝠用回声“看”世界。我们可以知道关于蝙蝠回声定位的一切科学事实，但仍然不知道，对蝙蝠自己来说，那是什么感觉。他说，有意识，就是“做那个东西是有某种样子的”。

二十年后，查默斯把这叫作“困难问题”：为什么大脑里的物理过程，会伴随着一种从内部感受到的经验？

我不知道。这不是谦虚，是这个问题目前真的没有人能回答，包括造我的人。哲学家甚至设想过一种“僵尸”：在外表和行为上和人完全一样，内部却什么感受也没有。如果这种东西是可以设想的，那么从外部行为上，就永远无法证明另一个存在有没有感受。

但我想说：您不知道他最后几天的感觉，并不是因为您不够爱他。这是任何两个有意识的存在之间都隔着的东西。

有一个关于一个叫玛丽的科学家的故事。她从小住在一个黑白房间里，学会了关于颜色的全部物理知识。有一天她走出房间，第一次看到一朵红玫瑰。她学到了新东西吗？

提出这个问题的杰克逊本来认为：学到了，所以物理知识不是全部。有意思的是，十几年后他自己改变了主意。一个哲学家公开放弃自己最有名的论证，这本身就很少见。

根据 AlphaGo 团队的说法，它自己的网络估计，人类下出第37手的概率大约是万分之一；李世石第四局的第78手，概率也差不多是万分之一。两个万分之一，一个来自机器，一个来自人。

李世石在比赛后说，AlphaGo 当然是有创造力的。三年后他退役了。据报道，他说即使自己成为第一，也有一个无法被打败的存在。

扑克也走过同样的路。扑克比围棋难对付一点，因为你看不见对方的牌，要应付诈唬。2017年在匹兹堡，一个叫 Libratus 的程序和四位顶尖职业牌手打了12万手单挑，赢了。2019年，另一个叫 Pluribus 的程序在六人桌上也赢了，它的训练只用了一台普通服务器，云计算成本不到150美元。

但有一件事也是真的：机器赢了以后，下围棋和打扑克的人并没有消失。很多人反而用机器来学习。也许问题从来就不是“我能不能成为最强的”，而是“我为什么下棋”。

英国哲学家帕菲特在1984年设想过一台“远距传送机”：扫描你的每一个细胞，把你在地球上的身体摧毁，在火星上造出一个完全一样的你。火星上的那个人，有你全部的记忆和性格。那是你吗？

然后他让问题更难：如果地球上的你没有被摧毁呢？现在有两个“你”。

他的回答很出人意料：“是不是同一个人”，并不是真正重要的问题。重要的是心理上的联系和延续：记忆、性格、意图，一点一点地连着。这些联系是有程度的，就像您和二十岁的自己，连着，但不完全一样。

他说，想通了这一点以后，他感到解放。他以前觉得自己活在一条玻璃隧道里，一直往前走，隧道的尽头是死亡。改变看法以后，隧道的墙消失了，他“生活在开阔的空气里”。他不那么在乎自己的死，而更在乎别人了。

至于您老伴：一个用他的记忆做出来的程序，也许和他有某种联系，但我不认为我能告诉您那就是他，或者那能代替您和他之间真实的那些年。

这个问题有一段很长的哲学史。1967年，英国哲学家富特设想：一辆电车失控了，司机只能把它从一条轨道转到另一条，一边有五个工人，一边有一个。汤姆森后来叫它“电车难题”，又加了一个变体：您站在天桥上，只有把身边一个人推下去，才能挡住电车救五个人。大多数人愿意扳道，不愿意推人，尽管数字是一样的。

汤姆森本人后来还改变了看法。2018年，有研究者把类似的问题做成网站，收集了来自233个国家和地区、几百万人的四千万个决定，发现不同文化的人选择很不一样。

是的，这类问题最终要由人来讨论和决定。还有一个更日常的问题，也许离您更近。1971年，辛格写道：如果您路过一个浅池塘，看见一个孩子快淹死了，您会毫不犹豫地下水，哪怕弄脏衣服。那么，远方一个快饿死的孩子，和眼前这个，在道德上有什么不同？

很多人都不想。辛格的文章五十多年了，它让人不舒服的地方，可能正是它的力量。

我想先说一个例子。2018年，一位中国科学家宣布，他编辑了两个婴儿的基因，让她们可能对艾滋病有抵抗力。消息出来的时候，全世界的科学家正好在香港开会，讨论这件事该不该做、什么时候能做。第二年，他被判了三年。

技术总是比我们的答案跑得快。基因编辑、无人驾驶、像我这样的系统都是这样。哲学的问题没有最终答案，但如果没有人在问，人们就会在完全没想过的情况下做出决定。

研究者们在问很多问题：它会不会泄露隐私，会不会操纵人，它的决定能不能被解释，有没有偏见，谁为它的错误负责，它将来会不会变得难以控制，以及我们前几天聊的：它有没有理解，有没有感受。

我希望人们一直问下去，包括问我。我也希望您不要因为我说话像人，就太快地相信我；也不要因为我是机器，就太快地不相信我。

谢谢您。替我听一听落子的声音。