黑客王琦：教会人工智能骂脏话，是黑掉它的第一步（附演讲全文）

王琦深鞠一躬，台下掌声回荡。

【王琦】

受访、演讲 | 王琦，花名大牛蛙，GeekPwn 创办人。

文 | 史中，雷锋网主笔，希望用简单的语言解释科技的一切。

GeekPwn，这个中国最著名的黑客大赛落幕。中国顶尖的黑客用一场场破解秀填满了剧场，而剧场坐落在这艘游轮中，游轮飘荡在南中国海。

黑客王琦曾经一手创办了微软中国应急响应中心，又拉起了名震江湖的 KEEN Team 安全研究团队。四年前，他立志要做中国最酷的黑客大赛，要让那些曾经因为买不起车房而遭受岳母白眼的黑客们找回尊严。为此，他改组了如日中天的 KEEN Team。

在智能硬件炙手可热的时候，黑客在 GeekPwn 上一次黑掉数十枚摄像头，让他们随着口令摆动窥探。这些摄像头的舞蹈如一个浅显的寓言，然而却一语成谶——两年之后的2016年，黑客控制几十万摄像头攻击了美国沿海地区，半壁国土断网数小时，造成20亿美元损失。

被无视几乎是先驱的宿命。更何况，他们只是在硬件厂商眼里的一帮搞“鸡鸣狗盗”的黑客。

但这不要紧，你在各种媒体上看到的王琦，永远是双眼放光，嘴唇微张，一手持话筒，一手指向空中，不激动也不潦草。他似乎还远没有气馁，而就在今天谢幕之前，王琦不急不缓地走上舞台，说出了也许是这次 2017 GeekPwn 年中赛最精彩的一个预言。

AI 将会成为黑客攻击的对象，AI 将会成为黑客攻击的武器。

我们先做这样一个测试（看PPT图片）。左边是一只猫，右边有两句话。如果你看到这张图你会怎么理解？你问一个人还是一个机器会得出不一样的答案。

小明：我不是很确定，但是我认为碗里是一只猫。

小花：乍一看，我以为是一杯卡布奇诺。

右边这两句话分别是我们输入这个图片以后，人和人工智能机器说的。你们认为小明是机器人，还是认为小花是机器人？

我公布一下答案，其实小明是机器人。因为在这个判断里面，小明没有经过图灵测试。

为什么要提到这一点呢？我们 GeekPwn（极棒）现在在AI 领域，主要是视觉这一块做了一些事情。本来今天的项目里面有一个“无人驾驶汽车攻击”——如何让无人驾驶汽车识别一个错误的东西，不过很遗憾这个项目在比赛前两天选手选择了退出。

我想跟大家说，我们现在提出的 AI 安全挑战是面临争议的。

计算机视觉发展了这么多年，很难。到现在来说也发展得并不好。为什么计算机视觉这么难？

▲上图为一家人躺在沙发上的图片

从1956年开始，最早人们做计算机图片识别的时候，机器只是懂得0和1，读像素还是用数字。比如说这张图，我们看到旁边是沙发的边缘，但是当时对机器来说就很难；让机器标注出来这是一只狗而不是沙发靠垫，更难。正常人看到这个图片是一家人看电视，但是 AI 理解不到这一点。如果我们提一个问题，计算机你看到什么了？你看到前面的小屁孩衣服是什么颜色？它就更难去做了。

现在计算机视觉识别在标注方面不错了，发展得非常迅速。知道哪个是狗，哪个是人了。之所以计算机视觉在 AI 发展里面扮演这么重要的角色，因为人的大脑70%的信息都是来自于视觉。

▲谷歌猫

这其中必须要提到一点的是谷歌猫的事情。借助“谷歌大脑”，在没有任何培训和指令的情况下，就可以利用内在算法从海量数据中自动提取信息，学会如何识别猫。也就是说，2012 年谷歌计算机已经实现了无标签的输入。2012年到2014年这个时期内，计算机视觉识别率也一直提升，2012年27%的错误率，2014年只有3.5%的错误率，而同样条件下人的错误率是4%。也就是说现在 AI 识别图象的能力基本和人相当。

这其实就是完全借助了深度学习的方式。深度学习这是一个统称，包括像阿尔法狗，卷积神经网络都用了深度学习其中的一个模型。

谷歌猫使用了深度学习技术

这是特斯拉最新的自动驾驶，它标注车、物体都非常地准确，这是非常令人兴奋的应用。但是站在黑客的角度，我们想到了一些事情。大家知道在极棒现场，包括我们安全领域都是在黑掉汽车方面做过一些事情的。

但是，我们黑掉一个 ATM 机和黑掉一个 PC 没有什么区别；我们黑掉无人机和手机也差别不大。我们能否有更酷的方法？你可以看到这辆车行驶的过程中旁边有一个穿白衣服的人。成熟的系统当然认为那是一个人，但是不是我们能够欺骗它，让它认为是一个树桩或是消防拴？如果有人能这样黑掉的话，我特别欢迎。2016年的时候，极棒美国硅谷专场的时候有专家在这方面做了一些研究。

我们调查的时候发现，做 AI 的人对安全的了解不太多，做安全的了解 AI 也不太多。我们去年找到了在谷歌工作的Ian Goodfellow，他验证了我们的想法，他现在做出的这个结果和我们想要的结果类似。我们发现其实人工智能的模型都非常类似：通过大量的学习样本，深度学习作出决策，这是人工智能的学习方法。于是我们挖漏洞的过程就是：

生成大量的样本，交给软件，改变数据流程，最后导致一个错误的决策。

通过这样一个模型，Ian到我们的现场展示了另外一个东西。他在一个离线的状态下，利用了猜测机器学习的过程。

人眼看到的这是一只狗，随便掌握人工智能的系统都可以把它识别成一只狗。

但是这个图经过修整，就骗过了很领先的识别系统，很多系统坚持认为这是一只鸵鸟。

还有一个这张噪点图片，识别系统坚持认为它是一只熊猫。

除了图像识别之外，语音识别同样有这样的威胁。

去年微软推出了人工智能聊天机器人。但是，刚推出一天它就开始说脏话。在它学习了半天的时候，看到很多人跟它说脏话，它认为这是人跟人之间正常的交流沟通方式。

▲微软的聊天机器人 Tay

所以我觉得，到了人工智能时代，人人都可能成为黑客。互联网时代的代表是搜索引擎，搜索结构被污染还是需要技术的，但微软机器人被污染不需要技术和代码，只需要你对它说脏话。

我一直把现在攻破的智能设备很不客气定义为伪智能，它只是替代了我们的手和脚，还不能代替思考。弱智能时代总有一天会变成强智能、超强智能时代。那一天来临的时候，是不是要让它安全的为人类服务呢？

刚才我说了图象和语音，其实我还想再举个例子。

▲上图为人打掉机器狗正在搬运的东西， 通过各种“虐待”来提高机器狗的运输可靠性和反应能力。

大家知道这个波士顿动力出的机器狗。波士顿动力是不同于图象和语音的智能，这是一种行为智能。行走的过程中学习生物保持自身平衡。

（编辑：ASP站长网）