继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

路上放三枚小贴纸,特斯拉就拐进了反向车道:腾讯“骗”出AutoPilot三大缺陷

量子位
关注TA
已关注
手记 279
粉丝 5268
获赞 364
车栗子 发自 凹非寺 
量子位 报道 

如何欺骗一只特斯拉?

https://img3.mukewang.com/5ca1c781000145c706640274.jpg

只要在地上摆几张小贴纸,像上面的红点这样排成一行。

辅助驾驶系统Autopilot就会以为路歪了,把车拐到反向的车道上去:

5ca1c75d000135ed04800270.jpg

就是这样轻易地被骗了。

虽然,今天是愚人节,也请各位千万不要模仿。

这是腾讯科恩实验室,在特斯拉Model S身上做的自动驾驶安全性研究,软件版本是2018.6.1。这也是科恩实验室第一次在特斯拉量产车上做自动驾驶实验。

研究报告已经发布。包括误认车道在内,腾讯指出了Autopilot的三大缺陷

三连骗

第一,不下雨也能骗它打开雨刷器。不要小看这一骗。

这项测试的场地是车库,理论上不会下雨。

不过,只要在特斯拉眼前播放干扰画面,展开对抗攻击

5ca1c75f00018e5c05400304.jpg

特斯拉便以为在下雨了。而且,从雨刷挥舞的频率来看,还不是绵绵细雨。

特殊纹理的图像,是可以欺骗图像识别系统的。

并且,只要偷偷加入定制的噪音 (下图中间) ,便可以在人类没有察觉的情况下,骗倒一只AI:

https://img4.mukewang.com/5ca1c7950001d24004950207.jpg

熊猫被认成了长臂猿;乌龟成了步枪,而且翻过来调过去都是步枪。

https://img4.mukewang.com/5ca1c9560001d7df06030340.jpg

所以,骗开雨刷器有什么危险?

特斯拉的图像处理工具,都是身兼数职的:追踪其他车,追踪物体和车道,为周围环境画地图,以及估计雨量……

并且,腾讯团队惊讶地发现,刚才这些任务里面,大多数都是只靠单一神经网络来完成的。

这是不是说,一挂挂一片?

第二,就是开头提到的,车道识别容易被干扰。

也不需要定制对抗图像,只要在地上有规律地摆上贴纸而已。从车里看是这样:

https://img4.mukewang.com/5ca1c94000012f3106780360.jpg

Model S拐上了反向车道,打方向盘的时候,丝毫没有犹豫。

即便,没有人真的用这样的方法破坏交通安全,路上如果出现了小小的异物 (比如鸟粪) ,不知道会怎么样。

第三,游戏手柄能远程操控。

把恶意代码动态地插到Cantx服务里面,钩住 (hook) 里面的方向盘函数。

这样,腾讯团队黑进了Autopilot的控制系统。

5ca1c7610001d93705400304.jpg

后来,在手柄的支配下,汽车就开始左冲右突了。

特斯拉回应

关于腾讯提出的三大隐患,特斯拉一一回应。

第一,关于骗开雨刷器的方法,特斯拉说:

这是要在车前放一个屏幕,不是司机面临的现实情况,也不是安全问题。而且,用户手册写明了,雨刷器的控制目前处于测试阶段,用户可以随时调整到手动控制模式。

第二,关于在路上贴贴纸,特斯拉说:

这是手动改变汽车所处的物理环境,才让特斯拉的行为发生了变化。在现实情况下,人类驾驶员的操作可以覆盖住Autopilot的决策,驾驶员也应该随时准备好,不管是控制方向盘还是刹车。所以这也不是问题 (测试视频里,驾驶员没有干预) 。

第三,关于远程黑进系统,特斯拉说:

报告里面提到的漏洞,特斯拉在2017年的安全更新中,已经修复了。2018年又更新了一次。两次都是在这个报告发表之前。许多年来,也没有一个用户表示自己受到过这个问题的影响。

2016年,腾讯的科恩实验室也曾经远程黑进特斯拉的系统,发现了许多漏洞。特斯拉还公开对腾讯团队表示了感谢。

后来,特斯拉便开始对Autopilot进行一系列的安全更新。

不过,似乎并没有阻止接连不断的事故。

https://img2.mukewang.com/5ca1c97800019f4a06790445.jpg

报告传送门:
https://keenlab.tencent.com/en/whitepapers/Experimental_Security_Research_of_Tesla_Autopilot.pdf

—  —


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP