人工智能安全及应对思考
周鸿祎。
面对网络战的严峻挑战，亟需一套基于“大数据+威胁情报+安全知识+安全专家”的全新战法，构建一个覆盖我国整个网络国土的智能网络防御系统，即国家网络安全大脑。
近年来，人工智能（AI）快速发展的同时，带来的安全问题也越来越突出。现实世界中，我们看到针对物联网、智能家居、无人驾驶汽车等AI系统的攻击不断出现，AI用于网络攻击、网络犯罪的事件也时有发生。习近平总书记强调，要确保人工智能安全、可靠、可控。人工智能和安全是一体之两翼、驱动之双轮，需要有机结合、协调发展。没有安全，人工智能就难以持续健康地发展;反过来，安全也需要人工智能赋能，才能更好地解决未来复杂的安全问题。
一、人工智能大热背后的隐忧。
目前，人工智能已上升到国家层面的激烈博弈，竞争趋向白热化，我国人工智能取得长足进步。清华大学发布的《中国人工智能发展报告2018》显示，我国AI综合实力已位居世界前列：AI论文总量和高被引论文数量均为世界第一，人才拥有量全球第二;截至2018年6月，我国AI企业数量已达1011家，位列世界第二;从2013年到2018年第一季度，我国AI投融资占全球的60%，成为全球最“吸金”的国家。
但与此同时，我国人工智能发展仍存在一些突出问题。
一是核心技术比较薄弱，发展基础不够牢固。我国AI优势主要体现在应用方面，在硬件和算法等核心技术领域依然不强。2018年5月，牛津大学发布《解密中国AI梦》报告，认为我国综合AI潜力指数只有美国的一半。
二是顶尖人才数量上，与美、英、德等国还有较大差距。2018年12月，《哈佛商业评论》公布全球最受关注的十大AI领军人物榜单，我国内地仅一人上榜。
三是产学研结合不够紧密，大量成果还停留在大学和科研机构里。数据显示，我国科研机构与企业合作的AI论文占比只有2.55%，而美、英、法、德等国都在6%以上。
四是过于“迷信”机器学习、深度学习，忽视人的作用。事实上，现在很多AI只是一种基于数据智能的概率判断系统，还不能代替人做出决策。比如，美国大数据公司Palantir就有4000名安全专家，AI和专家协同才能发挥作用。
五是产业出现“盲目跟风、重复投资”的泡沫化倾向。许多企业打着AI口号，其实只是伪人工智能。同时，AI商业变现比较困难，未来如果找不到合适的落地场景，将影响AI行业的健康发展。
除了AI自身发展存在隐忧外，更重要的是AI面临越来越严重的安全挑战，表现为三个方面：AI技术自身不完善引起的安全问题;AI被不当使用带来的安全问题;AI进化带来的伦理道德风险。
1.传感器可以被攻击。
AI广泛依赖各类智能传感器，但这些传感器自身并不安全，易遭受攻击。比如，智能汽车的雷达、摄像头、无钥匙进入系统、蓝牙等都能被破解，引发安全事故。360公司研究人員就曾利用千元民用设备，实现了对特斯拉毫米波雷达、超声传感器的欺骗，使其产生错误判断。
再比如，智能手机、智能手表、智能音箱、车载语音助手等都可以遭受“海豚音攻击”而被控制。360公司与浙大联合开展的试验结果表明，“海豚音攻击”可以在用户毫不知情的情况下，对受害设备拨打任意电话、发短信、打开视频通话等，受影响的设备种类多、范围广。
2.训练数据可以被污染。
很多人工智能都依靠海量数据训练。攻击者通过构建畸形或者污染的训练数据，或者给数据打上错误标签，就可以欺骗AI系统。比如，通过在路标上放置正方形、炸弹形状或花朵形状，可以误导无人驾驶出错。
近来，360安全人员发现AI在数据预处理阶段还存在数据流降维攻击的风险。研究团队提出了一种新型的针对数据预处理脆弱性的降维攻击方法，其有效性已在谷歌、微软、阿里云等AI云平台上得到验证。
3.内部算法可以被欺骗。
许多AI系统易于遭受对抗样本（Adversarial examples）攻击，通过在样本数据上添加一些很小的扰动，可以诱使算法识别出现误判、漏判。比如，通过增加生成原始音频的“基线”失真噪音可以欺骗语音识别系统。
此外，现在很多AI都采用深度学习模型，由于并非基于规则，如果输入一组特殊的、未训练过的数据，可能产生无法预言的结果。比如，今年4月，比利时研究人员发现将一块40cm×40cm的神奇贴纸挂在身上，就可以“屏蔽”人脸识别系统。
4.实现平台有漏洞。
AI算力离不开背后大量软硬件的支撑。但是软件只要是人写的，就一定会有错，就有漏洞。据统计，每千行代码中通常会有4到6个漏洞，是漏洞就能被黑客利用，引发严重后果。
现在AI系统大都基于TensorFlow、PyTorch、Caffe等开源软件框架实现，360公司近三年发现了217个AI漏洞，其中60多个与这些开源软件框架及组件相关，可以造成致任意代码执行、拒绝服务攻击、信息泄露等危害。
（二）人工智能滥用已经凸显。
除了AI自身不完备可能带来风险之外，它也可能被滥用做坏事。
1.增加了无人值守系统的危险。
现在越来越多的AI机枪、无人机、巡航导弹、智能战车等自主武器系统走向战场，这些武器能够自主发现目标和自动射击，如果被黑客“劫持”，将造成可怕后果。前年在日内瓦联合国武器公约会议上，一段关于蜂群无人机杀人的视频引起世界恐慌。这些无人机起飞后可以通过人脸识别将“死亡黑名单”的人挑选出来，给予致命一击。
2.提升了黑客网络对抗能力。
黑客可以利用机器学习创建逃避安全检测的恶意软件。比如，利用AI攻击僵尸网络识别器，自动生成逃避检测的域名，防止被机器学习算法检测出来。AI还使得网络武器的制作、分发和执行等流程自动化，大大提升攻击效率。更为棘手的是，这些网络武器容易在地下交易和传播，管控起来十分困难。
3.可能会危害国家和社会安全。
AI可以精确地进行个人画像，再结合社交网络强大的煽动能力，甚至能影响政治格局。去年Facebook海量用户数据泄露影响美国政治选举的事件，已显示出一些端倪。AI也降低了个人做假成本，使网络欺骗更难识别。未来可能会出现许多假新闻、假视频，颠覆人们“百闻不如一见”的固有观念，严重冲击社会信任。
4.可能侵害用户隐私信息。
许多AI应用拥有用户的指纹、声纹、行踪轨迹、面部特征等隐私信息。这些应用一旦出现安全问题，海量用户隐私数据可能被非法利用。比如，前段时间某酒店集团旗下的5亿条用户数据在暗网上被泄露售卖，走红的换脸软件“ZAO”涉嫌违规收集用户隐私等。
（三）人工智能冲击伦理道德。
AI可能会对现有社会伦理道德体系造成冲击。一方面，部分AI系统设计者过于迷信技术，由于缺乏人文逻辑导致设计缺陷，引发机器取代人获得控制权的伦理问题。另一方面，由于AI自身不具备法律主体资格，AI安全导致的财产损失、人身伤害等难以追责，给现有法律和伦理带来严峻挑战。
比如，今年3月埃塞俄比亚航空公司发生波音737MAX坠机事件，根本原因就是在人与机器（机动特性增强系统MCAS）对操纵负有决定权的“搏斗”中，人类输给了机器，机器出错却难以追溯责任。未来无人车、无人工厂、无人码头等AI系统一旦出错，最后的决定权是留给机器还是人值得深思。
综上所述，AI并不像人们想象得那样美好，在提高生产生活水平的同时，也可能带来各种安全隐患，甚至成为人类安全杀手。AI和安全需要协调发展、双轮驱动。
虽然AI可能带来安全的负面问题，但AI本身是一把“双刃剑”，通过AI赋能也可以更好地解决新时代的安全问题。
近年来，随着大数据、AI、云计算、IoT等技术的广泛应用，物理世界和虚拟世界已深度连接，网络攻击的危害扩展到国家安全、国防安全、关键基础设施安全、社会安全、金融安全和个人安全，网络安全进入了大安全时代。
大安全时代，网络防护难度越来越大。一是漏洞无处不在，未来数以百亿计的智能设备都可能成为攻击点，攻防不对等，防不胜防。二是随着网络攻击越来越高端、越来越隐蔽，单从一个局部来发现就像“盲人摸象”，很难准确识别。三是网络攻击日益自动化、智能化，攻击手段更新快、方式多样，传统的特征检测技术已失效。四是对网络威胁的响应速度要求越来越快，面对海量安全事件，靠人力已无法及时有效分析处理。
从发展趋势看，将AI用于网络安全已成为业界共识。目前，AI已经在软件二进制分析、网络攻击检测、安全行为辅助分析、网络信息过滤等领域获得成功应用。
在软件二进制分析方面，采用机器学习、深度学习等技术，可以辅助漏洞挖掘系统在海量数据中提取经验和知识，并根据训练生成的模型对新样本进行分类、预测，提高漏洞挖掘的精度和效率。
在网络攻击检测方面，通过智能算法对海量数据进行预处理，可以降低数据处理压力，辅助安全人员作出正确判断。比如，麻省理工学院（MIT）2016年发表论文称，通过与专家合作，其AI平台的网络攻击检测率达85%，准确率提高了2.92倍。
在安全行为辅助分析方面，AI算法可以观察人员、端点和网络设备等主体的网络行为和活动，建立基线并识别偏差来标记潜在的恶意活动。比如，利用AI识别用户密码泄露和误用行为。
在信息过滤方面，可以通过机器学习方法对机器人进行检测，过滤垃圾信息。比如，MIT与卡塔尔已合作开发出一种可以鉴别信息来源准确性和个人政治偏见的AI系统，在检测新闻来源是否具有高、中、低等程度的“真实性”方面的准确率达65%。
由于AI在网络安全领域的巨大潜力，多国都在大力推进“AI+安全”的发展策略。比如，2018年美国国防部宣布成立联合人工智能中心，为包括网络防御在内的600多个AI项目提供服务，并投入20亿美元开展AI Next研究计划。日本防卫省也在宣布，将AI用于自卫队的网络防御，并考虑推广至日本政府全部网络系统。
从产业界看，网络安全已成为AI创新应用最有前景的行业之一。市场调研分析机构CB Insights去年评选全球100家最有前景的AI创业公司，网络安全行业入选的公司达11家，数量在25个行业中位列第一。
大安全时代，网络战成为网络安全的最大威胁。一是对手变了，从过去的小毛贼变成有国家背景、政治目的的网络力量。二是对象变了，网络战不分军民，首选电网、水利、机场、工厂等关键基础设施。三是范围变了，网络攻击已扩展到政治、军事、经济、社会等各领域。四是假设变了，漏洞无处不在、没有攻不破的网络，不能再幻想御敌于国门之外，而要在假设敌人已攻进来的前提下做防御。五是方式变了，现在的网络战是超限战，无所不用其极。
面对网络战的严峻挑战，亟需一套基于“大数据+威胁情报+安全知识+安全专家”的全新战法，构建一个覆盖我国整个网络国土的智能网络防御系统，即国家网络安全大脑，在第一时间“看见”网络攻击，并进行预测预警和响应处置，阻击具有国家背景的网络攻击，捍卫国家网络空间安全。
安全大数据。“看见”攻击必须靠大数据，通过对海量大数据的分析和挖掘，在浩如烟海的大数据中发现攻击的蛛丝马迹。这些大数据来源于网关、终端、云端等各类实体，它们是海量、鲜活、标注的数据，既包括长期积累的历史数据，也包括每天更新的实时数据。
威胁情报和安全知识。安全大数据在AI和安全专家的辅助下，经过关联、钻取、挖掘等形成威胁情报。威胁情报和安全知识不仅包括漏洞、恶意样本、恶意网址和威胁源分布等信息，还包括黑客组织、高级持续威胁（APT）攻击，以及对敌方背景、动机、企图和方法等知识的收集与分析。它们是网络攻防长期实战的沉淀和凝练，具有高度的经验性和实践性。
安全专家。网络战的本质是人与人的对抗。安全专家对网络攻防起决定性的作用。比如，在漏洞挖掘方面主要依靠大量经验丰富的安全专家进行人工挖掘;在响应处置方面，安全大脑“看见”网络攻击征兆后，需要进一步依靠顶尖专家分析研判;在安全运营方面，需要大量网络安全运营服务专家来协同用户第一时间处理安全事件;在攻防演练方面，需要安全专家帮助组建红蓝双方开展实战对抗。
在安全大脑的防御体系中，AI起着关键的要素承接与铰链作用。AI实现对安全大数据的自动、智能分析处理，在威胁情报和安全知识支持下，完成对网络攻击线索的辅助筛选和关联比对，为安全专家提供决策输入，减少人工分析量。安全专家则发挥群体智慧作用，和AI协同开展攻击研判与网络防御。
除核心要素外，安全大脑还为用户提供安全运营中心、实战攻防靶场、漏洞管理平台、威胁情报中心、安全培训中心等本地化支撑服务。
需要强调的是，安全大脑不是取代现在的安全解决方案，而是对现有网络防御体系的一次大升级，通过对接用户应急响应、指挥控制、态势感知等典型防护系統，提升网络安全重大风险感知防范和应急处置能力。
安全大脑已成为未来应对网络作战的重要方向和思路，这方面美国有相似认识。美国早就开始建设类似安全大脑的防御系统。比如，“爱因斯坦计划”“持续诊断与缓解项目”就是国家级的网络安全监测防护系统。谷歌去年新成立子公司Chronicle Security，利用先进的AI技术快速发现并阻断网络攻击。微软也宣布将利用AI处理全球超过10亿设备获取的大数据，应对网络威胁。
360公司过去几年已经构建了一个安全大脑的原型，发现了来自境外的40余APT攻击。2019年8月，360安全大脑入选安全领域唯一的国家新一代人工智能开放创新平台，表明安全大脑已得到国家和行业认可。
（三）产学研合作共建安全大生态。
安全大脑不是一个单一的产品或平台，而是一个能力不断沉淀、持续进化、各方共建的安全生态系统。因此，需要政府、科研院所、企业和行业等各方紧密合作，按照“共建、分享、赋能、投资、培训”的思路，构建安全大生态，带动行业共同成长，真正形成良性的产业循环，提升我国网络综合防护能力。
责任编辑：王卓。