人工智能网络安全保障新思路：认知安全

2018年8月15日，由梆梆安全研究院编撰的《认知安全白皮书》（以下简称“白皮书”）正式对外发布。梆梆安全是最早认识到人工智能安全风险并展开认知安全研究的公司之一，白皮书中首次明确提出认知安全的定义：“认知安全”是研究人工智能系统或人工智能系统控制的设备进行有意识的智能行为、智力活动以及无意识被动行为时，获取并应用信息过程中的安全风险、安全理论、安全方法、安全技术及安全应用组件和系统。

智能源于感知

科学家们提出人工智能的初衷，是源于希望辅助人类工作、学习、生活。人类产生智慧的过程是通过不断感知外界并不断学习进化，人工智能产生的机理亦然，通过后天的感知、学习、训练，逐步建立起一套系统的方法来获得“知识”，建立“自我认知”。

1956年，科学家们首次提出“人工智能”概念，点燃了人们对于人工智能的想象和期望。时至今日，历经六十余载的发展，人工智能已经成为当前最具颠覆性的技术，人工智能技术的进步能够解决当前的很多问题，比如疾病诊疗、智能安防、智能家电、个人助理、自动驾驶、车牌识别、智能教育、智能医疗、智能金融、智能电商零售……大概没有人会否认，我们正处于人类历史上科技变革最为迅猛的时期，无论是在科幻电影里还是在现实世界中，人类险被自己创造的文明战胜都不再是一个新鲜题材，而代表人工智能尖端水平的AlphaGo战胜李世石，再次向人们宣告，科幻不再遥不可及。

白皮书回顾分析了人工智能的发展历程、发展态势，从国内外法律法规环境分析了当前人工智能发展的要求及趋势。从智能家居、智能交通、智能教育与医疗、智能金融与电商零售等诸多人工智能的应用领域剖析了人工智能首要解决的问题，例如可以提升疾病诊断效率、解放劳动力等……不可否认，我们身处人工智能技术革新的浪潮中，但是无论政策、环境、法律伦理都给人工智能的发展提出了诸多挑战，如何确保人工智能安全、可靠、可控发展成为当前发展人工智能亟需解决的问题。

威胁源于未知

如果人工智能的发展不受人类控制，它可能成为人类文明的终结者。

——霍金

霍金曾经多次在公开场合三令五申人工智能可能给人类文明带来的威胁，他曾在演讲中提及“强大的人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。虽然是好是坏我们仍不确定。但应竭尽所能，确保其未来发展对我们有利。”我们正在见证人工智能的发展，享受人工智能带来的科技成果时，也同时见证人工智能向人类发起的挑战：

1978年日本广岛切割机器人异常；

1989年机器人棋手向金属棋盘释放强电流；

2015年德国大众汽车组装机器人“杀人”事件；

2016年微软人工智能聊天机器人Tay一天被“教坏”；

2017年Facebook人工智能聊天机器人Bob和Alice“自创语言”……

从这些事件中不难发现，机器人并不能完全按照人类预期的规划发展。白皮书通过分析人工智能在网络攻击和安全防护中的应用，指出当前人工智能在高速增长时面临的问题：人工智能算法黑箱，模型缺乏可解释性；在网络安全领域使用分类学习算法时需要大量准确标记的数据，但是实际情况难以满足；模型与训练环境强相关，导致人工智能安全系统部署之初通常难以达到理想效果；海量数据关联导致模型极易被攻击者污染；攻防手段持续更新也给人工智能的健康发展提出了更高的要求。

从人工智能本质看未来发展

深度学习驱动了人工智能的大爆发，机器学习用算法真正解析数据，不断学习，进而对实际发生的事情做出判断和预测。纵观近年来人工智能网络攻击，人工智能的风险主要来自于两个方面：1、针对人工智能算法特点的攻击；2、人工智能算法在软件实现过程面临的风险。

提及人工智能网络攻击，就不得不提“对抗样本”。在人为设计的图像、文本、语音中加入微小的扰动，这个过程用户无法感知而机器却能接受并作出错误操作，其结果证明这类行为可以很容易骗过人工智能。机器在这些样本上会产生戏剧性的错误也是当前人工智能面临的主要风险与威胁，例如，微软上线的聊天机器人Tay在“别有用心”的用户“训练”下，开始发表带有性别歧视和种族歧视的言论，这一事件正是由于所输入的样本数据被污染后，导致人工智能系统被训练偏离正常运算目标，最终产生失焦的运算行为。事实上，当前针对人工智能的攻击有很多都是通过数据污染和模型窃取实现的。

白皮书从输入感知安全风险与威胁、数据隐私泄露风险、信息获取安全风险与威胁、知识使用安全风险与威胁等不同维度剖析了人工智能面临的风险与隐患。

安全之本

网络安全的本质是攻防对抗，人工智能的本质是程序，程序是未来智能世界的核心，没有程序就没有智能。我们一直强调一个观点，人工智能的产生依赖于程序，依赖于软件，依赖于数据。在人工智能发展的过程中，数据是非常重要和关键的基础。白皮书从人工智能认知安全的本质出发，提出数据-信息-知识的3层立体认知安全防护方法。

图 认知安全防护方法

在输入感知安全防护上，白皮书提出采取对抗样本安全防护和样本预处理攻击防护等认知安全防护策略；在数据隐私安全防护上，白皮书提出针对模型训练，可以采用匿名化、差分隐私保护等认知安全技术；在信息获取安全防护上，一方面通过自适应的PPDR模型，快速检测攻击并响应，另一方面采用预测向量为前k个类别和正则化等认知安全技术保证训练出的模型、知识的安全与泛化能力；在更高维度的知识使用安全防护上，通过权限控制、集成学习、置信度舍入保证人工智能训练出模型、知识使用过程中的安全。

不忘初心 方得始终

千里之堤毁于蚁穴，我们必须正视人工智能给我们带来的风险与威胁，不断修正。梆梆安全将其研究与探索成果与大家分享也是希望能够集众家之所长，共同把握未来的技术发展方向，让人工智能回归其初衷，真正服务于人类