疫情下AI应用落地加速 避免“算法独裁”需要中国方案

全球疫情之下，大数据和人工智能技术在实际场景中加速落地。不可否认，人工智能在抗击疫情和复工复产等多个领域都发挥了关键作用，但技术蓬勃发展带来的法治挑战也在相应增加。

上海交通大学文科资深教授、中国法与社会研究院院长季卫东对记者表示，疫情防控加快了数字经济的发展和社会治理方式的转型。然而，人工智能对海量数据的渴望和吞吐，正在冲击个人隐私和信息处分权，在一定程度上给现代法治体制带来挑战。

“特别是电脑的网络化和算法的黑箱化，导致因果关系难以确认和说明，势必动摇责任政府和问责原则的基础，助长某种‘机器官僚主义’的倾向。”他提出，必须及时对人工智能治理以及相关的法律问题进行深入分析，从理论和实践两个方面提出中国方案。

便利性的代价

一方面是人工智能应用落地加速，带来生产效率和生活品质提升；另一方面是这些便利性带来牺牲隐私、冒犯人格等代价，引起了越来越多个人和企业的重视。

6月8日，IBM公司CEO克里什纳宣布IBM退出人脸识别业务；6月10日，亚马逊暂时禁止向美国警察提供人脸识别技术，禁令将持续一年；6月11日，微软禁止将人脸识别技术销售给警方；而早在今年初，Clearview AI公司就遭遇重大数据泄露，30亿张人脸数据被泄露，引发美国社会的巨大担忧。

季卫东表示，我国根据海量图像数据进行人工智能研究的绩效的确非常突出，已经达到世界顶级水平。

“这使得人工智能系统的深度学习能力超强，并能把有关成果迅速应用于经济和社会治理的各个方面。”在季卫东看来，不断进化的电子计算机也有可能在相当程度上以算法独裁（Algocracy）的方式限制甚至剥夺个人的自由，以效率、便利、娱乐等不同诱因促使人们不断放弃既有的基本权利。

季卫东解释，在无法理解和无法说明的场合，算法就是黑箱化的。

“要求人类介入和监控人工智能的运作，当然是要确保人工智能的可控性，但信息处理系统越复杂就越容易出现操作的失误，当系统运作速度极快时，人也很难对情况进行认识、预测以及掌握。”他表示，系统与系统之间还会产生目的冲突和互动，在机器学习甚至深度学习的情况下，不同人工智能系统之间的互动关系将变得复杂且变幻莫测。

可以说，机器学习的效果越精准、深度学习的功能越强大，算法的涵义就会变得越来越难以理解和说明。中国围棋棋手柯洁与AlphaGo对弈失利，就是例证之一。

季卫东认为，这样的算法黑箱化，让人工智能具备了近乎不受约束的权力性。立法机构的决定、司法机构的判断、行政机构的具体处分行为都需要给出明确的理由，以便据此防止主观任意性，给相对人申诉和复议的机会。如果人工智能进行的预测、提供的结论无法说明其理由，就无异于用“莫须有”的名义来做出决定。

一方面，在很多应用场景下，人工智能很难被人类有效监控，反而容易成为人类转嫁决策风险、逃避问责的重要手段；一方面，应用人工智能对大数据进行分析和学习，可以充分掌握社会心理和舆情的变化，对不同群体以及个人的行为进行精准的预测。那么，一旦不能相应提高民主问责的水准，权力滥用的风险将加剧。

中国社科院知识产权中心研究员杨延超告诉记者，未来的社会必须设立一个裁判机构，即算法裁判。“当算法决定人自由的时候，算法本身要接受制约。”他提出，对于算法的审查，需要一个由专业且综合型人才组成的机构来完成，但这样的人才，目前是相当缺乏的。

需要中国方案

杨延超表示，人工智能带给传统法律体系的挑战是颠覆性的，比如交通法，“从智能驾驶过渡到无人驾驶，现有交通法可能一条都用不了”。因为现有交通法遵循的是过错责任原则，但在无人驾驶时代，没有驾照的人也能“开车”，这就进入了从人的过错到产品质量的迭代时期，整个交通法都要重新制定。

同样的，随着越来越多机器人开始参与文学作品的创作，现有的知识产权法也不再适用。“现在的法律总体处于观望和个案解决的阶段。人类意识到了人工智能技术带来的颠覆性，但颠覆的程度和速度还不得而知，因为技术本身尚处于发展阶段。只能遇到问题逐个解决，不断总结后形成规则。”杨延超说。

针对人工智能带来的挑战，我国刚通过的《民法典》特别设立人格权编，加强对个人信息安全和隐私的保护。个人信息保护法、数据安全法草案也在全国人大常委会第二十次会议上进行了初审。

杨延超认为，目前的这些立法，技术和可操作性还有待加强，很难解决新兴的具体问题。因此，做好立法准备的同时，需要加强对于人工智能的管理，在政府管理层逐步形成专业的管理机构，不断细化和完善现有规则。

季卫东也表示，这些规定在实施中势必会遇到包括上述难题在内的考验。这让中国方案的出台尤为重要。

在将于7月9日开幕的2020世界人工智能大会上，季卫东将正式新增一个身份——上海交通大学人工智能治理与法律研究中心（下称“研究中心”）主任。作为全国首家侧重研究人工智能治理以及相关法律问题的机构，该研究中心将在这场云端峰会的法治论坛上揭牌成立。

在世界人工智能大会上，关于法治的讨论从未停止。2018年的人工智能与法治高端研讨会、2019年的世界人工智能大会法治论坛，均在大会期间取得了一定的学术成果。今年，法治论坛将升级成为大会的“主题论坛”之一，以“人工智能的权利义务与法治实践”，就构建AI法治、推动人工智能与法治深度融合等问题进行探讨。

继去年发布《世界人工智能法治蓝皮书2019》后，今年的论坛还将发布“人工智能法治发展指数”和《世界人工智能法治蓝皮书2020》。

杨延超提出，人工智能的挑战是世界性的，尤其在算法和数据共享等方面，是整个人类社会面临的共性问题。我们需要根据国情来提出思路，同时也可以借鉴国外已有的相对成熟的法案，做好立法准备。

“我国人工智能领域综合型人才储备不足，导致了人工智能领域发展速度快，但立法准备速度慢的现状。”他补充说，目前国内高校已逐步开始推进人才培养转型，未来将更加重视新型人才的培养。