王莹：算法侵害类型化研究与法律应对
王莹内容提要：算法的普遍应用给个人及社会带来如下类型的侵害：算法标签、算法归化、算法操纵、算法歧视与算法错误。传统部门法分析框架无法对算法侵害进行完全的、有效的规制。GDPR和我国最新通过的《个人信息保护法》提供了源头数据规制与数据赋权制衡的应对方略，不仅规定了数据处理原则、个人数据权利，还专门引入自动决策概念，设置专条进行规制，形成了从部门法到数据法的算法初步规制框架。但我国《个人信息保护法》的个人数据保护和个人赋权制衡的进路过于狭隘，难以对系统性的、多维的算法侵害及算法自动决策进行全面、系统的规制，故有必要对《个人信息保护法》第24条自动决策条款进行扩展，引入人工干预权，进一步丰富数据权利束，并超越个人数据权利思维，从算法侵害风险防御视角出发，进行整体性的、纵向的、动态的算法规制，积极探索算法可解释性、可问责性的解决方案，加强算法责任研究，沟通算法事前规制与事后规制，并形成二者的闭环，以应对算法社会普遍存在的算法侵害风险。
关 键 词：算法侵害 数据与个人信息保护 算法可解释性 算法可问责性 算法影响力评估
在人工智能时代，算法利用人类活动日益数字化所积累的海量数据，不断扩展其应用场景的广度与深度，企业和公共机构广泛应用算法决策来决定是否向个人提供商品、服务、工作岗位或公共产品，司法机关在算法决策的辅助下进行司法裁量。对算法技术风险的担忧与对算法可信赖性、可解释性、可问责性的探讨逐渐成为全球性的重要公共议题。我国法学界近年来围绕大数据杀熟、算法歧视、算法黑箱、算法共谋等算法决策法律问题展开探讨，《电子商务法》《消费者权益保护法》等也相继从立法层面作出回应。2021年8月20日通过的《个人信息保护法》(下文简称《个保法》)不仅规定了数据处理原则、个人数据权利，还专门引入自动决策概念(第69条)，设置专条进行规制(第24条)，形成了从部门法到数据法的算法初步规制框架。本文尝试结合人工智能算法技术特征与既有法律框架资源对算法风险或侵害进行类型化界定，探讨将算法侵害纳入现有的部门法框架进而运用既有法律资源进行应对的可能性，分析欧盟《一般数据保护条例》(General Data Protection Regulation)(下文简称GDPR)与我国《个保法》对算法侵害的数据法规制路径，并在此基础上提出应对算法侵害的算法规制扩展思路。
一、算法侵害的类型性分析
由数据驱动和算法自动决策的(消费或知识)信息推荐或推送、针对个人的商业和刑事风险评估、公共机会配给、智能家电服务在给人们带来效率、便捷的同时，也隐含着诸多不确定性与问题，在客观、高效、便捷的表象之后，隐藏着人的脆弱性与被操纵性。耶鲁大学的Balkin教授首次从法学角度审视了算法社会造成的深刻影响，对算法所形塑的法律关系及所带来的侵害进行了系统论述。具体而言，人类已从网络时代进入算法社会，所谓算法社会，即围绕通过算法、机器人和人工智能代理进行社会与经济方面的自动决策与决策执行而组织建构的社会。①从个别公司或决策者的角度来看，算法的普及确实提高了效率，但实际上，算法的普及给个人和群体带来了累积性损害。这些损害是自动决策的副作用，是算法活动的社会成本。②Balkin类比侵权法上的公共妨害概念，将算法的普遍应用给公众增加的社会成本称为算法妨害(algorithmic nuisance)。所谓算法妨害，是指算法的大数据分类、风险评估技术的大规模使用给个人的身份、声誉及行为带来的消极影响。③具体而言，算法妨害的副作用包括以下侵害(Harm)：④
一是声誉侵害。算法结合个人历史数据对个人进行风险评估与分类，根据算法应用的不同场景，把个人划归进不同的风险群体，例如，具有财务风险、雇佣风险、犯罪风险、浪费社会福利风险、不良消费者风险等的群体。被标识于个人的风险在数字时代就成为个人的污点，给个人造成声誉损害。
二是歧视。基于风险评估与归类，算法会对具有风险的个体进行差别化对待，例如不提供利益(如职位或信贷)，或增加成本(如增加监控、提高消费价格等)。
三是归化(regimentation or normalization)。算法风险评估与归类增加了人们对自己的身份信息被搜集、处理的担忧，促使人们改变、规范自己的行为，例如，人们会减少在数字世界的行为轨迹，以避免被监控或划归进风险群体。虽然人们减少自身的数字暴露能够降低算法社会的总成本，但这可能导致社会的编制化(regimentation)、统一化，限制个体行动自由，遏制个性表达，致使那些减少数字暴露的人们被社会孤立。这些限制或影响并非都是不可接受的，但至少需要对这些限制或负面影响予以正当化说明。
四是操纵(manipulation)。算法运营者可能利用算法发现哪些群体易于受到算法操控，进而引导人们作出有利于算法运营者的选择，但不给予人们相应的回报。政府可能在行政程序中推广算法决策以限缩公民权利，导致公民尊严受损。私人公司可能利用算法影响消费者，损害消费者的意思自治，基于消费者的隐藏偏好开发的产品搜索可能以不利于消费者的方式使用消费者的偏好，构成对数字市场的操纵。⑤
五是缺乏透明性、可问责性、监管及正当程序。鉴于算法技术的复杂性、专业性、隐蔽性，外行人很难理解算法决策的机制。在作出针对个人的决策时，无论是作出关于具体行政行为的决策，还是作出关于司法裁判行为的决策，在法律上都需要设置合理的程序。算法进行自动决策，同样可能涉及对个人或集体的财产、人身权益的减损、增加或再分配，然而缺乏物理世界中决策程序的那种程序性保障。
Balkin以鸟瞰算法社会的视角对算法侵害所作出的观察是深刻且极具启发性的，为我们研究算法法律问题提供了关键的切入点。以上述研究为基础，笔者结合人工智能算法决策的技术特征对算法侵害进行整合与分类，将人工智能算法决策所带来的消极影响或者侵害作如下分类：
一是算法标签侵害。算法利用大数据对个人进行风险评估与分类，将人们归入不同的风险群体，形成身份标签，并将这种身份标签在数字世界留存、流转、再利用，从而将身份标签固化为数字时代的个人身份污点，Balkin将之称为算法的声誉损害。但这些风险标签并不被用于传统的人际交流沟通，不同于线下的社会人际交往中的社会评价，除了算法使用者知悉外，其他社会成员无从知悉，因而不属于侵权法中的名誉权侵权。但是这种风险标签一旦被贴到个人身上，就会在数字世界流转，被其它算法处理和分析，对个人造成永久不利影响。即便算法标签是由设计合理的算法规则经正确分析得出的数据所作出的决策结论，在算法时代也呈现放大效应，甚至可能导致对个人的权利与机会的永久性剥夺。为了区别于传统法律中的名誉权侵害，也为了还原侵害产生的技术过程，我们将这种侵害称为算法标签侵害，即算法利用历史数据及算法模型对个人进行风险评估与归类，并将个人标签化为“具有某种风险”。
二是算法归化侵害。算法风险评估与归类促使人们改变、规范自己在数字世界与算法社会的行为模式，降低暴露于算法搜集、分析环境的机会，或者使自己在算法面前“看起来”正常。无论是社会的编制化、统一化，还是社会孤立，都必须有合理的理由才能被正当化。例如，实施大规模算法监控与恐怖分子识别，必须以实现社会风险防御目的为必要，否则，就构成对个人行动自由的过度干预。
三是算法操纵侵害。算法利用其所搜集或者汇聚到的用户数据形成巨大的信息优势，向用户推送信息，影响用户的选择与决策，实现对个人和群体的操纵。例如，算法可能试图影响用户的政治观点或者商业选择，侵害个人或者群体的信息自我决定权，最终造成社群沟通鸿沟。
四是算法歧视侵害。鉴于数据与算法设计都无法做到客观中立，所以它们反映了收集者或设计者的某种主观性或偏见，决策结论可能也带有偏见，并由此导致对决策对象或他人的损害。
五是算法错误侵害。除以上几种算法侵害之外，Balkin还附带提及了物理损害，即自动驾驶或工厂机器人算法决策所导致的对人员身体上的伤害。⑥这种算法侵害主要是由数据收集、数据准备、算法规制设计、算法模型验证过程中的缺陷或错误所导致的，例如，因训练数据不充分、不具有代表性，算法种类选择不当，算法设计编码错误等，导致算法决策结论错误。算法错误在自动驾驶或生产线等物联网环境下结合执行模块，既可能直接导致物理侵害，也可能如其他算法侵害一样，单纯导致不当剥夺机会、增加成本等侵害。
上述对算法侵害的分类与表述在一定程度上糅合了算法的技术风险特征、侵害产生的机制(如算法标签、算法错误)、对个人或集体产生的影响(如算法归化、算法操纵、算法歧视)，有别于传统法律偏向于关注具体权利侵害结果，开启了更多维的、系统的对算法负面影响的理解，该理解有助于我们从技术正当程序角度提出系统性的算法侵害应对与算法规制方案。
二、应对算法侵害的传统法律框架：场景式部门法规制路径
算法标签、算法归化、算法操纵等新型的算法社会的侵害相比于传统物理社会中的侵害而言是新型的侵害，在现行法律制度内，并非能够穷尽既有法律资源以找到法律应对措施。因此，有必要将上述算法侵害概念纳入现行法律规制框架，以审查在现有法律框架内是否存在规制漏洞以及现有法律资源是否能够提供妥当的解决方案，并据此探讨是否需要以及如何对现有法律规制框架进行调整及扩展。
算法借助强大的数据搜集能力、数据挖掘能力、风险评估能力与精准预测能力，不断扩展应用场景，针对这些应用场景中算法所侵害的利益的种类与涉及的社会关系类型，传统法律提供了不同的部门法解决方案。
(一)算法操纵
算法操纵侵害主要体现于“算法共谋”“信息茧房”及精准营销等方面，平台利用数据优势影响用户的自由选择，干预其观念、意志的形成，对个人或群体进行支配或操纵。算法共谋是指，同一市场中两个或两个以上的经营者，利用算法所实施的协调价格、限制产量等排除、限制市场竞争的行为，实际上属于对数字市场的算法操纵。虽然算法共谋具有违反反垄断法之嫌，但鉴于算法的技术性、智能化、隐蔽性，欲在传统的反垄断法框架内证明共谋意思联络及搜集价格共谋证据，尚存在较大技术障碍，易陷入规制困境。⑦鉴于此，2021年2月7日发布的《国务院反垄断委员会关于平台经济领域的反垄断指南》(下文简称《反垄断指南》)在垄断协议认定中引入了对平台基于大数据和算法所实施的协同行为的审查。
所谓“信息茧房”，是指算法获取并精准理解用户浏览过的信息内容及浏览轨迹，建立用户标签，
进行精准匹配，向用户推荐其感兴趣的内容，使用户如同生活在茧房中，知识信息逐渐单一化、自我中心化，侵害用户的信息自我决定权，造成社群沟通鸿沟。⑧信息茧房不仅操纵个人信息接受，继而影响个人的价值观与政治观点，还产生造成社群鸿沟甚至社会撕裂、阻碍公共议题之共识达成等集体性的、深远的负面影响。2021年8月10日，中宣部等五部门联合印发了《关于加强新时代文艺评论工作的指导意见》，强调“加强网络算法研究和引导，开展网络算法推荐综合治理，不给错误内容提供传播渠道”。⑨但该意见仅是一种行政指导，欲具体产生实效，尚需从法律层面对算法进行规制。
(二)算法歧视
算法歧视作为算法自动决策技术的主要侵害类型，发生的场景广泛且多元，是目前算法法律研究关注的热点。算法通过搜集用户数据进行用户画像，根据用户偏好提供不同定价，实现精准营销和收益最大化，此即所谓“大数据杀熟”，实际上是一种“价格歧视”，⑩属于算法歧视。2020年11月26日《南方都市报》反垄断研究课题组发布的《消费者对在线平台行为与市场竞争的态度和认知问卷调查报告》显示：最受受访者重视的问题依序是个人数据被滥用(占比50％)、大数据杀熟(占比20％)、过度精准推送、难以辨别付费搜索结果、平台二选一、互联网屏蔽、强制搭售和平台自我优待，其中，73％的受访者对“大数据杀熟”持反对态度。(11)我国文化和旅游部于2020年8月发布的《在线旅游经营服务管理暂行规定》已明确禁止在线旅游经营者利用定价算法实施大数据“杀熟”，(12)但《消费者权益保护法》并未明确将“大数据杀熟”纳入规制范围，消费者仅可根据该法第8条关于消费者知情权的规定、第10条关于消费者公平交易权的规定及第55条关于消费欺诈的规定进行法律救济。此外，《电子商务法》第18条与《个保法》第24条规定了“信息推送、商业营销算法应同时提供不针对个人特征的选项”这一义务。《反垄断指南》第17条规定：“具有市场支配地位的平台经济领域经营者，可能滥用市场支配地位，无正当理由对交易条件相同的交易相对人实施差别待遇，排除、限制市场竞争。分析是否构成差别待遇，可以考虑以下因素：(一)基于大数据和算法，根据交易相对人的支付能力、消费偏好、使用习惯等，实行差异性交易价格或者其他交易条件；(二)实行差异性标准、规则、算法；(三)实行差异性付款条件和交易方式。”
算法歧视除可能导致经济法领域的消费者权益侵害外，也可能在量刑辅助算法或福利分配算法应用中引起公法上的问题。例如，美国辅助量刑的人工智能算法应用产品COMPAS在一个案件中引发了广受关注的算法歧视争议。在该案中，法官在对被告人的量刑判决中参考了再犯风险评估算法COMPAS，被告人质疑该算法决策结论的正确性，并要求法庭批露算法编码，但法官以算法工具具有专有权且涉及商业秘密为由驳回了该请求。被告人认为法院违反了正当程序，故诉至州高等法院。(13)维斯康星州高等法院支持了原判决，理由在于，COMPAS得出的再犯风险评估结论只是法官作出量刑判决的因素之一，而且被告人通过填写COMPAS收集算法数据的调查问卷，已了解算法输入数据，其知情权并未受到侵犯。但是，根据非盈利新闻机构ProPublica的研究，COMPAS得出的再犯率预测结论与事实上的再犯率相差甚远，只有20％的准确率，且存在明显的种族偏差。具体而言，对黑人的预测再犯率的错误的比率高出对白人的预测再犯率的错误的比率两倍。在美国法中，虽然正当程序审查具有一定的灵活性，能够包容不同的实体法，但由于技术与算法外包使自动决策跨越不同部门，所以这就要求采取一种更清晰一致的方案来确定须披露算法的哪些信息。(14)再犯风险评估算法作为我国《刑事诉讼法》第40条所规定的案卷材料之一或量刑建议书之一部分，也涉及披露或论证问题，同样面临着关于算法披露内容及披露效果的问题，(15)这超出了单一刑事诉讼法规制的框架。
(三)算法错误
在自动驾驶领域，自动驾驶系统算法错误可能引起严重交通事故。例如，2016年，发生于美国佛罗里达州的特斯拉半自动驾驶追尾事故造成驾驶员Joshua Brown身亡，引起媒体震惊与广泛关注。事后调查显示，自主驾驶系统虽已感知到前方卡车，但未能识别卡车数据，将卡车误认为交通指示牌，或者未能将卡车的白色侧面与天空色彩区分开来，导致碰撞事故。(16)2021年8月12日，蔚来L2级别驾驶辅助功能汽车发生交通事故，导致驾驶员林某死亡。据报道，事故原因很可能是系统无法识别前方静态车辆，因此发生碰撞。(17)
知名科技媒体《连线》最近曝光了英国犯罪风险评估AI系统MSV(Most Serious Violence)预测系统的严重缺陷。(18)英国内政部斥巨资投入英国国家数据分析解决方案NDAS(National Data Analytics Solution)项目“严重暴力犯罪预测系统”。该系统从地方和国家警察数据库收集超过1TB数据，从中识别出500万需警方关注的风险人员，发现了近1400个有助于预测犯罪的指标，包括年龄、第一次犯罪后的天数、与其他人的联系、犯罪的严重程度以及持刀次数。NDAS机器学习系统根据这些指标对上述人员进行关于犯罪可能性的风险评分。尽管NDAS声称其系统的准确度高达75％，但其严重技术漏洞很快被发现。负责审查NDAS的委员会称，错误原因是“训练数据集的定义中存在一个编码错误”。后来，技术漏洞虽得到修补，但预测准确率直线下降，导致系统实际上无法得到使用。系统伦理委员会的报告也称，编码错误是对AI预警技术系统的严重提醒，“在最坏的情况下，不正确的模型(即错误编码导致错误算法模型)可能导致一些人根本没有合理理由就被预测为可能犯罪，进而被采取强制或惩罚措施。尽管系统会发出明确的警告，但也可能威胁到被评估为有风险的人士的生活”。(19)
算法错误损害个人利益，可被纳入刑法或者侵权法提供的生命权、健康权或财产权保护法律框架进行规制。虽然在侵害的权利类型上不存在法律真空与规制空白，但算法侵害这些传统权利的方式与机制是全新的。
首先，鉴于人工智能算法决策行为的技术复杂性，在侵害后果发生时，对因果关系、主观过错的认定与证明是一个非常棘手的问题。其次，由于算法决策部分甚或全部地替代人的决策行为，因而产生了归责难题与人机责任的界限混淆等问题。例如，自动驾驶L3级别驾驶权切换时的责任区分就引发了学界的广泛争议。(20)再次，传统上这些权利在被人或物侵害时，侵权法或刑法根据权益内容、重要性程度、侵害频度与方式逐渐发展出了清晰的权利界定及侵害认定的框架。但是，人工智能自动决策系统对传统权益的侵害往往很难为侵权法上的侵权责任构成要件或者刑法上的犯罪构成要件所包摄，形成了权利救济与保护的裂缝。例如，2020年7月，美国密歇根州总检察长驳回了一个针对失业保险诈骗探测AI系统算法错误的损失赔偿请求，认为受算法侵害的人应当获得补偿，但诉讼并不是确定该损失赔偿的合适渠道。(21)
(四)算法标签、算法归化
算法结合个人历史数据对个人进行风险评估与分类，根据算法应用场景的不同，可能把个人划归进不同的风险群体，贴上诸如“财务风险”“雇佣风险”“犯罪风险”等不同的风险标签。如上所述，这些风险标签不同于线下社会人际交往中的社会评价，算法标签无法构成侵权法中的名誉权侵害，但对个人的风险分类会增加个人在电子世界中的脆弱性，导致个人权益可能被进一步侵害。例如，美国国会商业、科学和运输委员会的一份大数据交易行业报告揭示，数据画像将消费者划分为“农村的勉强度日者”“二线城市的少数族裔挣扎者”“艰难的开始：单亲父亲或母亲”，根据经济脆弱程度对消费者进行评分，这些数据经常未经消费者允许就被数据掮客出售给金融公司，金融公司再向消费者推销小额贷或高利贷等其它非传统金融产品。(22)而且，这种个人电子身份标签在算法社会固化、存档、流通，其侵害具有隐蔽性、长期性和涟漪放大效应，对个人的负面影响不可小觑。
算法归化实际上是个人因担心算法标签、算法歧视的不利影响而调整、压缩自己在数字世界的行为，以避免被算法“算计”，这在一定程度上构成了对个人行动自由的干涉。但这种干涉相对隐蔽、轻微，无法达到被侵权法、宪法或隐私权法救济的程度。例如，利用AI对人群进行大规模的监控，以筛查潜在的治安风险，利用AI来监控雇员的行为，进行雇员表现或绩效评估等。人们可能感觉自己如玻璃水缸里的金鱼一样，处于时刻的监控之下，除了减少暴露于监控场所和使自己的行为看起来更正常以外，并没有其它办法抵御日益普及的算法监控。我国某售楼处采用了人脸识别技术，导致看房客为避免被识别或面部图像被采集而带头盔进入售楼处。(23)近日，大量用户反映，一些App存在偷听通话内容并根据偷听到的内容推送相关商品的问题，引起了公众广泛的担忧和戒备。(24)这些均是典型的算法归化对个人行动自由造成干涉的例子。
对于算法标签、算法归化这类无法落入传统部门法法律框架的侵害，在多大程度上需要法律介入以及如何介入，是算法时代值得深思的法律难题。如果将算法标签、算法归化视为算法社会必要的“恶”，就必须划定一个可以接受的范围，并对这个范围内的侵害进行正当化说明，将这个范围内的侵害作为法律上可允许的风险予以合法化，同时对超出该范围的侵害予以禁止。可在传统法律资源中寻找进行正当化说明的法律工具，即借鉴侵权法与刑法中正当防卫、紧急避险制度的法理基础——利益衡量方法，对不同算法应用场景下算法标签、算法归化所带来的利益与其造成的对个人行动自由等利益的侵害进行衡量，确定可以接受的侵害范围。例如，大规模监控算法、人脸识别算法只有在社会安全防御利益大于其所侵害的行动自由、个人隐私利益时，才能被允许。根据GDPR关于特殊个人数据处理及GDPR执法指令的规定，生物性识别算法只有在具有实质性公共利益等少数情况下才以法律授权的形式被准许，且算法应用须符合比例原则，且应具有安全保障措施。(25)目前，我国人脸识别算法应用严重泛滥，引发了公众的广泛担忧。2020年10月，《南方都市报》人工智能伦理课题组和App专项治理工作组发布《人脸识别应用公众调研报告(2020)》，针对支付转账、开户销户、解锁解密、换脸娱乐等常见的10大类人脸识别场景进行调研的结果显示，94.07％的受访者使用过人脸识别技术，64.39％的受访者认为人脸识别技术有被滥用的趋势。(26)在备受关注的杭州“人脸识别第一案”中，二审法院认为：“郭兵在知悉指纹识别店堂告示内容的情况下，权衡后自主作出办理年卡的决定并提供相关个人信息，指纹识别店堂告示对郭兵与野生动物世界具有约束力，而人脸识别店堂告示并非郭兵与野生动物世界之间的合同条款，对郭兵不发生效力。郭兵办理指纹识别年卡时选择权并未受到限制或侵害，野生动物世界的行为亦不构成欺诈，但野生动物世界单方变更入园方式构成违约。现野生动物世界欲利用收集的照片扩大信息处理范围，超出事前收集目的，表明其存在侵害郭兵面部特征信息之人格利益的可能与危险，应当删除郭兵办卡时提交的照片在内的面部特征信息。”(27)该判决主要从合同违约责任的角度而非从个人信息保护角度立论作出上述判决。假若郭兵知悉人脸识别这一入园条件，则很可能因为存在事先明示的约定或事后默示的追认而承担败诉风险。
但从个人数据或个人信息保护的角度来看，即使郭兵知悉人脸识别这一入园条件，也至多满足了同意原则的要求，未必满足合法、正当、必要原则及敏感信息保护的特殊要求。有鉴于此，最高人民法院于2021年7月28日发布《关于审理使用人脸识别技术处理个人信息相关民事案件适用法律若干问题的规定》(法释[2021]15号)，将人脸信息作为《民法典》第1034条规定的“生物识别信息”，将未征得个人同意及违反合法、正当、必要原则的对人脸信息的处理行为界定为侵害自然人人格权益的侵权行为，以填补《个保法》的空白。但仅采人格权侵权的保护进路而非算法规制的进路，无法提供对个人信息的有效保护，无法防治利用敏感个人信息作出自动决策所带来的算法侵害。
针对人脸识别算法乱象，我国《个保法》第26条虽引入了利益衡量思维，要求“在公共场所安装图像采集、个人身份识别设备，应当为维护公共安全所必需，遵守国家有关规定，并设置显著的提示标识，所收集的个人图像、身份识别信息只能用于维护公共安全的目的，不得用于其他目的，取得个人单独同意的除外”，但对比GDPR可知，该规定既未采用例外授权许可形式，也未引入比例原则及要求提供安全保障措施，规定显然更加宽松。
通过对算法侵害类型进行部门法场景化分析，我们发现，现行法律框架可以将算法歧视、算法操纵、算法错误等纳入电子商务法、反不正当竞争法、侵权法的框架加以规制与救济，但对于算法标签与算法归化，则不存在对应的法律资源与解决方案。
三、算法侵害的数据法规制路径分析
2018年5月生效的GDPR开创了大数据时代个人数据保护制度的先河，引入了关于个人数据处理的一般原则、数据主体权利、数据处理者义务等的规定，并且针对日益加剧的数据画像及自动决策风险设置了自动决策相关条款，赋予了数据主体对完全自动决策的反对权与解释权，为个人防御算法时代的算法侵害提供了权利武器与平等装备，在很大程度上起到了弥合传统场景式部门法规制对算法侵害的应对不足与规制裂缝的作用。
(一)数据处理的一般原则：源头数据规制路径
GDPR引入关于个人数据处理的合法、公正和透明性原则，目的限制原则，数据最小化原则，准确性原则，限期保存原则，完整性与保密原则这六项原则，从源头端对算法对个人数据的处理进行规制。
1.合法、公正和透明性原则[GDPR第5条1(a)]
算法自动决策对个人数据的处理须符合该原则的要求，做到合法、公正、透明。例如，在对经济状况不佳的消费者进行风险归类并向其推销不合理的高风险金融产品时，即使获得了数据主体的同意或符合第6条所规定的其它合法性要求，这种数据处理也因可能导致消费者接受不合理的高风险金融产品而违反公正性原则。可见，数据处理的合法、公正和透明性原则能够从数据合规角度防治此类算法侵害。
2.目的限制原则、数据最小化原则[GDPR第5条1(b)(c)]
目的限制原则要求对个人数据的收集应当有具体、清晰与正当的目的，对个人数据的处理不应当违反此类目的。数据最小化原则要求，就实现数据处理目的而言，对个人数据的处理应当是适当、相关和必要的。上述原则禁止数据控制者超出其声明目的而扩张性地进行数据收集与再利用，这有助于从数据源头端限制对算法的过度使用与滥用。
3.准确性原则[GDPR第5条1(d)]
准确性原则要求个人数据应当是准确的，如有必要，须及时更新，且必须采取所有步骤，以保证不准确的个人数据能够被删除或及时得到更正。根据欧盟《第29条工作组个人自动决策指南》(下文简称“第29条工作组指南”)，数据控制者需要考虑数据画像全流程的正确性问题，包括以下阶段的正确性，(28)即数据收集、数据分析、建立个人数据画像以及适用数据画像作出影响个人的决策。如果在自动决策或画像过程中所使用的数据发生错误，那么，所得出的任何决策及画像都将是有缺陷的。例如，基于过期的数据或者基于对外部数据的错误解析而作出决策，会导致对个人健康、信用或保险风险的错误预测或陈述。即使原始数据记录正确，数据组也可能因欠缺代表性或者分析逻辑而包含隐藏的偏见。数据控制者有必要采取稳固措施来验证和确保那些被再利用与间接获取的数据的正确性与时效性。准确性原则能够保证算法所处理的数据(包括训练数据与真实数据)的真实性与准确性，降低算法侵害的可能性。
4.限期保存原则[GDPR第5条1(e)]
机器学习算法被用来处理大量信息，通过信息处理，在信息之间建立关联，以进行综合性的、私密的个人画像，因此，数据控制者往往倾向于搜集大量数据并长期保存，以便于进行算法学习。GDPR的数据最小化原则与限期保存原则将数据画像等自动化处理对个人的消极影响降至最低，能够避免个人数据被超期保存或永久存档，避免个人数据被算法反复处理、分析，被用于不同的风险评估，形成电子身份印记并被算法放大，最终减少算法标签等算法侵害。
5.完整性与保密原则[GDPR第5条1(f)]
完整性与保密原则通过要求数据控制者采取合理的技术或组织手段，保障个人数据的安全，包括防御未授权或非法的处理，防御意外损失、销毁或损害，这能够从源头端降低算法侵害的可能性。
上述GDPR的数据处理原则开创了从数据源头端规范算法应用与遏制算法权力的制度先河，为个人对抗商业与公共领域对算法的不当应用提供了超越传统隐私法、反歧视法、侵权法、宪法及人权法的新型法律文本依据。关于荷兰政府部门算法系统的SyRI案是一起GDPR生效后的实验性案例，该案检验了GDPR对公共机构算法应用的规制效果。(29)荷兰社会事务部于2014年创建了一个名为系统风险指数的算法系统SyRI(System Risk Indicator)，用以筛查具有高社会福利欺诈风险的人群。荷兰议会立法允许该系统运用17种政府数据(包括税务记录、土地注册档案、车辆登记信息等)进行风险评估。该算法在鹿特丹等四个城市的应用结果显示，低收入人群与移民聚居的社区具有高社会福利欺诈风险。2018年，该系统将1000多个家庭或个人标记为具有高社会福利欺诈风险，使得这部分人被政府加强监控、取消社会福利甚至罚款的概率大为增加。在问题被媒体披露以后，SyRI算法遭到那些被标记为具有高风险的人的集体抵制。荷兰社会事务部也被民权团体诉至法院，该案成为限制政府算法权力的实验性案例，引起了全球关注。尽管荷兰政府利用技术性手段解决欺诈问题是合法的，但SyRI算法因收集整个社区的海量数据而侵犯了欧盟人权法所保障的私人生活不受侵犯的权利，与GDPR规定的合法、公正和透明性原则及数据最小化原则相悖，同时，将低收入人群评估为具有高社会福利欺诈风险，有算法歧视之嫌。
(二)数据赋权：个人数据赋权的规制路径
GDPR采取赋予数据主体权利的进路，在第12条至第22条赋予了数据主体获取数据处理相关信息的权利、对个人数据的访问权、对个人数据的更正权、对个人数据的删除权(被遗忘权)、限制处理权、数据携带权、一般反对权和反对自动化处理的权利。更正权与删除权不仅适用于输入的个人数据(用以建立画像的数据)，也适用于输出的个人数据(数据画像本身或者对个人作出的评估分数)。(30)赋予数据主体更正权，就是赋予数据主体对错误的、不充分的个人数据进行更正的权利，此与数据处理的准确性原则相呼应，保证了源头数据的正确性，有助于减少算法侵害的发生概率。赋予数据主体删除权，即在对个人数据的保存就实现其被收集或处理的相关目的而言不再必要时，或者在数据主体撤回同意时，或者在已经存在非法的个人数据处理时，数据主体具有要求控制者删除相关个人数据的权利，此与限期保存原则类似，可以避免个人数据被算法反复处理、分析，免于个人数据被用于不同的风险评估，能够降低算法标签侵害的发生概率。
1.免于/反对完全自动决策的权利
GDPR第22条(31)引入完全自动决策专门条款，赋予数据主体一般性的免于完全自动决策的权利，规定除因订立或履行合同所必需、存在法律授权或明确同意外，数据主体有权利不受仅依赖自动决策(包括数据画像)所作出的、对个人产生法律影响或类似重要影响的决定的制约。GDPR第IV章一般性地禁止完全自动决策，以回应完全自动化处理对个人权利与自由的潜在风险。(32)
GDPR区分了完全自动决策与有人工介入的自动决策，对完全自动决策采取一般性禁止的立场。即使在订立合同所必需的或数据主体同意的例外场合，在进行自动决策时，数据控制者也须采取保障措施，向数据主体提供人为干预、表达观点及质疑决策的权利与机会，避免个人沦为被算法决策操纵的对象，这体现了GDPR对信息算法时代个人自决权的尊重，这也是旨在在配置解释权之外引入一个更广泛的算法问责机制。(33)正如相关比较法研究(34)所揭示的那样，欧盟及其成员国坚持将数据保护及“人在回路(human in the loop)”作为一项基本性权利，并丰富完善权利细节，同时将算法规制糅合于拓展数据主体权利、限制数据控制者权限的数据保护机制之中，体现了强调人性尊严、个人自治权利的法律文化传统与立法政策。GDPR引入一般性的反对完全自动化决策的权利，限缩了完全自动化决策的应用空间，能够防止数据控制者以“完全的算法决策不受人为控制”为由来逃避对算法侵害的追责。尤其是对处于传统法律规制真空区域的算法操纵、算法标签等算法侵害而言，GDPR对一般性禁止的引入，成了一道稀缺而有效的法律屏障。
2.算法解释权及相关权利
GDPR序言第71条规定，“数据主体应有免于受制于自动化处理手段对其个人进行精准评价以及对其产生法律效果或重要影响的情况……在任何情况下，这些数据处理应当有适当的保障措施，包括获得人为干预、表达观点、对评估后作出决策的解释权利以及对决策质疑的权利”。尽管立法序言条款仅具有辅助阐述条款含义的目的，并不具有被直接适用的效力，(35)但与该条相呼应，正文第13条、第14条、第15条也规定了数据主体在第22条(1)、(4)规定的情形下具有获知自动决策通知、自动决策涉及的逻辑、自动化处理的重要性及后续影响的权利。尽管不乏争议，但学界多数意见仍认为，上述规定创立了对算法的解释权或准解释权。(36)
(1)第13条和第14条规定的知情权
第13条和第14条规定了数据控制者在收集信息和获取个人数据时应当履行的事前通知义务，这可为数据主体知悉数据收集目的等信息奠定制度基础。具体而言，第13(1)(c)条和第14(1)(c)条要求控制者在收集信息时应向数据主体提供关于个人信息处理目的以及法律基础的信息。第13(2)(f)条和第14(2)(g)条规定，控制者在获取个人数据时，应向数据主体告知自动化处理所涉及的逻辑以及该种数据处理对数据主体的重要性和可能产生的后果。
第29条工作组指南指出，机器学习的不断发展与复杂性已使理解自动决策的过程或画像工作变得更加困难，故而数据控制者需要寻找简单方法来告知数据主体决策背后的推理机制或作出决策的依据。GDPR要求数据控制者向数据主体提供关于算法逻辑的有意义的信息，这并不是要求数据控制者一定要向数据主体提供关于算法的复杂解释或者揭示整个算法，而是要求数据控制者提供足够的供数据主体理解决策理由的信息。(37)
(2)第15条规定的访问权
依据该条，数据主体有权向数据控制者提出要求，确认那些与数据主体相关的个人数据是否正在被处理，数据主体有权要求访问那些与数据主体相关的个人数据，并获知详细信息。这些信息包括处理目的、相关个人数据的类别、在自动决策机制和识别分析过程中运用的逻辑、数据处理对数据主体的重要性以及可能产生的后果等内容。本条赋予数据主体在自动决策过程中的沟通与知情机会，使数据主体能够了解预期的自动化处理的影响，而不是针对一项特别的决策事项的解释。(38)
总体视之，GDPR引入诸数据处理原则，对于控制数据质量，从源头端防治算法错误、算法歧视、算法标签等算法侵害无疑具有重要意义，但也存在以下局限性：
其一，存在权利行使效果有效性的问题。鉴于算法处理数据的规模及算法黑箱，个人数据权利的行使效果存疑。具体而言，与传统物理社会中权利的行使不同，在人工智能时代，人们对数字权利的行使存在信息与技术门槛。面对海量的数据处理与算法黑箱，个人往往很难行使访问权、质疑权或反对权，“个体很难知晓其个人数据是否被处理，其个人数据何时被处理，被哪个数据处理者处理”。(39)
其二，存在个人数据思维局限性的问题。以保护个人数据为宗旨的GDPR囿于个人数据的思维路径，具有算法规制及应对算法侵害的局限性。GDPR仅适用于利用个人数据的算法自动决策，如果算法系统处理的数据是非个人数据，则不受GDPR的规制，由此产生的算法侵害，并无对应的防治渠道。
四、算法侵害应对方案的本土化构建
我国最新通过的《个保法》借鉴了GDPR的源头数据规制与数据赋权制衡的应对方略，形成了从部门法到数据法的算法初步规制框架，下文以此为基础，提出我国算法侵害应对与算法规制的扩展思维路径。
(一)搭建算法规制的数据法基础框架：算法规制的起点
2016年《网络安全法》第41条规定，网络运营者收集、使用个人信息，应当遵循合法、正当、必要、公开透明、知情同意等原则，首次从网络运营者的网络信息安全责任角度引入了关于个人信息处理的基本法律规范。《个保法》也规定了合法、正当、必要、诚信、明确、合理、最小化、公开透明、准确等原则。《个保法》第四章引入了数据权利，规定个人就对其个人信息的处理享有知情权与决定权、查阅复制权、可携带权、更正补充权、删除权、解释说明权等。我国逐步从网络信息安全责任、个人信息控制者义务、个人信息主体权利角度引入GDPR规定的个人数据处理原则与数据主体权利，形成了个人信息保护的基本框架，构筑起我国算法规制与算法侵害防治的起点。
此外，我国《个保法》第24条就算法决策设置了专门条款，规定：“个人信息处理者利用个人信息进行自动决策，应当保证决策的透明度和结果公平、公正，不得对个人在交易价格等交易条件上实行不合理的差别待遇。通过自动决策方式向个人进行信息推送、商业营销，应当同时提供不针对其个人特征的选项，或者向个人提供便捷的拒绝方式。通过自动决策方式作出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明，并有权拒绝个人信息处理者仅通过自动决策的方式作出决定。”该规定赋予个人在商业推荐或信息推送算法中的选择权或拒绝权、在自动决策对个人权益造成重大影响时一定程度的解释权与拒绝权。如上所述，解释权对于防治各种算法侵害的意义自不待言，同时，选择权或拒绝权对于维护信息自决权与防治算法操纵、算法归化亦不可或缺。2019年的《App违法违规收集使用个人信息行为认定方法》规定，可将“利用用户个人信息和算法定向推送信息，未提供非定向推送信息的选项”的情形认定为“未经用户同意收集使用个人信息”，而《个保法》生效后，可直接适用第24条，将之认定为“未提供不针对其个人特征的选项，或者未向个人提供便捷的拒绝方式”。《个人信息安全规范》要求，“在向个人信息主体提供业务功能的过程中使用个性化展示的，宜建立个人信息主体对个性化展示所依赖的个人信息(如标签、画像维度等)的自主控制机制，保障个人信息主体调控个性化展示相关性程度的能力”，此即为对选择权或拒绝权的贯彻。
与GDPR第22条相较，我国的自动决策条款具有以下特点：
1.数据来源范围不同
GDPR对“特殊类型个人数据”的处理采用一般性禁止加允许例外情形的方式，对完全自动决策更是严格禁止，除非在存在明确同意、为实现实质性公共利益所必要并且提供特定保护措施等情形下，一般不能适用第22条第2款所规定的免于完全自动决策的例外。而《个保法》对于敏感个人信息则采取一般性允许加特殊限制的方式，仅要求在处理敏感个人信息时，须具有特定的目的和充分的必要性，须取得单独同意，须告知处理必要性和对个人产生的影响，且须进行事前风险评估，此外，并未设定专门针对自动决策的限制。但将种族、民族、宗教信仰、个人生物特征、医疗健康信息等敏感信息作为输入数据进行算法决策，具有高风险性，极易引起算法标签、算法歧视及算法操纵等算法侵害，给个人及社会带来深远的不利影响，值得重视。
2.自动决策对象(个人信息主体)与决策主体(信息处理者)的权利范围不同
(1)解释权
或许是立法者考虑到算法解释的技术开放性与解释类型尚未定型，故而留白，《个保法》关于解释权的规定稍显简单化和形式化。鉴于对复杂机器学习算法中具体决策结论的解释具有极大技术难度，学界就采取何种解释类型(结果型解释、模型中心型解释、主体中心型解释)存在争论，(40)因此，第24条未就向个人说明到何种程度以及如何作出说明作出具体规定。
(2)人工干预权、质疑权、表达观点权
第24条未配置完全自动决策在对个人产生重大影响时的人工干预权、质疑权与表达观点权，在算法程序正当意义上似有欠缺。在对决策对象产生重大影响的算法决策中嵌入类似于听证的程序及人类审核监督程序，防止人类沦为算法决策的客体，对于避免算法操纵、算法归化、算法错误等侵害具有重要意义。如果说质疑权与表达观点权尚能被解释权部分覆盖，那么，人工干预权在《个保法》上则完全阙如。欧盟人工智能高级别专家组于2019年4月发布《可信AI伦理指引》(High-Level Expert Group Ethnic Guidelines on Trustworthy AI)，提出了实现可信AI的七个基本要求：人类施为与监督、技术鲁棒性与安全、隐私与数据治理、透明性、多样性非歧视与公平性、社会体制与环境福祉、可问责性。(41)在首当其冲的人类施为与监督(Human Agency and Oversight)这一要求中，“人类施为”要求人类必须被给与足够的理解AI系统或与其互动的知识工具，且在可能时得以对系统进行合理的评估或质疑。AI系统须为个人作出符合个人目的的、更好的、更全面的选择提供支持。(42)“监督”则提倡人类对AI系统采取干预与治理措施，防止AI系统损害人类的自我决定权或产生其它负面后果。
这在我国早期智能投顾监管中已有所体现。2018年发布的《关于规范金融机构资产管理业务的指导意见》(银发[2018]106号)第23条规定：“金融机构应当根据不同产品投资策略研发对应的人工智能算法或者程序化交易，避免算法同质化加剧投资行为的顺周期性，并针对由此可能引发的市场波动风险制定应对预案。因算法同质化、编程设计错误、对数据利用深度不够等人工智能算法模型缺陷或者系统异常，导致羊群效应、影响金融市场稳定运行的，金融机构应当及时采取人工干预措施，强制调整或者终止人工智能业务。”
基于机器学习算法中人工干预问题在技术上的开放性与难度，亦有学者对GDPR第22条规定人工干预权提出质疑。(43)但是，一方面，机器学习算法的自动决策往往是辅助性的，因而不属于完全自动决策，另一方面，即使是对于完全自动决策的机器学习算法而言，人工干预也并非要求人类进行完全的支配，而是应在程序上具有一种介入或审查的可能性，算法设计者或应用者有义务对实现这种可能性进行技术与资源投入，尤其是对那些对个人具有法律影响或其它类似重大影响的自动决策应用而言。
我国个人信息保护立法在借鉴GDPR的基础上已初步形成了源头数据规制与数据权利制衡的算法侵害防治法律框架，但在完全自动决策场合，仍有必要进一步丰富数据权利束，在未来的法律修订中进行合理的人工干预权设置。一方面，应赋予人类介入与审查的可能性，并制定具有可操作性的权利行使机制。例如，第29条工作组指南要求数据控制者必须确保决策过程的干预具有实质性监督意义，应当由具有权限和能力改变决策结果的人执行决策干预，必须在数据保护影响评估报告中识别、记录人工干预的程度及发生阶段，以避免数据控制者故意通过设置形式化的人工介入来规避本条的适用。(44)另一方面，也需在科技创新与算法侵害防治之间寻求衡平，为此，可以将人工干预权触发的条件适当提高。例如，只有当完全自动决策可能对生命、健康、安全等重大法益产生影响时，方可进行人工干预。
(二)促进数据保护思维向算法规制思维扩展
GDPR因其在数据保护、数字经济与算法规制方面的首创性规定，被奉为数据与人工智能立法的圭臬，学界亦提倡通过借鉴GDPR来推动我国相关立法。(45)但是，数据合规与数据赋权虽为规制算法提供了基础，但并非算法规制的全部。GDPR的自动决策条款仅是以规制数据为起点迈开探索“算法法”的第一步。
国家互联网信息办公室于2021年8月27日发布了《互联网信息服务算法推荐管理规定(征求意见稿)》(下文简称《算法规定(意见稿)》)，既旨在规范互联网信息服务算法推荐活动，也为了在《个保法》基础上尝试进行算法规制。
GDPR关于目的限制原则、访问权、免于完全自动决策权、数据保护影响评估等的规定为人工智能系统处理数据提供了关键的制度保障措施，对此，需要在人工智能算法的背景下予以动态解读。微软研究院首席研究员Kate Crawford和Google开放研究创始人Meredith Whittaker联合创立的知名跨学科人工智能研究机构AI Now Institute作出如下论断：“从长期来看，数据保护框架因从对隐私与侵害的个人化而非集体化的理解出发而作茧自缚，无法应对算法贻害无穷的应用。AI系统往往利用故意选择的非个人数据类型对与人群或其所属的社区进行敏感的推断，此时个人数据门槛的保护作用就失灵了。”(46)
因此，GDPR与我国现有的个人信息保护立法中的个人数据规制思维及个人赋权解决方案无法彻底解决算法侵害防治与算法规制问题。欲全面、系统地防治算法侵害，就需要转变数据保护思维模式，将目光从数据源头拓展到算法自动决策过程，需要结合算法自动决策的技术特征实现从静态规制到动态、全流程规制的转变。2017年国务院发布的《新一代人工智能发展规划》(国发[2017]35号)提出，应建立健全公开透明的人工智能监管体系，实行设计问责和应用监督并重的双层监管结构，实现对人工智能算法设计、产品开发和成果应用等的全流程监管。欧盟人工智能高级别专家组在《可信AI伦理指引》中也强调，鉴于AI系统运行于动态环境中且不断演进，对人类施为与监督、技术鲁棒性与安全、隐私与数据治理等实现可信AI的七个基本要求的执行及评估也必须被贯穿于AI系统的全生命周期，并对执行中的变化进行记录及说明。(47)应在算法设计及应用的全过程吸纳算法决策利益攸关方的不同观点与考量，这有利于对侵害及新问题作出快速回应。
在机器学习算法日益成为主流算法的人工智能技术发展趋势下，算法决策不再是简单的从数据输入到数据输出的线性逻辑推理过程，而是包括数据标记、特征提取、模型训练与调优、算法迭代、模型验证、误差分析、模型融合、回归等步骤的动态的迭代过程。(48)如果仅针对算法自动决策源头的底层数据或个人信息行使更正权，不触及算法决策模型的逻辑错误或整个机器学习算法步骤中的瑕疵，就无法保障决策结论的正确性。(49)例如，在包含自动驾驶系统的自动驾驶车辆准入方面，工业和信息化部于2021年5月8日发布《智能网联汽车生产企业及产品准入管理指南(试行)》(征求意见稿)，规定了智能网联汽车产品准入过程保障要求，包括整车尤其是驾驶自动化系统的功能安全过程保障要求、驾驶自动化系统预期功能安全过程保障要求和网络安全过程保障要求，这体现了自动驾驶汽车等人工智能产品在准入层面的算法规制动态性与全流程特征，能够最大限度地降低算法错误的发生概率。
(三)事前规制与事后规制的沟通：建立算法问责制度框架
合法、公正和透明性原则等数据处理原则与访问权、更正权、删除权等数据权利保证了数据的正确性、公正性，与算法影响评估制度一同发挥着事前规制功能与避免产生算法侵害的功能，而在算法侵害产生后，通过因果关系和过错认定进行责任追究，则属事后规制，事前规制与事后规制并行，方能形成算法侵害防治与算法规制的闭环。
1.算法归责困境
算法黑箱带来的关于算法因果关系与过错的认定难题，给传统侵权责任与刑事责任的适用设置了障碍，与事前规制相比，对事后规制的研究与实践在世界范围内均处于早期阶段，呈现出事前规制与事后规制失衡、脱节的特点。
GDPR虽然规定了知情权、访问权和解释权，但对于有关条文如何衔接，以及解释权的具体内容、标准、操作路径等，并无明晰规定。鉴于事前解释、事中解释都仅要求数据控制者告知数据主体抽象的自动决策的逻辑、决策结论可能造成的影响、整体上的决策因素及权重，并不涉及具体决策事项，所以，在事后解释的内容、标准不清晰的情况下，数据主体既无从了解一项算法侵害的成因、机制，也无法提出有意义的质疑及获得法律救济，更无从对算法侵害进行追责。(50)《个保法》第48条及24条关于解释权的规定也较粗疏。针对具体决策结论的关于解释权的模糊规定使得以赋权方式来纠正信息不对称，制衡算法黑箱，以实现对算法侵害的追责与救济的立法期待落空。算法可解释性(尤其是针对具体决策结论的可解释性)在复杂算法(如神经网络算法)中仍然是一个未解的技术难题。技术界的主流观点认为，机器学习算法的可解释性与其精确性和功能之间具有一种负相关关系，(51)若过于强调可解释性，就意味着更简单的算法与更低的精确性与效率。在现阶段，法律对算法可解释性尤其是对具体决策结论的可解释性的追求不能脱离AI的技术现实，以避免制定出无法落地的“未来主义”法条。
我国《个保法》第24条规定，在利用个人信息进行自动决策时，应当保证决策的透明度和结果的公平、合理。有学者认为，该规定是对平台算法的穿透式监管，为平台算法的自动决策的设计、部署、运行与结果输出等设置了注意义务以及以过错责任原则对平台定责的依据，确立了平台算法问责制和以平台治理为核心的算法自动决策治理框架。(52)但实际上，鉴于算法可解释性的技术难题，尤其是在复杂机器算法中，欲将具体决策结果追溯至某个设计缺陷或行为输入，在现阶段不具有技术可行性，不应将可问责性原则作为一种纯粹的事后规制手段，不应将其与传统侵权法、刑法中的过错责任原则作等同理解，期待其发挥后者基于具体侵害场景的预防、威慑与惩戒的功能。国内学者或坚持确立独立的人工智能体责任或算法责任的激进立场，(53)或坚持沿用产品责任等传统责任框架的保守路线。(54)例如，有观点认为，产品责任中的谨慎标准可以延伸到人工智能产品领域，发展所谓的谨慎算法标准，以进行算法归责。(55)但鉴于机器学习的开放性、迭代性、自主性等技术特征，如何确定谨慎义务中的合理标准，在技术上与法律上都仍是一个开放性问题。目前，人工智能法学界对事前规制问题的关注有余，但对事后规制则关注不足，故有必要结合算法的技术特征对传统法教义学的归责原理与责任制度进行适用性检验与扩展性研究，探讨对算法侵害进行归责与追责的方案。
2.算法可问责性及其意义
IEEE《自动智能系统伦理全球倡议》(Global Initiative on Ethics of Autonomous and Intelligent Systems)将算法可问责性原则(Accountability)作为一项重要的伦理原则，要求在算法应用引起侵害或负面后果时应能向算法开发者、使用者追责。(56)GDPR第5条第2款引入可问责性原则，要求控制者对遵守第1款所规定的数据处理原则承担合规责任并对此提供证明，并尝试通过自动决策条款及解释权、访问权等条款建立一套算法问责机制。(57)GDPR第5条也并未将可问责性界定为关于某种具体权利侵害结果的结果责任，而是将之界定为违反数据处理原则的合规责任。可见，不同于传统的责任制度，可问责性制度更类似于一种沟通事前规制与事后规制视阈的制度性工具。
在现阶段，与其悲观慨叹传统责任制度作为事后规制工具的失灵，因坐等技术瓶颈的突破而失去技术发展与规则引领的先机，或者盲目乐观地憧憬强人工智时代人工智能体的独立责任，不如采取现实主义的法律解决方案。一方面，应结合算法侵害的技术机理与传统教义学责任原理积极推进算法归责机制研究，另一方面，应将可问责性原则理解为沟通事前规制与事后规制视域的方法论工具，结合现阶段算法的技术特点，尝试建立沟通事前规制与事后规制的机制，对算法侵害进行过程性管控与应答。算法问责制度工具包括对数据收集、特征提取、算法设计等过程进行的全程记录留痕、认证与审查，(58)应引入算法影响力评估制度，对算法可能产生的负面影响、受决策影响对象的访问权设置及实现路径、侵害发生后的审查或纠正机制等进行评估，以在算法设计与应用的全过程及时对可能发生与已发生的算法侵害作出回应，实现事前规制与事后规制的融通。《算法规定(意见稿)》第7条规定了算法推荐服务提供者的安全主体责任，要求建立健全用户注册、信息发布审核、算法机制机理审核、安全评估监测、安全事件应急处置、数据安全保护和个人信息保护等管理制度等，第8条引入了算法审核、评估、验证等制度，这正是建立算法全流程监管及算法问责机制的初步尝试。
在算法侵害风险较大、影响面更广的领域，如在公共机构算法决策应用方面，美国、加拿大等国已开始推行算法影响力评估制度(AIA)。(59)该措施有助于预估算法侵害，查找算法侵害发生的原因，并据此调整算法模型或数据，优化算法，以防治算法侵害，是促进算法问责的有力规制工具。GDPR第35条设置了数据保护影响力评估制度(DPIA)，这被认为是对事后规制不足的一种补强方案，(60)该条要求数据控制者在进行高风险的数据处理前，进行数据保护影响力评估，即通过自动化处理对与自然人相关的个人因素进行系统性与全面性的评价，在大规模处理第9(1)条所规定的敏感数据或第10条所规定的关于定罪与违法的个人数据时，或者在存在公共空间监控的情形中，应对数据处理的目的与必要性、数据主体的权利与自由风险等进行评估。我国《个保法》也规定，在处理敏感个人信息及利用个人信息进行自动决策等情形下，个人信息处理者应当事前就个人信息的处理目的、处理方式等是否合法、正当、必要，就对个人权益的影响、安全风险及所采取的保护措施是否合法、有效等进行评估。
然而，GDPR与我国《个保法》所规定的均是数据保护框架下的风险评估，即数据保护影响力评估，而非算法影响力评估，与算法影响力评估相比，数据保护影响力评估的缺陷主要在于：
其一，对技术正当程序的考量不足。GDPR与我国《个保法》皆不强制要求评估程序必须是外部的或必须引入中立的第三方，未从实定法层面明确外部机构介入评估的必要性，这使得评估的中立性与效果存疑。但算法影响力评估则试图搭建一个联合内部与外部的、联合专业机构与公众的、具有实践性的问责框架，以促进专业人士与公众对算法的民主参与。若纳入外部问责和审计力量，则更能满足技术正当程序的要求，更能展现更完善的协同治理架构。(61)
其二，评估内容侧重个人数据安全风险，而非侧重全面、多维的算法侵害风险。如前所述，囿于个人数据保护框架与数据权利思维，数据保护影响力评估旨在事前发现个人数据安全风险，无法覆盖广泛的利用非个人数据进行算法决策所造成的侵害与利用个人数据对集体所造成的算法侵害风险。正如荷兰的社会福利欺诈筛查算法SyRI与预防性警察算法所显示的那样，人工智能系统应用往往对公共利益、个人自治、机会均等、弱势群体的隐私等造成集体性的损害。(62)《算法规定(意见稿)》第8条规定：“算法推荐服务提供者应当定期审核、评估、验证算法机制机理、模型、数据和应用结果等，
不得设置诱导用户沉迷或者高额消费等违背公序良俗的算法模型。”该规定虽尝试引入算法影响力评估制度，但对算法应用结果的理解似乎过于局限，有必要根据算法侵害的多维性、广泛性扩展算法影响力评估的内容。知名数字权利组织Access Now指出，欧盟须对在处理非个人数据、推论数据(inferred data)或者不同形式的匿名化、假名化-匿名化数据和数据集合时产生的侵害与风险予以特别关注。对于防治个人与集体侵害来说，个人数据保护是必要但并不充分的工具，无法应对人工智能应用的集体性影响，例如加剧不平等、过度警察干预及群体监控等。(63)例如，Facebook涉嫌利用终端用户的数据来操纵用户，进而影响选举，证券公司使用算法高频交易突袭市场，使市场陷入崩溃，这些都对社会整体政治经济产生深远而广泛的负面影响。(64)我国《个保法》与相关算法监管规定的及时颁布与正在兴起的互联网领域反垄断及数据安全监管浪潮充分表明，社会与政府已对算法侵害的多维性、系统性形成了广泛共识，彰显了将算法关进法律的笼子的决心，以算法侵害风险为基础的算法规制研究对于回应算法时代的社会关切与实现对算法的社会治理具有重要的现实意义。
注释：
①See Jack M.Balkin,"2016 Sidley Austin Distinguished Lecture on Big Data Law and Policy:The Three Laws of Robotics in the Age of Big Data",Ohio State Law Journal,Vol.78,No.5(Aug.,2017),p.1219.
②See Jack M.Balkin,"2016 Sidley Austin Distinguished Lecture on Big Data Law and Policy:The Three Laws of Robotics in the Age of Big Data",Ohio State Law Journal,Vol.78,No.5(Aug.,2017),p.1240.
③See Jack M.Balkin,"2016 Sidley Austin Distinguished Lecture on Big Data Law and Policy:The Three Laws of Robotics in the Age of Big Data",Ohio State Law Journal,Vol.78,No.5(Aug.,2017),pp.1233-1237.
④See Jack M.Balkin,"2016 Sidley Austin Distinguished Lecture on Big Data Law and Policy:The Three Laws of Robotics in the Age of Big Data",Ohio State Law Journal,Vol.78,No.5(Aug.,2017),pp.1237-1239.
⑤See Ryan Calo,"Digital Market Manipulation",George Washington Law Review,Vol.82,No.4(Aug.,2014),pp.995-1051.
⑥See Jack M.Balkin,"2016 Sidley Austin Distinguished Lecture on Big Data Law and Policy:The Three Laws of Robotics in the Age of Big Data",Ohio State Law Journal,Vol.78,No.5(Aug.,2017),p.1238.
⑦参见殷继国、沈鸿艺、岳子祺：《人工智能时代算法共谋的规制困境及其破解路径》，《华南理工大学学报(社会科学版)》2020年第4期，第36页。
⑧参见姜野：《算法的规训与规训的算法：人工智能时代算法的法律规制》，《河北法学》2018年第12期，第145页。
⑨胡蔚：《算法治理要纠正“流量至上”》，https://m.gmw.cn/2021-08/10/content_1302475087.htm，2021年8月20日访问。
⑩参见高富平、王苑：《大数据何以“杀熟”?——关于差异化定价法律规制的思考》，《上海法治报》2018年5月16日，第B06版。
(11)参见黄莉玲、李玲、黄慧诗：《南都发布〈互联网平台竞争与垄断观察报告〉市场竞争失序产生垄断要大力监管》，《南方都市报》2020年12月23日，第GA07版。
(12)《在线旅游经营服务管理暂行规定》(中华人民共和国文化和旅游部令第4号)第十五条规定：“在线旅游经营者不得滥用大数据分析等技术手段，基于旅游者消费记录、旅游偏好等设置不公平的交易条件，侵犯旅游者合法权益。”
(13)See State v.Loomis,881 N.W.2d 749(Wis.2016).
(14)See Hannah Bloch-Wehba,"Access to Algorithms",Fordham Law Review,Vol.88,No.4(Mar.,2020),p.1290.
(15)参见江溯：《自动决策、刑事司法与算法规制——由卢米斯案引发的思考》，《东方法学》2020年第3期，第87页。
(16)Vgl.Sander/Hollering:Strafrechtliche Verantwortlichkeit im Zusammenhang mit automatisiertem Fahren,NStZ 2017,193; Appel in:Frankfurter Allgemeine Zeitung v.8.7.2016,S.17.
(17)参见《蔚来L2致死事故背后：为什么就是避不开静止车辆?》，载微信公众号“车东西”，2021年8月15日。
(18)参见澎湃新闻：《英国重金打造AI预测暴力犯罪工具，未经启用即告流产》，https://www.thepaper.cn/news-Detail_forward_8690100，2021年8月20日访问；See "A British AI Tool to Predict Violent Crime Is Too Flawed to Use",https://www.wired.com/story/a-british-ai-tool-to-predict-violent-crime-is-too-flawed-to-use/，2021年8月20日访问。
(19)See "A British AI Tool to Predict Violent Crime Is Too Flawed to Use",https://www.wired.com/story/a-british-aitool-to-predict-violent-crime-is-too-flawed-to-use/，2021年8月20日访问。
(20)参见王莹：《法律如何可能?——自动驾驶技术风险场景之法律透视》，《法制与社会发展》2019年第6期，第104页以下。
(21)See Tom Simone,"Europe Limits Government by Algorithm.The US,Not So Much",https://www.wired.com/story/europe-limits-government-algorithm-us-not-much/，2021年8月20日访问。
(22)See "Article 29 Working Party's Guidelines on Automated Individual Decision-making and Profiling for the Purposes of Regulation 2016/679",https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053，2021年8月20日访问。
(23)参见张近山：《戴头盔看房?人脸识别要有“防护罩”》，载微信公众号“人民日报评论”，2020年11月25日。
(24)参见《话音刚落，广告就到了 手机App如何“偷听”?》，https://www.sohu.com/a/484733036_11623，2021年8月20日访问；App专项治理工作组：《探秘App“偷听”(一)技术可行性分析》，https://pip.cybersac.cn/jbxt/privacy/detail/20200925104612052739，2021年8月20日访问。
(25)See "White Paper on Artificial Intelligence-A European Approach to Excellence and Trust",https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf，2021年8月20日访问。
(26)参见马秀秀：《报告：六成受访者认为人脸识别有被滥用趋势 倾向出台法规加以规范》，https://baijiahao.baidu.com/s?id=1680514160779485548&wfr=spider&for=pc，2021年8月20日访问。
(27)王玫清、刘苗：《人脸识别第一案二审落锤!涉事动物园被判删除原告指纹等信息》，http://www.infzm.
com/contents/204370，2020年8月10日访问。关于该案的一审判决，参见吴帅帅：《“人脸识别第一案”判了!》，《科技日报》2020年11月30日，第8版。
(28)See "Article 29 Working Party's Guidelines on Automated Individual Decision-making and Profiling for the Purposes of Regulation 2016/679",https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053，2021年8月20日访问。
(29)See Tom Simone,"Europe Limits Government by Algorithm.The US,Not So Much",https://www.wired.com/story/europe-limits-government-algorithm-us-not-much/，2021年8月20日访问。
(30)See "Article 29 Working Party's Guidelines on Automated Individual Decision-making and Profiling for the Purposes of Regulation 2016/679",https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053，2021年8月20日访问。
(31)参见GDPR Art.22：(1)数据主体有权利不受仅依赖自动决策(包括数据画像)所作的、对个人产生法律影响或类似重要影响的决定的制约。(2)以下情形不受前述条款限制：a)为订立或履行数据主体间的或数据主体间与数据控制者的合同所必需；b)经欧盟或数据控制主体所属成员国法律授权所作出的决定；c)基于数据主体明确的同意。(3)基于a)、c)的自动决策，应采取措施保障数据主体的权利、自由与法律利益，包括至少获得人为干预、表达观点及质疑决策的权利。(4)第2款中三项例外不得基于第9条(1)的敏感数据作出，除非获得数据主体明确同意或基于公共利益，并采取适当的措施以保障数据主体的权利、自由与法律利益。
(32)See "Article 29 Working Party's Guidelines on Automated Individual Decision-making and Profiling for the Purposes of Regulation 2016/679",https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053，2021年8月20日访问。
(33)See Margot E.Kaminski,"The Right to Explanation,Explained",Berkeley Technology Law Journal,Vol.34,No.1(Jun.,2018),p.201.
(34)See Meg Leta Jones,"The Right to a Human in the Loop:Political Constructions of Computer Automation and Personhood",Social Studies of Science,Vol.47,No.2(Mar.2017),pp.216-239.
(35)See Sandra Wachter,Brent Mittelstadt & Luciano Floridi,"Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation",International Data Privacy Law,Vol.7,No.2(May,2017).pp.77-78.
(36)Sandra Wachter,Brent Mittelstadt & Luciano Floridi,"Transparent,Explainable,and Accountable AI for Robotics",Science Robotics,Vol.2,No.6(May,2017),https://robotics.sciencemag.org/content/2/6/eaan6080.full，2021年8月20日访问； See Margot E.Kaminski,"The Right to Explanation,Explained",Berkeley Technology Law Journal,Vol.34,No.1(Jun.,2018),pp.209-217.
(37)See "Article 29 Working Party's Guidelines on Automated Individual Decision-making and Profiling for the Purposes of Regulation 2016/679",https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053，2021年8月20日访问。
(38)See "Article 29 Working Party's Guidelines on Automated Individual Decision-making and Profiling for the Purposes of Regulation 2016/679",https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053，2021年8月20日访问。
(39)丁晓东：《论算法的法律规制》，《中国社会科学》2020年第12期，第146-147页。
(40)See Lilian Edwards & Michael Veale,"Slave to the Algorithm:Why a Right to an Explanation Is Probably Not the Remedy You Are Looking for",Duke Law & Technology Review,Vol.16,No.1(2017-2018),pp.55-58; Andrew D.Selbst & Solon Barocas,"The Intuitive Appeal of Explainable Machines",Fordham Law Review,Vol.87,No.3(Dec.,2018),p.1099.
(41)See High-Level Expert Group,"Ethics Guidelines for Trustworthy on Artificial Intelligence",https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai，2021年8月20日访问。
(42)See High-Level Expert Group,"Ethics Guidelines for Trustworthy on Artificial Intelligence",https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai，2021年8月20日访问。
(43)See Lilian Edwards & Michael Veale,"Slave to the Algorithm:Why a Right to an Explanation Is Probably Not the Remedy You Are Looking for",Duke Law & Technology Review,Vol.16,No.1(2017-2018),pp.47-51.
(44)See "Article 29 Working Party's Guidelines on Automated Individual Decision-making and Profiling for the Purposes of Regulation 2016/679",https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053，2021年8月20日访问。
(45)参见许可：《人工智能的算法黑箱与数据正义》，《社会科学报》2018年3月29日，第6版；张欣：《算法解释权与算法治理路径研究》，《中外法学》2019年第6期，第1425页；程莹：《元规制模式下的数据保护与算法规制——以欧盟〈通用数据保护条例〉为研究样本》，《法律科学》2019年第4期，第49页。
(46)"White Paper on AI-A European Approach",https://ainowinstitute.org/ai-now-comments-to-eu-whitepaper-on-ai.pdf，2021年8月20日访问。
(47)See High-Level Expert Group,"Ethics Guidelines for Trustworthy on Artificial Intelligence",https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai，2021年8月20日访问。
(48)David Lehr,Paul Ohm,"Playing with the Data:What Legal Scholars Should Learn About Machine Learning",
University of California Davis Law Review,Vol.51,No.2(Dec.,2017),pp.653-717.
(49)参见唐林垚：《〈个人信息保护法〉语境下“免受算法支配权”的实现路径与内涵辨析》，《湖北社会科学》2021年第3期，第137页。
(50)参见张欣：《算法解释权与算法治理路径研究》，《中外法学》2019年第6期，第1437-1438页。
(51)See Bryce Goodman & Seth Flaxman,"European Union Regulations on Algorithmic Decision-Making and a Right to Explanation",https://arxiv.org/pdf/1606.08813v2.pdf.，2021年8月20日访问。
(52)参见张凌寒：《〈个人信息保护法(草案)〉中的平台算法问责制及其完善》，《经贸法律评论》2021年第1期，第40页；张凌寒：《网络平台监管的算法问责制构建》，《东方法学》2021年第3期，第22-40页。
(53)参见刘宪权：《人工智能时代刑事责任与刑罚体系的重构》，《政治与法律》2018年第3期，第90页。
(54)参见苏宇：《算法规制的谱系》，《中国法学》2020年第3期，第174页；冯珏：《自动驾驶汽车致损的民事侵权责任》，《中国法学》2018年第6期，第124页；唐林垚：《人工智能时代的算法规制：责任分层与义务合规》，《现代法学》2020年第1期，第206页。
(55)参见苏宇：《算法规制的谱系》，《中国法学》2020年第3期，第174页。
(56)See "Ethically Aligned Design-Version II,Committees of the IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems",https://ethicsinaction.ieee.org/#resources，2021年8月20日访问。
(57)See Margot E.Kaminski,"The Right to Explanation,Explained",Berkeley Technology Law Journal,Vol.34,No.1(Jun.,2018),pp.201-205.
(58)See "Ethically Aligned Design-Version II,Committees of the IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems",https://ethicsinaction.ieee.org/#resources，2021年8月20日访问。
(59)See Rafael A.Calvo,Dorian Peters,Stephen Cave,"Advancing Impact Assessment for Intelligent Systems",https://www.nature.com/articles/s42256-020-0151-z，2021年8月20日访问。
(60)参见张欣：《算法解释权与算法治理路径研究》，《中外法学》2019年第6期，第1434页。
(61)参见张欣：《算法影响评估制度的构建机理与中国方案》，《法商研究》2021年第2期，第106页。
(62)"White Paper on AI-A European Approach",https://ainowinstitute.org/ai-now-comments-to-eu-whitepaper-on-ai.pdf，2021年8月20日访问。
(63)"White Paper on Artificial Intelligence-A European Approach to Excellence and Trust",https://www.accessnow.org/cms/assets/uploads/2020/06/EU-white-paper-consultation_Access_Now_June2020.pdf.，2021年8月20日访问。
(64)See Jack M.Balkin,"2016 Sidley Austin Distinguished Lecture on Big Data Law and Policy:The Three Laws of Robotics in the Age of Big Data",Ohio State Law Journal,Vol.78,No.5(Aug.,2017),p.1232.
