张凌寒：商业自动化决策的算法解释权研究
张凌寒摘要: 自动化决策广泛应用，算法的评分、排序决定和影响着相对人贷款、就业、信誉等诸多权益。但当算法作出不利甚至错误决策时，相对人无从知晓原因更遑论改正其错误决策，严重缺乏应有的救济。通过梳理现有法律资源发现，传统制度在自动化决策场景下均不敷适用，无法为相对人提供算法决策的解释。法律应配置独立的算法解释权，用以衡平自动化决策使用者与相对人不对称的权力关系，作为合同制度在人工智能时代的因应性变革。算法解释权的理论正当性亦可在贯彻意思自治原则、矫正信息不对称、分配风险负担等层面得到充分证成。算法解释权的内在构造具有独特的内容要求和双层架构，其具体制度应在兼顾效率和公平的原则下进行设计。
关键词: 算法解释权；自动化决策；意思自治；信息不对称
一、问题的提出：自动化决策广泛应用带来的“算法暴政”
打开购物网站，页面会自动推荐用户感兴趣的商品，打开手机地图，导航功能会自动规划回家的最优路线……这些发生在日常生活的场景，都是算法根据我们在网络世界中留下的浏览历史、上网习惯、购物记录、位置数据等作出的评价和预测。这种算法根据大数据作出的打分、评价和推荐等称为自动化决策，它被广泛用于商业领域以提高客户点击率和交易利润率。人工智能的本质就是算法的自动化决策，正如Cloudera联合创始人兼首席技术官Amr Awadallah所说：“我不喜欢人工智能这个说法，更准确的说法是决策的自动化，我们如何来搜集数据，利用数据进行分析，并尽可能多地让机器做出一部分的决定。”[1]
和人的决策相比，算法的自动化决策具有相对客观、公正、高效等特点，因此其应用逐渐遍布社会生活各个领域。例如，我国某大学使用算法根据消费记录识别学生经济状况，帮助确定贫困生补助发放[2]；银行广泛利用算法来对客户进行信用评估以决定是否发放贷款；美国教育部门使用算法对确定教师聘用合同是否续期；{1}12美国某些法庭中，法官利用算法来对罪犯重复犯罪的风险进行评估[3]。算法的自动化决策甚至通过国家公共部门在社会保障、医疗保健、公职人员监督和司法系统等领域，直接影响着人的各项基本权利。
但是由于历史数据的偏差，设计者嵌入的偏见，或者技术的不完善，算法经常做出错误的、歧视性的自动决策。例如美国航空公司的一位资深驾驶员称，由于机场人脸识别的算法将他与一位爱尔兰共和军领导人混淆，使得他先后80次在机场遭到拘禁[4]。美国一些法院的使用犯罪风险评估算法COMPAS被证明对黑人造成了系统性歧视[5]。有学者指出，私营企业和政府公共部门采用算法和大数据做出的自动决策，使得数百万人无法获得保险、贷款、出租房屋等一系列服务，如同被监禁在“算法监狱”。{2}然而，自动化决策的算法不公开、不接受质询，不提供解释、不进行救济，相对人无从知晓决策的原因，更遑论“改正”的机会，这种情况被学者称为“算法暴政”。{3}
各国均试图解决自动化决策不透明对公民权利的危害，其共识是提高自动化决策算法的透明度，以接受公众监督和质询。例如，美国联邦贸易委员会技术研究和调查办公室进行独立研究，向FTC消费者保护调查员和律师提供有关算法透明度的培训和技术专业知识[6]。我国则针对魏则西事件成立联合调查组，要求百度采用以信誉度为主要权重的排名算法并落实到位，严格限制商业推广信息的比例对其逐条加注醒目标识，并予以风险提示[7]。然而，以上案例表明，提高算法透明度只能作为事先监管的手段，却无法救济已经受到自动化决策损害的人。
现实的迫切需求是，如果算法自动化决策作出了不利于相对人的决定，他们是否有权利知晓这些决定是如何做出的？如果这些决定是错误的或者歧视性的，如何对相对人进行事后有效的救济？欧洲最先做出了重要举措，即将于2018年实施的《欧洲通用数据保护条例》(GDPR)第22条规定：“应该采取适当的保障措施，……保证数据主体获得对此类评估之后达成的决定的解释，并对决定提出质疑。”[8]但也有学者指出，由于相关条文没有法律强制性，且解释内容是系统一般功能，此权利形同虚设。{4}
人工智能时代，自动化决策算法被广泛应用，但法律尚未配置相对人知情、质疑、救济的机制。这种不平衡提出了一系列亟待解决的问题：如何救济被不公正对待的自动决策的相对人？配置给相对人挑战算法决策并提供解释的权利是否具有正当性？这种权利的来源和内在价值是什么？如何构造这种权利，行使的限度和程序又应如何设计？
虽然此文研究的对象名为算法解释权，实则目的在于建立自动化决策相对人的事后救济机制。由于其以赋予自动化决策相对人权利为主要内容，故而以算法解释权为起点展开。自动化决策的算法既在私法领域的商业部门广泛使用，又深度参与了公共部门的决策。然而私法与公法两个领域均有独立的基本原则和运作规则，公共部门的自动化决策涉及到公权力的运行规则，相对人提起解释的权利基础与私法领域并不相同，故此本文将算法解释权的探讨局限于私法领域，即商业自动化决策，为了行文简洁下文均简称为自动化决策。
二、商业自动化决策情况下既有法律资源之不敷
算法解释的目的是使自动化决策的相对人了解对其不利的决定是如何做出的，以便在确有算法歧视和数据错误时提供救济。商业自动化决策下，算法解释可适用的法律资源应先通过梳理既有民商法制度寻找。自动化决策是根据用户与自动化决策使用者订立的合同实施的，当可能发生错误时，相对人可考虑的路径包括要求确认自动化决策的用户协议符合显失公平、欺诈、重大误解条件，也可以考虑适用民事合同相对人的违约请求权，侵权责任中的赔偿请求权，以及在商业场景中消费者的知情权。然而，现有法律资源面对自动化决策场景均有严重不足，适用场景与算法场景差异太大，效果并不符合算法解释问题的初衷，无法起到救济自动化决策的相对人的作用。
(一)合同效力制度不符合算法解释之场景
当自动化决策发生错误时，受到不利决策的相对人可考虑通过合同效力制度来救济。但经过梳理可发现，通过认定合同效力瑕疵无法获得自动化决策解释，其制度效果不符合算法解释的初衷。如2017年5月美国二手房销售网站Zillow被一位房主告上法庭，认为其使用的自动估价算法Zestimates严重低估了其房产价值，造成其二手房几年内无法售出合理价格，给销售造成了严重障碍[9]。相对人的诉求是Zillow能够为其估价提供合理解释，并重新合理评估其房屋价格。然而，这样的相对人的目的并不能通过合同效力制度得到实现。
第一，合同效力制度相悖于算法解释之目的。无论是重大误解、欺诈均为合同意思表示的“错误制度”，即表意人若知其情事即不为意思表示的，表意人可撤销其错误的意思表示。制度目的是为非自愿同意的合同的后果提供救济，回到当事人未缔结契约前的权利状态，而不是对实体不公平本身提供救济。{5}281然而，算法解释的目的是使当事人知情以修正，而非退出合同回到原始权利状态。相对人需要包含自动化决策的这份合同，以获得评估、预测、信贷等服务。
第二，难以认定自动化决策存在意思表示瑕疵。合同效力制度的手段是认定合同的缔结违反意思自治原则，而意思表示瑕疵分析均不适用于自动化决策错误的场景。自动化决策的目的显然不是故意使相对人陷于错误认识，很难从主观上认定自动化决策者意思表示具有欺诈的故意。在重大误解情景下，非出于救济需要，相对人不会主张“若知其情事则不为意思表示”。
(二)违约请求权无力救济自动化决策相对人
那么，相对人是否可以要求自动化决策使用者承担违约责任呢？遗憾的是，民事合同的违约请求权由于制度目的、程序与举证责任等因素，无法救济自动化决策的相对人。例如，淘宝网的用户协议要求用户接受自动化决策对于违约行为、支付风险的判定结果。“淘宝可依据您的用户数据与海量用户数据的关系来认定您是否构成违约：您有义务对您的数据异常现象进行充分举证和合理解释，否则将被认定为违约”、“淘宝会依照您行为的风险程度指示支付宝公司对您的支付宝账户采取取消收款、资金止付等强制措施”[10]。但用户很难通过违约请求权知晓具体算法决策的理由进而获得救济。
首先，违约请求权的制度目的在于依赖公权力保障当事人适当依照合同履行约定。一方面，合同中并未保证决策正确，如支付宝并未在合同中将决策合理正确作为合同义务。另一方面，算法解释的目的在于知晓错误决定是如何做出的，而知晓决策的考量因素和利用数据并非用户协议中明确约定的合同义务，例如支付宝没有提供具体封号、降低信用评分决定的证据的约定义务。
其次，算法自动化决策使用者多为面对海量用户的互联网平台。当用户不服自动化决策时，一般首先要走内部的申诉和处理流程，但其规则和程序完全由互联网企业设定，更不会在做出接受或否定申诉的决定时告知用户实质性的理由。
最后，如果自动化错误决策的相对人起诉至法院，按照民事诉讼的举证责任“谁主张谁举证”，相对人则需要在不知晓自动化决策规则的前提下，证明其决策是错误的。如前文提到的支付宝的用户协议，相对人需要“自证其无罪”。因此在现行算法自动化决策的使用者——网络平台早已形成网络治理的私权力情况下，{6}28以相对人一己之力对抗算法的错误决策基本不可能实现。
(三)不利的自动化决策不满足侵权责任之构成要件
受到不利决策的相对人可考虑主张侵权责任。由于自动化决策并无适用特殊归责原则的情形，因此一般适用于过错责任原则。但此路径受到侵权责任的过错、损害因果关系等构成要件的多重限制。
首先，主观过错难以证明。自动化决策的使用者一般主张算法错误为客观“技术错误”而非主观错误，而以相对人的技术能力证明其使用的算法确实存在嵌入的偏见和数据的滥用极不现实。其次，损害结果隐秘且难以证明。自动化决策的不利结果很多是“拒绝”，如不予提供贷款，不予批准保险等，甚至有时相对人不知道不利决策的存在。机会的丧失很难认定为是相对人人身和财产的损害。最后，决策与损害的因果关系难以证明。算法使用数据进行自动化决策多依据相关性进行预测和评价，而非依据因果关系。侵权行为与损害结果之间的因果关系链条难以成立。
此外，也可思考特殊的侵权责任路径，即向算法开发者主张产品责任。产品责任属于特殊侵权责任，除了上文所述的一般侵权责任的主观过错、损害结果与因果关系的证明困难之外，产品责任的救济路径还面临更多的困境：其一，算法的法律地位是“产品”吗？我国的《产品质量法》对产品的定义为“经过加工、制作，用于销售的产品”[11]。而用于自动化决策的算法并无实体，甚至在知识产权领域尚未明确作为专利保护。其二，产品责任的核心是产品缺陷。错误的自动化决策有可能是算法本身缺陷造成的，也有可能是决策使用的错误数据造成的，而仅有算法本身的缺陷方可主张产品责任。但是，没有具体自动化决策错误的解释，无从了解错误决策的原因。
(四)消费者知情权无法提供真正的算法解释
相对人如主张消费者的知情权，算法的法律定位仍为企业的工具而非商品，并且算法使用者可主张算法属于商业秘密提出抗辩。
其一，商业场景下算法的法律定位仍为企业的“工具”。现行法律尚不认可算法自动决策独立拥有资源配置权力，可直接影响消费者权利。其二，即使算法直接作出决策损害消费者利益，自动化决策的算法使用者都可以商业秘密为抗辩理由拒绝公开决策的内容和理由。即使在支持数据控制着对用户有一定信息披露义务的欧洲，适用于自动化决策的算法访问权限的限制，尚未在欧洲各地法院的判例中得到普遍的明确范围[12]。例如德国数据保护法规定，数据控制者必须在决策的“评估”中向用户通报其所考虑的因素，但不必揭示给予每个因素的精确重量(即在自动化决策过程中使用的版权保护算法)[13]。德国SCHUFA59判决显示，{4}用户没有权力彻底调查自动处理系统(在判例中是信用评分)的准确性，因为基础公式受到商业秘密的保护。
现有法律资源都无法为受自动化决策损害的相对人提供算法解释权提供的救济，而当算法自动化决策相对人受到损害时，提供救济又是切实的利益需要。考虑依据算法的法律定位而配置独立的算法解释权成为必要。
三、新的路径：配置独立的算法解释权
智能革命的出现，对当下的伦理标准、法律规则、社会秩序及公共管理体制带来一场前所未有的危机和挑战。{7}已有的法律秩序面对智能产业的发展显现出严重缺陷，现有人工智能时代的法律制度供给严重不足。愈是在此时越应保持法学研究的冷静与克制，避免草率地以“现象描述”方式创制权利。但当穷尽现有法律制度仍无法为相对人提供合理救济时，即应大胆配置新型权利，以弥补传统权利体系应对人工智能时代技术发展的不足。正如哈贝马斯所言“权利是一种社会构造”，{8}278算法解释权既符合公平正义的价值取向，又符合人工智能时代的需求和特征。
本文的算法解释权指的是，当自动化决策的具体决定对相对人有法律上或者经济上的显著影响时，相对人向算法使用人提出异议，要求提供对具体决策解释，并要求更新数据或更正错误的权利。在商业自动化决策领域探讨算法解释权配置的必要性，无法绕开的问题是，一份基于意思自治而同意参与自动化决策的民事合同，为何要超越合同配置给一方相对人额外的权利？算法解释权配置的目的究竟是什么？
包含同意自动化决策的合同，使得自动化决策者和相对人之间从平等的民事主体关系，转化为权力和支配关系。相对人地位不再平衡，合同制度需要作出因应性调整。创制算法解释权目的为平衡二者之间的不平等，为相对人提供额外制度救济以达成实质平等。此论断可从两个方面获得论证：其一，自动化决策者和相对人的权力维度是财富和市场地位差距的附属物；其二，算法解释权的配置可有效衡平此种差距。另外，算法解释权的确立可为人工智能技术的未来发展预留一定的空间。
(一)自动化决策双方之权力维度
自动化决策使用者与相对人之间存在着巨大的财富、地位、权力差距，合同的形式无法保证平等。算法自动化决策使用者多为面对海量用户的互联网平台，姑且不论垄断型网络企业与普通用户之间的财富差距，仅由于格式化用户协议的存在，双方就确立了权力支配关系。第一，用户协议不是经过协商的合同，提供格式合同的算法自动化决策使用者享有更为充分的话语权和解释权，因此其并非双方自我规制的结果，而是一方独占地单边规制的结果。第二，用户协议的格式合同的条款中，自动化决策使用者通过免责和排除条款将风险分配给相对人。合同出现争议时，格式合同赋予自动化决策使用者强大的能力。如支付宝的用户协议已经要求用户需“自证其清白”，在如此失衡的基础上想依合同实现由自动化决策者提供决策解释显得如同天方夜谭。第三，而格式用户协议中往往包含了对相对人的自我执行，因此也就根本不需要协商。实证研究也显示，相对人完全处于被裁决的弱势地位，并无实质性的交涉，网络平台内自设的申诉调解机制根本无法发挥救济作用。{9}
这种自动化决策使用者与相对人不对称的权力关系，达到了有史以来合同双方地位悬殊的顶峰。在亚当•斯密时代，即英国工业革命期间，小工厂主身兼所有者与经营者于一身，不法奸商至多可以偶尔利用欺诈来骗取对方，合同制度中的意思表示错误制度尚可以应付此类问题。{10}随着贸易的扩大，股份公司兴起但仍以中小型企业为主，斯密的理论逻辑仍然成立。然而，当垄断市场形成，公司巨型化发展，定制化、反复化交易普及，格式合同日益增多后，合同双方不平等加剧，合同法制度被迫作出调整规制格式合同，甚至交由经济法来解决市场主体不再平等，传统手段失灵的问题。如果说垄断市场下，企业与用户的地位仅仅是由于财富和市场地位差距的产物，那么自动化决策使用者与相对人之间还有知识垄断的鸿沟。这种基于财富、市场、知识技术地位带来的合同双方的悬殊地位，需要合同法制度创新予以应对。
(二)配置算法解释权以规制算法权力
算法解释权的配置，是合同制度应对当事人之间地位差距的加剧而做出的调整，这并非是合同法制度第一次因为双方权力差距而做出创新。这些创新的一致之处就在于额外配置权利或义务以使双方地位接近平等，保证意思自治与公平。比如消费者与商家的合同，法律施加给商家明码标价、质量担保、出具收费单据等义务；保险业发展后，面对保险合同双方实际地位的悬殊，合同制度赋予投保人享有有利解释的权利，即当合同需要解释时，偏向有利于弱势投保人的一方。产业革命后，劳资双方力量对比日益加大的情况下，合同制度甚至一定程度上牺牲了意思自治原则，允许劳动者订立集体合同，获得与雇佣者谈判的能力，以衡平双方实质上的地位不平等。而算法解释权的配置，即是在一份看似基于意思自治而缔结的民事合同之外，额外赋予相对人得到算法解释的权利，以对双方悬殊的地位做出纠偏的制度。
算法解释权本质是对自动化决策“算法权力”的规制，用以应对人工智能时代的技术特征。当网络平台基于民事合同进行网络治理的“私权力”已经逐渐被广泛了解和接受时，“算法权力”[14]也应引起关注。算法权力包括控制新闻议程以影响言论自由，决定资格审查批准以影响地位收入，协助评估雇员影响人的工作机会。其以“算法”作为主语则是因为算法逐渐脱离了纯粹的工具性角色，而有了自主性和认知特征，甚至具备了自我学习的能力。故而传统民事责任制度难以适用于算法自动化决策的损害，因为其逻辑基础在于假设任何损害都可归结为人类的行为，进而进行责任的分配。法律逐步承认算法控制下的智能人的法律地位是必然趋势，为其创设新类型，具有自身特性和内涵的权利、义务、责任承担等也是未来法律的发展方向。{11}
算法解释权应对了人工智能时代“算法”角色的转化，并为其未来法律定位发展的可能性预留了空间。当算法的功能较为依赖数据的情况下，责任更加难以从数据流和算法中被识别，只有算法本身才有可能提供合理的解释。以“算法”解释权为名，既强调了解释的对象，也考虑到了算法未来本身可能成为提供解释的主体。
四、算法解释权的理论正当性
算法解释权既是合同法顺应时代的制度创新，又是传统理论顺理成章的发展延续。算法解释权可消弭法律实然权利与应然权利的鸿沟，其理论正当性的证成充分说明，算法解释权并非心血来潮的创制，而具有传统权利的逻辑基础，是对现有的利害关系人权利畸轻的调适，目的是以新制度实现古老平等、自由、正义的目标。
(一)平等：算法解释权是信息不对称的矫正工具
平等的内涵随着时代变迁不断改变，早已从强调自由和人权的政治平等，扩展到强调资源和福利的经济平等，进而到强调机会和能力平等的社会平等。{12}人工智能时代的到来产生了新的不平等，而这种不平等更加隐蔽和严重——知识、信息获得和掌握的不平等。这种不平等甚至会转化为认知的不平等和能力的不平等，对人的权利和地位造成实质性影响。人工智能时代，自动化决策应用虽广泛但知晓算法知识者寥寥。相比商业合同中双方掌握价格、品质信息的不对称，自动化决策事项上的信息不对称堪称“黑箱”。而算法解释可在商业化决策领域促进此种信息获取和掌握上的平等。
信息不对称是现代契约理论中最为重要的部分之一。信息不对称是指这样一种情况，即缔约当事人一方知道而另一方不知道，甚至第三方也无法验证的信息。即使验证，也需要巨大的人力、物力和精力，在经济上是不合算的。{13}396信息的不平等影响意思表示的真实性，一方无法有效作出判断而引发不公平和低效率。故而民商法中许多重要制度都尽力扭转信息劣势一方的地位，以提高其经济地位与缔约能力，保障民商法意思自治、平等保护等精神内核。合同中一系列意思表示影响合同效力的制度，如重大误解、欺诈制度，对格式合同弱势当事人的保护就起到了“信息纠正”功能。{14}法律甚至创制看似偏向一方的制度来纠正信息不对称的地位，如保险法合同中的最大诚信原则与有利解释原则也源于保险合同的高度信息不对称性。{15}
算法解释权是自动化决策中信息不对称的有效纠偏工具，其作用在于使信息从信息优势方向信息劣势方流动，而达到双方衡平。民商法的私法属性不需公权力的强制执行力介入，仅通过制度设计来达到信息披露的目的，因此赋予信息弱势的相对人以算法解释权，使其得知不利自动化决策做出的具体原因，达到对信息不对称事后补救的效果。算法解释权合理性证成可在现行法律寻找类似制度。保险合同中，保险合同具有高度信息不对称性，保险公司需履行主动告知义务，且告知需遵循最大诚信原则。而自动化决策合同中，自动决策的算法完全处于“黑箱”中，仅需依相对人请求而履行告知义务，解释不利决策的原因。根据“举轻以明重”的原则，令信息优势更强者承担算法解释义务具有当然的理论正当性。
从效率角度考量，由自动化决策者承担算法解释的义务也更加节约交易成本。自动化决策者获取不利决策的成本最低，“信号发送”成本与相对人比较更低。在目前没有算法信息披露制度的情况下，此项义务由相对人主动提起，自动化决策者解释是成本最低的。
由此可见，算法解释权的确立是民商法的私法属性和意思自治原则使然。这是基于平等主体假设和意思自治基本原则采用的事后补救措施。与民商法中的其他类似制度相比，算法解释权加诸信息优势地位者的负担甚轻，甚至并非真正意义上的矫正工具，仅聊做补救而已。
(二)自由：算法解释权是意思自治的必然推论
意思自治原则为民事领域保障自由价值的基本原则。它允许民事主体以自己意思设立民事法律行为，对于保障民事主体的自由权利，体现民事主体人格利益的存在，保障个人尊严、社会公平正义至关重要。算法解释权是意思自治原则的应有内涵和必然推论。
当商家需面对大规模的用户时，只能依赖算法的自动化决策进行庞大的平台管理，通过用户协议获得用户对自动化决策的同意成为必然选择。即使用户协议中没有自动化决策的条款，用户接受自动化决策也因实践行为而成为了事实合同。故对算法解释的理论分析首先依合同理论展开。意思表示是合同效力的核心要素，而算法解释是当事人基于意思自治同意用户协议的必然推论。
通过整理知名互联网服务企业的用户协议可发现，其用户协议均包含获取用户对自动化决策知情同意的条款，即提示用户存在自动化决策，并要求用户服从自动化决策的结果[15]。
用户同意的内容应该被合理的告知，任何人都不应该为自己所不了解的事情负有义务，这是意思自治的基本规则。{16}196用户同意的前提必然是知情，即知悉对存在自动化决策和风险的事先解释，换句话说，有了知情才有同意。那么，用户知情同意所需的告知义务是否延伸至事后解释呢？
如果事先解释已经能够提供用户应知的全部合理内容，事后解释殊无必要。然而，合同产生的风险并不能在签订合同的时候被完全地描述和预见。上文中淘宝对自动化决策语焉不详的事先解释，并不能使用户适度的知情。用户知情应包含事先和事后解释，这种安排类似于医疗合同中患者的知情权。自动化决策领域与医疗领域十分相像，算法使用人与医生都具有专业知识，用户和患者一样弱势，而使用网络和参与医疗一样必要。医疗合同中，即使医务人员事先履行了告知义务，并不排除患者在事后的知情权利，即了解自己接受治疗的具体情况。而由于患者很难真正理解医疗程序和风险，医务人员即使事先履行了告知义务，也不等于可以将医疗的风险和责任完全转嫁给患者。回到算法的自动化决策领域，当淘宝使用的算法可以判定用户是否违约，或者直接停止提供支付服务时，用户仅仅在事先知道有自动化决策显然不是真正和适度的知情。尊重用户要求事后解释的权利，应该是企业对于用户告知义务的合理内容。
企业提供详尽的事先解释是否可以排除事后解释的义务呢？回答是否定的。因为任何事先解释都无法完全或者充分地对自动化决策的后果和风险进行描述。即使有，这种事先解释必然文字极多，对用户而言无法理解也与自己不相关。显然，要求患者接受治疗前必须学习医学知识是荒谬的，让用户通过事先解释了解自动化决策，而排除事后解释的义务也是不合理的。
从另一个角度论证，即使用户通过协议的提示预见到了自动化决策错误的风险，这是否可以排除事后解释的权利呢？显然不能。用户意思自治下的“同意”必然包含着用户有理由期望在发生危害和错误时，企业以公正和负责任的态度做出回应，否则将无从基于信赖利益接受用户协议。这种合理要求并不因服务协议中没有提及或排除而消失。与此类似的是，很多互联网企业提供的服务协议均要求用户放弃起诉的权利[16]，如必须仲裁等条款，但用户要求法院裁决合同纠纷的权利并不因此消失。如果没有法院背后的公权力作为公正裁决和履行合同的保障，势必从一开始用户就不敢信任企业并接受用户协议。同样，也是基于这种基本的信赖用户才可能同意接受自动化决策。
由上得出结论，赋予用户要求自动化决策使用者事后解释的权利，是用户基于意思自治同意用户协议的应有之义。事后的算法解释，是合同意思自治必然衍生的权利，而且不可被事先解释所替代。
(三)正义：算法解释权是合同风险的合理分配
葛德文说：“正义的原则，引用一句名言来说，就是一视同仁。”{17}在本文语境下，正义在于公平合理地分配自动化决策带来的风险。拉伦茨指出：“合同中的均衡与公平原则是民法的精神基础……在双务合同中，给付与对待给付至少必须具有相近的价值，还关系到如何公平地分配那些与合同相关的风险和负担问题。”{18}现实状况是，自动化决策根据作出影响用户合同权利的决定，用户只有接受的义务并承担全部自动化决策带来的风险，双方给付与风险负担完全不对等。算法解释权能够有效地促使企业和用户之间的权利义务、以及基于自动化决策产生的风险负担趋于平等。
自动化决策是一种独特的“知识和无知的结合”，其带来的损害符合风险多样性、突发性和随机性的特点，是人工智能技术发展必然伴随的风险。{19}自动化决策的算法一旦发生错误，会给整个社会运行带来巨大风险。2010年由于算法的错误，美国股市道琼斯指数下跌达998.5点，一万亿美元财富蒸发[17]。然而，现状是由相对人承担全部风险：接受结果(无论对错)并自己提供数据推翻决策。决策错误可能由两个原因造成：其一是使用的数据错误，其二为算法本身的错误。而算法解释对此种错误造成的风险均可充分消解。如果为算法决策的数据错误，可通过对算法决策的解释发现自动化决策作出的依据，从而让用户获得更新数据获得重新决策的机会，避免错误数据被多个算法反复使用。如果为算法本身的错误，如算法本身有歧视因素(如性别歧视或种族歧视)，则可通过算法解释充分避免在全社会带来更大范围的风险。
通过算法解释权将风险再分配给算法的开发者或使用者是基于以下考量：其一，算法的开发和使用者具有风险分散的能力。相对人的力量过于弱小，把风险分配给技术力量更为强大的算法开发者和使用者，可诱导可控制风险之人尽可能初期就降低风险避免损害发生。其二，自动化决策事实上的强制性。相对人提供数据接受自动化决策，看似基于私法的用户协议，但由于互联网行业垄断态势决定相对人无法“用脚投票”拒绝用户协议。如果拒绝则意味着无法获得贷款、租房、就业机会，自主隔绝于社会生活，因而具有事实上的强制性。虽然欧盟有法律提出相对人应享有“拒绝接受数字化决策，要求人为干预”的权利，但其仍停留在学理讨论阶段。{20}其三，保护相对人的信赖利益是算法开发者和使用者承担算法解释责任的基础。合理信赖之保护的不断加强为法律现代化进程中的主线之一。{21}受害人基于信赖利益委托算法使用个人数据进行自动化决策。法律这样分配风险有助于形成人对算法自动化决策的基本信任，而工业的发展、科技的研发等都需要一种信任模式的建立和良性运作。{22}
反对算法解释权可能源自担忧其限制技术创新降低社会效率。然而，算法解释权并非为了公平而牺牲效率的选择。效率价值可以体现在责任认定的具体规则上，或通过责任限额制度、保险制度与责任基金制度来分担责任，以防科技企业损失巨大无以为继。现在无可用法律资源对受害人进行救济，这种受害人完全无助的境地显然是违背基本公平正义理念的，是法律所应避免的。
基于以上讨论，人工智能发展迅猛而法律未及应对，商业自动化决策合同双方权力差距较一般的格式合同更为恶化，为衡平双方地位应配置独立的算法解释权。算法解释权是意思自治原则的必然推论，是合同信息不对称的矫正工具，也是对合同风险的合理分配。此番探讨引来下一个问题，如何设置算法解释权的内在构造与具体制度，以实现公平与效率的兼顾呢？
五、算法解释权的内在构造
如果说前文是算法解释权理论正当性和实践效用性的论证，本部分则是对具体制度设计的构想。算法解释权的确立满足了自动化决策领域基本的公平正义，此部分制度的设计则体现了对相关科技发展、效率等社会利益的考量。算法解释权的目的在于披露信息与提供救济，决定了算法解释权只能由具体决策的相对人在事后提起。算法解释权的内在构造从权利主体、解释标准、解释权内容层次三个方面展开。
(一)算法解释权的权利主体：自动化决策使用者与相对人
算法解释权的主体应为认为受到自动化决策不利决策的相对人，如经过算法评估不被雇佣的候选人，自动化信用评分体系拒绝批准贷款的相对人等。负有义务者为自动化决策的使用者，包括根据合同自动化决策的使用者如网络平台、保险公司、银行等，也包括使用自动化决策决定涉及资格、权利等事项的企业，如决策获得教育入学资格、雇佣合同续约资格等公司。需要指出的是，当算法的使用者无法提供解释时(如由于技术能力的限制)，算法的开发者有义务进行协助，以为相对人提供具体决策的解释。
(二)算法解释权的解释标准：相关性与可理解性
那么，算法解释权的解释内容标准如何？对解释内容的顾虑主要在于，提供的解释是否应包括技术细节，答案显然是否定的。解释包括技术细节既有害商业秘密之保护，又使相对人不能理解而无实际意义。技术上的可解释性如随机扰动技术、{23}不变形分析、可视化和维度降低，{24}并非法律上的可解释性之“有法律意义的信息”。如同患者对医生提出知情的具体要求并不等同于要知晓每一个具体的医疗事实一样。算法解释权不应以纯粹的技术知识作为解释的内容，不仅由于商业秘密和技术难度，也由于披露一切科技细节并不会有助于相对人得到救济，或增强对自动化决策使用者的信赖。出于救济的目的，解释的内容应符合两个标准：第一，具有相关性，即必须与相对人所受的具体自动化决策相关；第二，相对人能够理解。最终目的是证实自动化决策可资信赖在此原则上，除了可理解性和相关性，应针对不同的自动化决策内容制定不同的解释标准，而非“一刀切”，涉及人的权利越加基本和重要，则解释内容的标准应该越高。
(三)算法解释权的双层结构：具体解释与更新解释
算法解释权具体内容应包括两个层次。第一层次为事后的具体解释，第二层次为事后更新解释。此外，还应对自动化决策者拒不提供解释或没有提供相对人满意的解释提供进一步协商和救济的选择。以上层次应为层层推进的关系，上一层次的解释完备后即排除下一层次的解释权利，以最大程度节约资源提高效率，减轻自动化决策使用人的负担。
1.事后的具体解释
第一层次为事后的具体解释。这一层次使相对人了解具体决策的规则和因素，既可以排查具体决策适用的规则是否包含有歧视性、非法性问题，又可以让相对人知晓具体不利决策做出的原因。在符合相关性和可理解性标准的前提下包括两个层面：其一，解释与具体决策相关的系统功能，例如自动该决策系统的逻辑、意义、算法设定的目的和一般功能，包括但不限于系统的需求规范、决策树、预定义模型、标准和分类结构等。其二，解释具体决策的理由、原因、产生决策结果的个人数据，例如每种指标的功能权重、机器定义的特定案例决策规则、起参考辅助作用的信息等。{24}
举例而言，银行使用公民数据(如纳税记录、收入记录等)对用户进行信用评级决定是否发放信贷，用户可以申请信贷公司或算法提供者解释算法的功能和通用的逻辑(比如参与决策的数据类型和特征，以及决策树的类别)，算法的目的和意义(进行信用评分以发放贷款)，设想的后果(可能影响信用记录、影响利率)。在第二个层面，用户可以要求解释具体决定的逻辑和个人数据的权重，例如用户的信用评分结果参考了哪些数据以及这些数据在决策树或者模型中的权重。第一个层次的信息类似行政复议中对行政决定的合法性审查，通过对算法的决策基本情况的了解，用户有权知晓算法是否合法，是否包含有歧视因素等等。而第二个层面的审查类似行政复议中对行政决定的合理性审查，即每个数据在评分中所占的比重是否合理。否则，如果一个人被互联网信贷公司拒绝，他被告知，算法充分考虑了他的信用记录、年龄和邮政编码，但此人仍然不清楚每种因素所占比重和哪个因素导致自己被拒绝，解释权便形同虚设。
2.事后的更新解释
相对人在知晓有关不利决策的原因后，有两种选择：其一为发现不利决策是由算法错误引起的，可以要求算法使用人对自动化决策进行修正；其二为发现不利决策是由于使用的数据造成的，要么可以更新数据(提供正确或删除错误数据)要求重新自动决策，要么可提出退出自动决策。
第一种情况下，如果相对人发现不利决策是由算法引起的，如求职被拒者发现算法歧视年轻女性，则可以要求算法使用人更新自动化决策的算法。以事后救济为目的的算法解释权，必然包含了使权利状态回复公平正义的事后更新的请求权。第二种情况下，算法是根据历史数据做出的，如果相对人发现算法使用的历史数据错误，应有权提供正确数据，
或消除错误数据的不利影响，要求重新作出决策，或者退出自动化决策。如前文房主起诉Zillow自动估价算法低估房产价值，如果发现由于错误数据造成，用户可以要求更新正确数据。如果此番解释仍不能使估价回归常态，用户有权要求退出自动估价的决策。应特别注意的是，这种退出自动化决策的权利应在前两个层次的解释权都无法解决的情况下方可适用。但此种退出决策的否决权十分必要，在相对人遭受不公又无法解决时，应赋予其不受自动化决策的权利。类似的情况是，当病人在了解摘除肿瘤或器官移植等医疗手术风险后，决定接受医生的手术，但并不意味着病人一定有义务完成手术，即手术中病人仍可使用否决权要求终止手术。
算法解释权内部的配置和内在构造属于基本的制度设计，应设有开放空间，给未来具有智能性的算法预留以一定程度法律地位的可能性。考虑到现阶段为相对人提供救济的必要性和紧迫性，应同时考虑权利实施中的具体规则，使此种权利能够尽快落地，实现从权利到利益的转化。算法解释权的具体制度应同时考虑效率与正义，其行使限制、程序等问题由于篇幅所限将另撰文详述。
六、结论：实现人工智能时代个案中的公平正义
算法的治理是人工智能时代的重大法律问题，可同时考虑设置事前的风险防范机制和事后的问责制。现有思考多为事先机制，即提高算法透明度，设置机器伦理制度，让算法接受公众和专家机构的质询和评估。然而涉及到事后监管的算法问责制时，复杂的智能和自主技术系统的法律地位问题与更广泛的法律问题交织在了一起。算法的问责制更能够确保有效地为造成的损害分配法律责任，对一个个具体受到自动化不利决策的个体来说，算法问责制可以彰显个案中的公平和正义。
算法问责制应是一个由多种权利构成的权利束，而事后的算法解释权是最为核心和必要的一支。本文就是为了应对自动化决策广泛应用，化解相对人权利无从救济的困境，对算法解释权的正当性从私法领域进行了理论证成。在穷尽现有法律资源仍无法实现救济功能的情况下，算法解释权作为人工智能时代风险分配的方式和对算法权力的规制，具有不可替代的实践效用性。这样的算法解释权的内在构造具有独特的内容要求和双层架构，具体制度应在兼顾效率和公平的原则下进行设计。人工智能和算法的知识具有较强的专业技术性，且在短期内无法广泛普及。我国互联网法院的设立开创世界互联网司法先河，对于未来算法解释权相关纠纷的解决进行探索，可考虑设立专门的算法技术机构予以协助，使算法解释权从制度设计到具体实施得以完善。
注释：
[1]参见《Cloudera联合创始人：AI还在决策自动化阶段》，《第一财经日报》2017年11月14日。
[2]据报道，中科大采用算法，根据学生的消费频率、消费金额来识别贫困生并进行隐形资助。而未曾在学校食堂经常用餐却消费很低的学生也由算法判断不符合资助标准。参见《暖心！这所大学竟用这种方式，偷偷资助“不舍得吃饭”的学生…》2017年7月10日报道。 http://www.sohu.com/a/157397381_252526，2017年8月20日访问。
[3]Northpoint公司开发的犯罪风险评估算法COMPAS对犯罪人的再犯风险进行评估，并得出一个再犯风险分数，法官可以据此决定犯罪人所遭受的刑罚。参见Brennan T, Dieterich W, Ehret B. Evaluating the Predictive Validity of the Compas Risk and Needs Assessment System. Criminal Justice & Behavior An International Journal, 2009，36(1):21-40.
[4]参见搜狐网：《应建立第三方机构以管控作出糟糕决定的人工智能》，http://www.sohu.com/a/125322861_465915，2017年8月21日访问。
[5]非盈利组织ProPublica研究发现，Northpoint公司开发的犯罪风险评估算法COMPAS系统性地歧视了黑人，白人更多被错误地评估为具有低犯罪风险，而黑人被错误地评估为具有高犯罪风险的几率两倍于白人。Kirchner, Julia Angwin Surya Mattu, Jeff Larson, Lauren.2016.‘Machine Bias: There’s Software Used Across the Country to Predict Future Criminals. And It’s Biased Against Blacks.’ProPublica.https://www.propublica.org/article/machine - bias - risk - assessments - in - criminal - sentencing, 2017年11月1日访问。
[6]John Frank Weaver: Artificial Intelligence Owes You an Explanation: When an A. I.does something, you should be able to ask, “Why?” http://www.slate.com/articles/technology/future _ tense/2017/05/why _ artificial_intelligences_should_ have_ to_ explain_their_actions.html, 2017年12月20日访问。
[7]2016年4月12日，西安电子科技大学21岁学生魏则西因滑膜肉瘤，在百度上搜索出武警北京第二医院的生物免疫疗法，随后在该医院治疗后致病情耽误病逝，2016年5月2日，国家网信办会同国家工商总局、国家卫生计生委成立联合调查组进驻百度公司进行调查并依法处理。参见：《国信办联合调查组结果：百度竞价排名影响魏则西选择百度：从6方面整改》2016-05-09，http://www.guancha.cn/economy/2016_05_09_359617.shtml ，2017年8月20日访问。
[8]《欧洲通用数据保护条例》(GDPR)中在第71条明确提出了解释权，表述为被自动决策的人应该具有适当的保护，具体应包括数据主体的特别信息和获得人类干预，表达自己的观点，并且有权获得该评估决定的解释，并对决定提出质疑。
[9]See: Cook County homeowner sues Zillow for low ＇Zestimate＇，http://www.chicagotribune.com/classified/realestate/ct - re -0514- kenneth - harney -20170510- column.html, 2017年12月3日访问。
[10]参见《淘宝平台服务协议全文》6.1-6.2，http://b2b.toocle.com/detail --6361764.html, 2017年11月23日访问。
[11]《中华人民共和国产品质量法》第2条第2款。
[12]“for instance, debate in the UK House of Lords concerning the meaning of‘logic involved’and‘trade secrets’in the 1998 Data Protection Act: Grand Committee on the Data Protection Bill, ‘Official Report of the Grand Committee on the Data Protection Bill 〔HL〕”(Hansard, 23 February 1998)’(UK Parliament - House of Lords 1998)＜ http://hansard.millbanksystems.com/grand_committee_report/1998/feb/23/official- report - of - the - grand - committee#S5LV0586P0_19980223_GCR_1＞.2017年8月2日访问。
[13]Douwe Korff, ‘New Challenges to Data Protection Study-Country Report:United Kingdom’(European Commission DG Justice, Freedom and Security 2010)48＜ http://papers.ssrn.com/sol3/papers.cfm? abstract_id =1638938＞.2017年7月15日访问。
[14]参见Diakopoulos N. Algorithmic accountability: Journalistic investigation of computational power structures. Digital Journalism, 2015，3(3):398-415.此文中作者也提出了“algorithm power”算法权力的概念。
[15]参见新浪微博用户协议：“用户知悉并同意，微博平台有权根据技术规则通过检测验证等方式判断用户帐号所发布的信息是否为垃圾信息，并采取相关措施予以处理。” https://weibo.com/signup/v5/protocol/，以及文中提到的淘宝与支付宝的用户协议。
[16]参见《用户条款和法律文书，藏污纳垢之严重令人震惊》。其中揭示了很多知名网络平台利用用户协议躲避官司的行为。https://news.cnblogs.com/n/578564/Equifax, 2017年12月6日访问。
[17]2010年5月6日早10点美国股市大跌2.5%，后到东部时间下午2点42分，股市剧烈波动后进入自由落体状态，创下了有史以来单日最大跌幅。紧接着一分钟之内又暴涨了300点。由于堪萨斯城的一位经理人的算法过快出售掉了价值40亿美元的股指期货，导致其他算法跟风。参见〔美〕斯坦纳：《算法帝国》，李筱莹译，人民邮电出版社2014版，第2页。
参考文献：
{1}O＇Neil C: Weapons of math destruction: How big data increases inequality and threatens democracy〔M〕. Broadway Books, 2017.
{2}Davidow, B: Welcome to Algorithmic Prison - the Use of Big Data to Profile Citizens Is Subtly, Silently Constraining Freedom.〔J〕. The Atlantic, 2014，20(2):12-17.
{3}Lepri B, Staiano J, Sangokoya D: The Tyranny of Data?
The Bright and Dark Sides of Data - Driven Decision - Making for Social Good〔M〕. Transparent Data Mining for Big and Small Data. Springer International Publishing, 2017.
{4}Wachter S, Mittelstadt B, Floridi L. Why a right to explanation of automated decision - making does not exist in the general data protection regulation〔J〕. International Data Privacy Law, 2017，7(2):76-99.
{5}〔英〕休•柯林斯.规制合同〔M〕.郭小丽，译.北京：中国人民大学出版社，2014.
{6}周辉.变革与选择：私权力视角下的网络治理〔M〕.北京：北京大学出版社，2016.
{7}吴汉东.人工智能时代的制度安排与法律规制〔J〕.法律科学-西北政法大学学报，2017，35(5):128-136.
{8}〔德〕哈贝马斯.在事实与规范之间：关于法律和民主法治国的商谈理论〔M〕，童世骏，译.北京：生活•读书•新知三联书店，2003.
{9}胡平仁，杨夏女.以交涉为核心的纠纷解决过程——基于法律接受的法社会学分析〔J〕.湘潭大学学报(哲学社会科学版)，2010，34(1):24-30.
{10}邢会强.信息不对称的法律规制〔J〕.法制与社会发展，2013，19(2):112-119.
{11}〔美〕佩德罗•多明戈斯.终极算法：机器学习和人工智能如何重塑世界〔M〕.黄芳萍，译.北京：中信集团出版社，2017.
{12}俞可平.重新思考平等、公平和正义〔J〕.学术月刊，2017，49(4):5-14.
{13}张维迎.博弈论与信息经济学〔M〕.上海：三联书店，2012.
{14}刘大洪，廖建求，刘建新.消费信息不对称的法律规制〔J〕.法学论坛，2003，18(4):61-66.
{15}唐清泉.信息不对称下的激励与监控的模型分析〔J〕.中山大学学报(社会科学版)，2001，41(2):119-125.
{16}董安生.民事法律行为〔M〕.北京：中国人民大学出版社，2002.
{17}〔英〕威廉•葛德文.政治正义论(第1卷)〔M〕.何慕李，译.北京：商务印书馆，1982.
{18}〔德〕卡尔•拉伦茨.德国民法通论(上册)〔M〕.王晓晔，译.北京：法律出版社，2003.
{19}杜仪方.风险领域中的国家责任——以日本预防接种事件为例证〔M〕//.姜明安.行政法论丛(第14卷)，北京：法律出版社，2011:455-471.
{20}Goodman B W. A step towards accountable algorithms? algorithmic discrimination and the european union general data protection〔M〕//.29th Conference on Neural Information Processing Systems (NIPS 2016)，Barcelona. NIPS Foundation.2016.
{21}马新彦.信赖与信赖利益考〔J〕.法律科学，2000，(3):75-84.
{22}龙卫球.我国智能制造的法律挑战与基本对策研究〔J〕.法学评论，2016，34(06):1-13.
{23}Zeiler M D, Fergus R. Visualizing and understanding convolutional networks〔M〕//. European conference on computer vision. Springer, Cham, 2014:818-833.
{24}Mahendran A, Vedaldi A. Understanding deep image representations by inverting them〔M〕//. Proceedings of the IEEE conference on computer vision and pattern recognition.2015:5188-5196.
作者简介：张凌寒，法学博士，东北师范大学政法学院副教授。
文章来源：《法律科学》2018年第3期。
