陈悦：论自动化行政中算法决策风险的“人在回路”治理模式

    摘要：现阶段，针对自动化行政中的算法决策风险，采行的是一种“计算中立”的算法治理模式。该模式肯定算法决策技术的应用价值，并通过提升算法透明度、确保公民可解释权的方式应对正当程序挑战。但以欧盟为代表的部分国家认为不能完全信任和依赖算法决策，并提出全新的“人在回路”治理模式。该模式通过在算法回路中引入有意义的人类监督，力图在公共行政中寻回人的自主性，以人类价值判断应对更高层面的算法决策风险。不过，“人在回路”模式是自动化行政中算法决策风险治理的补充式发展，并非是对“计算中立”模式的替代，亦有其适用限制。
    关键词：人在回路；自动化行政；算法决策；人类判断
    一、问题的提出
    算法决策技术应用于公共行政带来了两种法律风险：算法黑箱与算法偏见。黑箱的隐喻表达了公众对算法不透明的担忧，当决策结果的制定过程是不可见的，必然附随公权力侵益的可能性，特别是算法黑箱所遮蔽的歧视、不平等问题。面对自动化行政的技术风险与法治挑战，目前主要采用了一种“计算中立”（Computation Neutrality）的治理模式。该模式源起于弱人工智能阶段，算法应用推进了行政效率、公平性与合法性，但附随对正当程序原则的挑战。从规范理念上，“计算中立”肯定和相信算法决策的技术价值，同时强调可预测性、透明性、公众参与的法治理念。在基本方法上，围绕“算法可解释性”问题，强化说明理由义务，最低限度地保障公民的陈述申辩机会，以此化解算法决策风险。 随着强人工智能时代的到来，人工智能的演化发展让行政机关无法在公开场合或法庭上解释这些系统，这些被软件代码化的专业知识，是行政官员没有学过的语言。而且，即使知道算法是如何推演的，也并不意味着结论是合法的，以推进算法可解释性为核心的“计算中立”模式开始势弱。
    在此基础上，部分学者另辟蹊径，展开了一场关于“感知合法性”的实证调研——在行政决策中，公众更愿意相信算法决策还是人类判断？研究表明，虽然自动化决策技术有很多优点，但公民更倾向于信赖人类判断，而非算法决策。伯克利（Berkeley）等人发现，当人们没有看到算法出错时，他们会更愿意使用算法；而一旦算法出错，对算法的信任度瞬间降低。即使算法的出错率远远低于人类，哪怕算法决策犯的是和人类法官一样的错误，民众却更愿意包容人类法官而非算法。更重要的是，算法决策结果或许是最道德的，却未必是最容易被接受的。在无人驾驶汽车的道德算法实验中，算法最优解是尽可能地减少伤亡，而模拟结果却是汽车可能会选择杀死乘客以确保更大的公共安全。这一点恰恰是民众不愿选择自动驾驶汽车的重要原因。在机器道德实验中，虽然不断模拟和引导科技伦理与人类价值趋同，并尝试将人类的价值理念转化成定量的准则。但事实上，很多时候连人类自己都难以公正地评断复杂的现实。“这些准则很少认识到人类在道德领域会经历内心冲突、人际分歧和文化差异”，机器更加无法理解和表达这种复杂性。
    前述研究成果指明了问题的方向：算法决策不是绝对正确的，解释算法无法回应决策结果的可接受性问题。因而，近年来，以欧盟为代表的国家转变思路，强调不可过度信赖算法，禁止仅以自动化方式作出对个人权益产生影响的决定，并对算法决策进行人类监督和控制，确保行政决定符合人类价值判断，即一种全新的算法治理模式——“人在回路”（Human in the Loop）。
    然而，一种新模式的探索与应用，应有其必要的价值与可行性。在研究思路上需依次回答以下三个问题：第一，什么是“人在回路”治理模式？它与已有算法治理模式有什么区别？第二，“人在回路”模式是如何治理自动化行政中的算法决策风险的？第三，在公共行政中应用算法决策技术并弱化人类决策，在一定程度上是为了预防人为不确定性因素的负面影响，以提升行政执法的确定性。如今反而再次要求人工干预行政决策，是否存在技术上的悖论？如何善用“人在回路”治理模式？
    二、“人在回路”治理模式的技术内涵
    （一）“人在回路”的概念界定
    “人在回路”治理模式最早应用于致命性自主武器系统。自主武器可以在长时间无任何形式的外部控制下运行，并在限制范围内自行选择和决定自身行为。因此，一旦武器的自动化系统失控，将对人类安全造成巨大威胁。2015年，国际人工智能联合会议(IJCAI)开幕式上宣读了一封关于《自主武器：AI和机器人研究人员的公开信》，信中指出：“在军事领域进行人工智能军备竞赛是一个坏主意，应该禁止使用缺乏人类有意义控制的进攻性自主武器”。此外，“人在回路”同样被应用于无人驾驶汽车的风险防控中。无人驾驶汽车的实践模拟存在一个关键问题，驾驶时可能发生各种各样的意外，要训练一个能够应对各种情况的机器学习系统，是非常困难的。因此，无人驾驶汽车领域开发了一种“远程辅助”（Remote Assist）方法，“当一辆自动驾驶汽车遇到未知情况时，它可以向人工呼叫中心寻求帮助”，即始终保持人在算法回路中，解决机器无法决策的现实问题。
    从实践应用中可以概况总结，所谓“人在回路”是指人存在于算法回路中。但这里又可以作进一步地细分解释：第一，所谓“回路”，是一种动态的算法决策过程，其范围可大可小。广义上，算法决策的起点可以追寻至人类对系统的设计、训练数据的选择和输入，其终点可以到人类执行完毕。在这样一个广义范围的回路中，根本不存在全自动化决策，因为人无处不在。狭义层面，“回路”可以被界定为某个个案决策过程，“回路中的人”是指“与算法共同参与单个特定决策的个人”。这里，“回路”应该是一种狭义层面的定义。
    第二，人存在于回路的形式众多，其中可能是完成某项辅助工作，例如由行政人员在自动化决策结果文书上盖上公章，即“橡皮图章”（Rubber-stamping），但这并不构成“人在回路”的定义。所谓“人在回路”，不是简单指人存在于算法决策回路中，人类的存在必须是有意义的，且会对决策结果产生实质性的影响，表现为一种“有意义的人类控制”。
    性质上，“人在回路”治理模式建构的是一种人机交互式的混合系统，亦属于半自动化系统。混合系统与早期半自动化系统不同，后者是自动化决策的初始样态，通过在人类主导的事务中添加辅助性算法工具，形成一种人与机器共存的半自动化决策系统。混合系统产生的前提则是在机器逐渐替代人的部分甚至全部工作，并计划在未来形成全自动化系统的背景下。为预防算法决策风险，混合决策希冀“在决策环境中，引入人类对基于人工智能或算法的工作流程的监督”。亦即在算法决策占据主导地位的大环境下，重拾人类作用，推动人机交互、协同发展。而“人在回路”治理模式所要探寻的正是人在算法决策中可行的作用程度。
    （二）“人在回路”的规范理念：以人为本
    早期“计算中立”模式表现出人类对算法决定其权益的信任，但考虑到黑箱问题，通过提高算法透明性以增强算法决策的可信度。但可以想见，21世纪的技术发展将带来“对世界上可观察到的现象进行更多量化（更多数据）”以及“利用新技术和新方法进行更准确的模式识别（更好的推理）”，并最终迎来“法律奇点”——法律的不确定性被消除，事实一旦被认定，就会映射出明确的法律结果，法律在功能上是完整的。在“法律奇点”之下，机器在大量数据基础和推理方法的学习改进下，直至消除人类作为中介的必要性，并最终实现全自动化。不可否认，在未来，当人工智能在深度学习的发展过程中变得比人类更有能力，将可能迎来“智能爆炸”，导致一种超越人类思想、感觉和行动界限的“超级智能”出现。此时，人工智能可能会挣脱人类主体的控制，进而造成对人的侵害。而“人在回路”正是在这一长远视角上提出的算法治理模式。
    “人在回路”模式的治理理念源自于对人的保护，是一种“以人为本”的自动化追求。该模式认为，“全自动化的风险在于，基于固定决策树路径的算法编码缺乏适应性伦理知识，无法考虑人类的动态选择和表达”。特别是不确定性法律概念的数字转化，代码难以真实传达人类复杂的情感。一旦算法决策缺乏人类价值的引导，就可能造成对行政相对人的不当侵益，因此，寻回人的自主性，将人类价值判断保留在决策中才是维护人权的必要条件之一。
    此外，“人在回路”模式致力于最大限度地降低“判断力萎缩”（Judgemental Atrophy），避免将权力下放给算法的风险。全自动化行政所输出的价值理念往往是单一的，很难体现和承载必要的人类价值。只有在算法回路中吸纳人类判断元素，丰富决策考量因素，才能得出更为贴近人类发展需求的决策结果。换言之，“人在回路”并非强调任何人类判断与机器判断的高低之分，而是谋求一种人机交互的新配置模式，其试图确保人类判断流入决策过程，并始终提供一个为了人类价值而斗争的场所。
    （三）“人在回路”的技术工具：人工干预
    在算法回路中，常见人的存在，却不必然构成“人在回路”系统，“人在回路”模式有其特定的技术工具要求。首先，“人在回路”中“人类存在”体现的是一种人类监督。Brennan-Marquez和Henderson指出，民主决策的核心价值在于角色可逆，其认为，只有负责决策的人同样会受到其决策的影响，才能提高决策者对决策结果的谨慎。该理论类似分蛋糕的例子，公平的分配蛋糕需要吃蛋糕的人共同参与到蛋糕切分中，当分蛋糕的人的利益会受到自己的切分行为影响时，他才会更加地谨慎与公平。以此而言，机器不是人类，它即使是绝对的裁判中立者，却也少了对被决策对象的同理心，因此可能带来对相对人的非正义裁判。反之，只要机器不能内化决策结果，就需要接受人类监督。
    其次，在“人在回路”模式下，强调的是一种有意义的人类监督（Meaningful Human Control）。所谓“有意义的人类监督”，要求在决策过程中不过度依赖算法，“在需要的时候，回路中的人类应该拥有自主权来覆盖或中断人工智能系统；并且在与人工智能系统交互时，还应该具有行使人类判断的能力（技能）”。这种权利能力被称为“人工干预”（Human Intervention）。
    最后，人工干预有两个主要功能：第一，人类可以识别自动化系统的错误行为，并采取纠正措施。例如武器化无人机上的计算机视觉系统可能错误地将平民视为战斗人员，而人类操作员可以确保这种情况被识别出来。当然，这种“错误”也可以被理解成“短路”，即机器对未模拟过的情形不知如何决策，此时，“保持‘人在回路’可以确保人的判断始终能够在需要时补充自动化”。第二，人类的参与可以为系统不端行为提供一个负责任的实体。从相对人的角度，全自动化系统对相对人的伤害，使其越来越抗拒自动化决策的结果并产生不信任感。就目前而言，也并不存在有效地惩罚算法的方法，人类的参与可以令相对人信服，现阶段存在某种机制去降低自动化决策的错误率。
    三、自动化行政中“人在回路”模式的治理逻辑
    从公共行政到自动化行政，形式上从人类决策转变为算法决策，本质上依然是行政权的运作。“公法旨在追求和确保政府行为的合法性”，是故，若要在自动化行政中采行“人在回路”治理模式，需阐明该模式是如何化解算法决策的合法性风险的。
    （一）独立算法决策的固有风险：决策结果不可能绝对合法
    人类决策造成合法性缺失通常受到两种因素限制：第一，人无法理性地执行法律；第二，人无法理性地作出判断。前者受各类环境因素影响，使决策者无法践行法律面前人人平等的基本要求，造成许多非公平性的结果；后者则是基于人类的有限理性，无法全面、科学地作出判断。因而，学者们开始尝试将合法性期待寄望于算法决策技术，并将其视为有效制约行政权的重要工具之一。算法决策在自动化行政中体现为专家系统与机器学习两种技术样态。前者依赖于“如果-那么”（IFTTT，if this then that）系统，利用那些由专家提供的知识和经验转化而成的代码，对个案情况进行判断推导，得出既定的答案。后者则依赖于ALI（Artificial Legal Intelligence) 人工法律智能系统，以数据统计分析和归纳推理为基础，致力于推进理性裁量。
    1.专家系统的问题
    专家系统是解决法律问题的智能助手，可以使行政人员有效缩减在复杂手续上浪费的时间，预留更多的精力关注和服务民众需求。而且，能够确保行政完全依法律而为，阻断裁量中的人为错误，使法律得到一致地执行。然而，专家系统依然无法实现真正的行政合法性。
    首先，专家系统需要面对法律的固有问题——法的不完备性。理论上，只要代码保持正确，算法决策的运算结果就能合法。但这要求对应法律条文的代码不带有任何偏见或歧视，是一种近乎完美的算法程序。而事实上不可能。在算法决策中，即使代码可以完全对应所有法律条文，也不可能绝对正确。现代法治国家从不存在完备的法律，代码绝对正确的前提并不存在，因而算法决策结果的合法性亦无法保证。其次，专家系统希望通过代码替代法律文字，运用算法进行逻辑推演的思路，存在一个无解的技术困境——“自动化系统中使用的代码和算法与行政法中对成文法解释和理性决策的期望之间的脱节可能难以完全消除”。语言是多义的，代码是单一的，代码无法真正诠释语言。例如，“公平”“正义”等包含价值判断的词语，不可能简化成几行代码。而强行转化成代码的做法，反而会制约公共行政的灵活性，影响案件结果的公正。更深层次而言，专家系统可实现的法治状态，只是一种合乎规律、规则的决策运算，一种忽略了个案因素与个案正义的形式法治。这导致了该技术样态下的自动化行政只具备合法律性，而非合法性。这种法律科技的应用虽然推动了法治的进步，迈向了相较以往更高程度的行政合法，却并未真正实现行政合法。
    2.机器学习的问题
    “人类受限于人类大脑的认知局限，在时间限制下，无法分析所有甚至大部分信息。因此，他们往往满足于一个令人满意的解决方案，而不是一个最优的解决方案”，但人工智能是一种理性智能体（Rational Agent），它致力于“为取得最佳结果或在存在不确定性时取得最佳期望结果而采取行动”。机器学习“不是用一些外来的和不熟悉的方法代替人类判断，而是人类判断的进化，通过统计知识、数据存储和数字计算的进步，使基本相似的决策过程（尽管更准确，而且通常更实用）成为可能”。特别是诸如稀缺资源分配的裁量问题，使行政主体的决策不再像投掷硬币般随机，而是基于大量数据和算法的结果，提高决策的科学性和合理性。
    可以说，人工智能更为理性，但理性并不意味着合法。算法决策一直追寻一种“价值对齐问题”，而机器与人类的认知差异导致了结果偏差。人类要求机器理性以满足人类需求，但机器的理性旨在追求效用最大化，而效用最大化最终又未必符合人类需求。因而，在很多个案中，算法决策的结果往往是理性的，但恰恰是理性让其缺失对人的同理心，并最终影响决策的实际效果。此外，机器学习的基础是人类对以往案例数据的输入，当社会发展形成新的法律问题时，机器学习就可能产生缺口。机器可以创造答案，但未必是合乎人类价值凝结的“法律”。因此，无论是专家系统还是机器学习，完全依赖算法决策的自动化行政永远无法等恒于合法。
    （二）决策结果合法化的理论方法：行政竞争（Administrative Agon）
    在自动化行政的发展过程中，人们越来越意识到，即使是更加理性的算法决策技术，同样不是实现行政合法性的绝对答案。因此，或许在明确实现行政合法性的方式方法前，应当先明确究竟什么是行政合法性？行政合法要的是什么？
    1.行政合法性的核心内涵：对民意同等的关心和尊重
    “合法性”的核心意涵在“法”的理解，它是民意的表达，而行政合法性源于对民意的有效践行。在传统行政法中，基于早期传送带理论的理解，行政应当是代表民意的法律的传递者，行政合法性应与合法律性具有鲜明的一致性，意味着行政是对法律的遵从。但“法”所代表的民意是多元而有分歧的，传统立法对民意的表达是通过化解分歧，寻求共识的方式，最大范围地实现民主。这种情况下，法律条文的内容往往无法全然实现民意的表达，且总会有小部分或例外的民意没有被落实和保障。因此，在合法律性下的公共行政，常常面临行政决定的合法却不可接受性问题。这一点，也正是算法决策技术应用未曾关注的重要问题，亦是其无法绝对合法的关键所在。
    行政法治不仅仅是执行法律，还要服务于一个更宏大的社会目标，在法律之内寻求社会效果，去考虑法律价值，作出价值衡量。这里，“价值衡量”是通过法律手段协调民意间的分歧，同时给予每个公民同等的尊重，以实现一种可接受性的行政合法。以此而言，算法决策无法独立实现行政合法性的原因在于，行政合法不是一种静态的合法标准，而是一种动态的价值衡量。民意中的分歧始终存在，如何确保每一个人都可以接受或者说相信行政决定的结果，才是行政合法性追求的最终目标。民主和法治的核心，是“同等关心和尊重”每个人的价值观，而非单一、僵化地执行法律规则。
    2.同等关心和尊重民意的理论方法：从可协商到可竞争
    代表民意的“法”是动态的，因此在行政执法过程中，要合乎代表民意的“法”也变得动态且不确定。是故，为了行政合法，以往曾尝试通过化解分歧、谋求共识的思路，先行统一民意，再由行政机关执行。从早期的“极简主义”以多胜少的方式，到“参与民主”强调公众的参与式意见表达，再到“协商民主”为公众建立辩论平台，以提高人们对他人观点的理解，促进对分歧问题的一些共识。但这依然不能全然实现公众对算法决策结果的可接受性，因为即使是由科学的统计数据计算得出的最趋近于目标函数的结果，也可能是行政相对人心中不认可的观点。
    基于此，有学者提出了一种全新的竞争民主理论（Agonistic Democratic Theory, Agonism for short），试图解决行政合法的可接受性困境。理论上，即使算法决策比人类决策在化解分歧层面更加科学、理性，人类依然不应将其输出结果视为理所当然，而是应将法治的竞争核心融入自动化行政设计中，增加不同利益诉求间的竞争，以此实现更好的行政决策。竞争论的本质是结果的可争辩性而非对抗，并通过不同观点间的竞争助推对行政相对人利益的最大保护。
    在可竞争思路之下：首先，前提在于不存在绝对正确的行政决定，任何的决策者哪怕是理性的机器，都无法真正化解分歧。这一点在前面已经论述。其次，承认和肯定分歧的存在，而非试图化解分歧。任何一种决策结果对公民而言都是有利有弊，承认存在多种决策可能，而非过度依赖唯一肯定的结果。最后，允许决策结果的可竞争性，以此促进行政合法性的程度最大化。即在公共行政中预留一个可竞争的开放空间，允许行政相对人对决策结果提出异议，而非前期谋求共识的协商，以此实现民意的真正表达。
    （三）决策结果可竞争性的实现路径：“人在回路”
    进一步而言，在决策结果的可竞争性要求下，如何实现多种不同观点的竞争？是否多个主体提出不同的观点就可以构成决策结果的可竞争性？这些主体可否都是机器？
    首先，多个机器主体的观点并不能构成可竞争性。算法决策的观点是一种概率体现，是机器结合输入的数据，在运算法则基础上，通过不同结果间的概率比较选出的结果。但是，即使替换机器，如果输入数据和运算法则是不变的，以此得出的结论也是不会改变的。不同的是，机器和人类两类主体却可以基于不同的视角、经验、价值理解产生可竞争性的观点。机器的决策经验源自以往的人类经验总结，依赖于人类早期的案例数据输入。它长于经验分析，从中找寻规律，以此回应和解决现有的各类问题。但机器决策观点也有不足，无论多么先进的机器都无法再现法律本质上的社会性。法律适用并非全是简单明了的事实情况，有很多隐藏、潜在的社会关系与互动，法律是一种偶然性和生产性的技术过程，需要不断对外界影响作出反应并向新的可能性开放的过程。而这却是人类决策擅长的东西。人类决策的观点多数出于对案件本身因素的代入理解，以及对特殊情形的灵活应变。特别是以往未出现过的问题，人类决策者可以作出创新性的回应，提出独特的观点。相反，也正因为人类决策的视角更具主观性，往往会受到现实因素的不当影响。同时，基于有限理性，人类决策在对以往经验的总结和践行上反而是不足的。在价值判断上，人类是一种蕴涵复杂情感的社会主体，人类决策在促进公共利益的同时会考虑到被决策者的感受，以同理心裁判。机器并不是人类，它更像一个中立的裁判者，任何案件中的人类利益都与它无关，因此也缺乏了对人的同理心。同样的案件裁量，当机器替代人类时，“预计他们将变得更加合法，而不那么便利和宽容”。
    可以说，“机器擅长重复性任务，而人类更擅长复杂的上下文分析”，因此，算法决策可以减少行政主体充当中介和翻译的机会，真实展现民众的声音；人类决策可以创造更好地沟通和服务机会，以此捕捉社会中较弱的声音。但是，无论是人类决策还是算法决策，其结果展现出的观点都具有特定的法律价值，算法决策强化了部分人对合法性的要求，人类决策则为合理性打开了空间。两种观点没有谁对谁错，是一种可竞争的不同观点。恰恰是二者间的分歧和可竞争性，会带来一种价值的争辩并最终促成合法性的生成。而且，无论是人类决策还是算法决策，在决策结果上都有优势与不足，与其探讨非此即彼的二者关系，不如转换视角，将“对抗”转化为“竞争”，通过增加竞争者的思路，同时提高机器和人类的工具优势，弱化二者的缺点。因此，人类“应该参与到人工法律智能中来，确保它以一种可检验、可竞争的方式与法律和法治保持一致”，即一种人机交互协助的“人在回路”治理模式，以此提高行政决策的合法性程度。
    四、自动化行政中“人在回路”模式的定位
    对自动化行政而言，传统“计算中立”模式虽有效地化解了部分决策合法性风险，却依然有其治理局限性。在此基础上，“人在回路”模式应运而生，试图化解“计算中立”模式在应对公共行政领域人工智能技术应用与演化的不足。但这是否意味着“人在回路”模式可以完全替代“计算中立”模式？
    （一）“计算中立”与“人在回路”不是相互替代的治理模式
    “计算中立”和“人在回路”都是自动化行政中算法决策风险的治理模式，二者的创建均源于“以人为本”的理念思想，希冀在人工智能发展中尽可能确保人类尊严，避免不必要的人权损害。但“计算中立”和“人在回路”的权利保障出发点不同，对正义或者说行政合法性的实现层面也有所不同。
    “计算中立”视角下，算法决策的结果较之传统人类决策，更为理性、客观、公平，有助于提升行政合法性。但自动化行政过程中缺乏最低限度的程序保障，因此，需要通过确立可解释权，使行政相对人时刻知晓算法决策的过程、代码，即依法行政所要求的法律和事实依据；同时，确保行政相对人的陈述和申辩权，使算法决策结果符合程序正义。
    “人在回路”视角下，算法决策的结果未必正确，法治挑战是伦理层面的结果可接受性问题。不论算法黑箱是否存在，行政相对人是否愿意接受算法决策得出的结果，并相信这是正义的，才是“人在回路”模式关注的问题。一方面，随着强人工智能时代的到来，算法黑箱不再是人类可以尝试透明化的问题，机器的思想不是需要被解释和认可，而是需要被监督和审核。另一方面，行政相对人对算法歧视结果的成因不再定论于依据的不可知或相对人为自身申辩的权利不足，而是基于机器永远无法理解人类的情感。特别是在个案中，“每个案例都需要根据其本身的优点进行评估，而不是与以前的案例进行比较或一概而论。在需要个人公正的地方，算法决策系统不能（完全）取代人类的判断”。亦即，“人在回路”模式是借助人类判断确保个案正义。
    比较而言，“计算中立”模式是在程序正义与实体正义间，致力于行政过程对正当程序的要义贯彻，以程序正义去确保决策结果的合法性。而“人在回路”模式是在个案正义与形式正义间，致力于以人类价值判断去弥补机器统计计算下忽视的个案要素，以此强化结果的合理性与可接受性。“依法裁判”与“个案正义”是案件裁决追求的两个目标，其中，个案正义是一个更高层面的要求。“计算中立”模式追寻的是前者，即通过对正当程序义务的增设，强化机器对既定规则的遵从和严格执行，以及对裁量基准的科学判定。且透明的算法同样会给行政相对人带来一种期待，“会外化为相对人的一种合法预期，使其对行政机关的未来行为产生一种信赖”。而“人在回路”是为了避免忽视特殊情形或弱势群体利益的可能，追求的是后者。
    虽然两种算法治理模式在对算法决策的态度与法律价值追求上各有不同，但并不冲突，甚至互为补充。一方面，“计算中立”肯定法律科技的应用价值，希冀技术创新推进法治发展；“人在回路”具有更强的风险预防意识，未雨绸缪式应对人工智能演化的可能危机。但“技术创新”与“风险预防”不是非此即彼，两种治理目标可以平衡性的同时存在。另一方面，两种治理模式追求的法律价值虽有不同但并非是同一层面、同一阶段的矛盾关系，甚至二者可以共同致力于自动化行政的公平正义。换言之，即使在“人在回路”模式中，行政相对人对决策结果的依据和理由依然有知悉的权利。只是在“人在回路”模式下，透明度与可解释性不再是解决算法黑箱、算法歧视问题的终点，而是仍需考量相对人对决策结果的可接受性问题。
    （二）“人在回路”模式并非适用于所有的自动化行政
    “人在回路”模式在自动化行政裁量中的风险防控作用显著。现代法治国家对行政裁量权的诟病，本质上在于裁量权容易被人类执法者滥用，而算法决策技术的客观理性恰恰起到了预防作用。只是，在自动化行政中所预期的机器裁量与行政裁量的原意不符。行政裁量“是形式法治状态下实现个案正义的最佳途径”,但机器裁量的结果是对以往案例、数据的分析推演，始终在寻求一种“同案同判”的一致性价值，而非基于个案差异的灵活应变，是一种形式正义的追求体现。事实上也并不存在绝对的“同案”，更多的只是“类似案件”。对算法决策的过度追求，反而会造成对例外情形、特殊情形中个体差异的忽视，进而产生不正义的结果。因此，仍然需要人类判断的介入，以人类裁量的最初意涵最大限度实现个案正义。但是，过度强调个案正义，亦有损正义理念的平衡。
    此外，Wardman和Martin在一项研究中发现，“人在回路”虽然可以有效提升感知合法性，但是这种合法性收益在例如假释、卫生、警务等关键性决策中最大，相反在一些非关键性决策中收益甚微。可以说，“人在回路”模式并非因应所有算法行政行为的合法性需求。在对个人权益有重大影响的行政决策中，相对人更倾向于信赖人类判断，对算法决策的信任度不足，而额外的监督机制会强化公众的可接受度，因此需要“人在回路”模式。相反，在非关键性案件中，过度增设人为干预，反而影响决策效率。因此，“人在回路”模式的适用范围也是有限的。
    （三）“人在回路”模式中人工干预的限度
    在“人在回路”模式中，人工干预手段同样存在限制。
    1.人工干预的介入方式
    在算法决策无重大风险或明显错误，无需人工主动干预的情形下，人类判断可以有两种介入自动化行政的方式：（1）行政相对人可以在行政决定前享有人类决策还是算法决策的选择权；（2）行政相对人享有的是在算法决策后，要求人工干预的请求权。任何程序的设置都需要考虑“所采用的程序存在错误的风险以及采取替代性或额外程序保障可能带来的价值”。公共行政在效率追求目标下，以简化程序为表现，自动化的产生也是改变传统人工效率低下的程序性变革，而人工干预算法决策反而是一种额外增加的行政程序。因此，出于对行政合法性与行政效率的平衡，人工干预程序在降低效率利益的不利情境下，必须以实现合法性利益最大化为目标，实现法益均衡。
    首先，在人类决策与算法决策技术比较中可以发现，未来的公共行政会有越来越多地使用到算法决策技术，以确保同案同判的一致性要求和行政裁量的科学性。且通过算法决策技术的应用，可以助力行政效率的发展，以此缓解行政国家执法资源不足的问题。从结果合法性上而言，算法决策的出错率往往更低，对合法性的保障概率更大。因此，出于效率提升与合法性利益最大化的考量，当优先发挥算法决策的技术优势。其次，人工干预的本质是一种提出异议的手段，目的是通过允许人的介入与机器展开“激烈辩论”，使人类得以保留对这些塑造他们生活方式的算法进行控制的权利，避免算法权力滥用。但既然是提出异议，就需要有可供争议的已有观点。如果在前期即允许相对人优先选择人类裁决，亦与可竞争性的思路背道而驰。最后，如果给予行政相对人决策方式选择权，可能会产生一种技术倒退现象——即行政相对人为寻租人类决策中的非法因素，为自身谋取利益，而选择人类裁决。
    因此，即使是在“人在回路”模式中，算法决策依然是公共行政的首选项，人类决策是可竞争的候选项。人工干预的被动介入时间与方式，当在算法决策结果通知行政相对人后，由相对人自主决定是否提请人工干预。
    2.人工干预的介入限度
    “人在回路”的一个优势，是为行政相对人提供更多的结果可能性，甚至对行政相对人更有利的结果可能性。意味着在决策层面，增加了一种对行政相对人更为有利的竞争。谁的决定对行政相对人损害最小，则优先选择哪种决定。而这种方式，亦符合比例原则的基本要求。利益结果本身可以表现为两个层面：在法律层面是为了确保自身合法权益不受算法决策的不当侵益；个人层面上是希望在行政裁决中的个人利益不受过度减损。基于此，如果算法决策的结果是过度减损了行政相对人的权益，可以通过人工干预程序撤销违法行政行为，并以人类裁决作出新的行政决定。然而，如果算法决策的结果是过度增加了行政相对人的权益，例如在分发社会福利的情况下，行政相对人认为给予的利益不足，经过人工干预程序审核发现，根据法律规定或公共利益需要，不应当给予行政相对人社会福利。这种情况下，人工干预是否可以撤销算法决策的裁决结果？
    一方面，“人在回路”模式是为了在算法权力侵犯公民合法权益时，保障相对人的权利救济；另一方面，“人在回路”模式所要求的人类监督职责，是对算法权力进行的内部监督。因此，作为一种鼓励公民积极寻求法律救济以对抗算法权力侵害为导向实施的监督职能，必须受到行政法上“禁止不利变更原则”的约束。从行政相对人的角度来说，如果相对人在提请人工干预的情况下，可能被推翻较轻法律效果并受到更严重的利益减损，势必在一定程度上影响行政相对人的权利行使，有悖立法鼓励公民积极寻求权利救济的初衷。此外，“不利禁止变更原则”是人权价值趋向下，国家对公民权利的宽容与谦抑。无论是算法决策还是人类决策，不应影响该原则在公法中对监督职能履行的约束。是故，如果人工干预的决定更有利于当事人，则可以撤销或变更算法决策结果，以人类决策结果为准。如果人工干预的决定将更不利于当事人，则基于行政法上基本原则，除公共利益保护、受益人存在过错或其他利害关系人同时请求监督干预的情形之外，当维持算法决策结果。