案件质量评估是衡量司法运行效果的重要机制，但实践中存在重形式轻实质、重结果轻过程及重整体轻个案等三重困境，其本质原因系数字化转型不充分。伴随智慧司法建设的深入推进，人民法院案件质量评估思维亟需实现数字化转型。首先，评估立场的价值取向需从依赖主观判断的现象评价转为以司法决策为核心的本质评价，且事实取向应由人工评价变为智能审判系统的自动评价。其次，评估要素应把握目标决策在整体决策网络中的定位，将承载司法信息的决策文本作为评估对象，把决策被引情况作为评估核心，以此来构建科学的评估模式。最后，案件评估实践需落实数据获取、标准设置、评估效用和责任承担四项要求，实现数字化背景下案件质量评估思维的整体转型。
本文在上海市法学会举办的“城市数字化转型的法治保障”主题征文活动中荣获三等奖，作者为上海市普陀区人民法院商事审判庭法官助理刘志毅。
大数据时代的数字技术为司法现代化带来了全新可能，为提升司法效率、降低司法成本提供了科技支撑，同时也对传统司法理论与实践范式造成不同程度的冲击，无论是司法审判或是审判管理均在不同程度上尝试进行数字化转型。但当前案件质量评估模式的发展仍与数字时代的要求相去甚远。究其原因，乃是大数据运用不充分、数字化思维不全面所致。在智慧法院建设推动下，海量的司法数据在法院审判系统中生成，但其中蕴含的数据资源价值却为案件质量评估所忽视，致使司法数字化建设于司法审判与管理工作效用不显。有鉴于此，本文将立足数字化背景下案件质量评估的现实方位，回归对司法决策本质工作的评价。结合审判实践的运行，构建数字化转型背景下案件质量评估模式的展开模式。
我国最高院最早启动的案件质量评估一定程度上受到上世纪美国法院绩效评估改革影响。1987年美国国家州法院中心、司法援助中心发起一项改革，以缩减诉讼成本与诉讼期限、构建符合社会期待的司法制度为改革目标。1990年《初审法院绩效评估体系》指明五类标准：司法的可接近性；案件处理的效率与及时；平等、公平与诚信；法庭的独立与问责；公众的信任与信心。以美国此项改革为蓝本，我国最高院于2011年下发《关于开展案件质量评估工作的指导意见》，要求各级法院利用司法统计资料，运用多指标综合评价技术，建立案件质量评估的量化模型，对本院案件质量进行评判分析。该指导意见所建立的案件质量评估制度有如下特征：一是以提高案件质量，追求案件审理的公正性、效率性和效果性为目标；二是以指标分析为评估标准，以数量分析为方法，由1个一级指标、3个二级指标以及31个三级指标构成。三是评估对象范围宽泛，既包括对法院整体的评估，也包括对业务部门个人的办案评价。除以上常用指标外，各地法院还根据实际情况，增加如审结率、率、文书上网率、改判率、电子卷宗随案生成率等一系列评价指标。法院根据相应案件权重计算方法对案件质量予以综合评价，计算案件质量综合指数，作为法院对自身案件审理质量评价的依据。
传统评估制度在我国当前的司法管理实践中仍频显困境，本文将其关键问题归结为以下三方面：
其一，重形式轻实质。“当法官们为完成那些诸如结案率、上诉率、发改率、撤诉率等各种指标而作出裁判的时候，他们就不可能只服从法律和良心，他便有可能为这些指标而迁就某些力量和因素。”更为复杂化、精致化的评价指标体系不断涌现、法官不断被各种数据指标捆绑的过程，也是法官的主体性不断被吞噬的过程。
其二，重结果轻过程。从普遍做法来看，实践中对效果和效率指标的重视远超公正指标。如法院广泛引以证明审判质效的服判息诉率便是以案件审理结果为评价重点，过于看重是否案结事了，对于程序公正的重视反而相对不足。
其三，重整体轻个案。目前评估模式下的各类指标均是通过划定某一评估周期，然后对周期内审结案件整体办理质量的公正、效果等方面进行评价，侧重于宏观和整体评估。
上述困境存在两个层面的原因：以外观层面观之，属案件质量评估和审判绩效考核功能混同所致。案件质量评估目的在于发现各地法院审判执行工作出现的新问题，引起上级法院重视，从而针对问题调整工作重点。审判绩效考核目的则在于相互比较，选择出审判执行工作实绩更加突出的法院和法官。有学者将审判质效考核类比为“成绩单”，案件质量评估被类比为“体检表”。以本质层面观之，上述困境为司法数据发现与运用不充分导致。司法数据的发现与运用不足正是导致评估系统运行中固有症结的根本原因。
如前文所述，传统司法场景虽有一定规模对办案过程的数据记录，但其数据质量与数据维度均显不足，难以完成全面评估案件质量的任务。同时，对于司法领域的管理者而言，其所能掌握的案件数据也相对较少，以至于无法从中选择或挖掘更为合适的评估标准，只能依“局部”而窥“整体”。由此，案件办理数据的规模与维度是制约案件质量评估的关键。
在前沿数字技术的支持下，案件质量评估应当回归司法审判工作的本质，即以“决策”为视角。学者指出，“审判及其辅助工作的分工，是决策和为了决策而进行的信息收集的分工。”司法责任制下，办案被划分为审判与审判辅助工作：其中，送达文书、传唤当事人、庭审记录等工作均是为了搜集审判所需信息，属于审判辅助工作之行列；而审判工作则包括“审”与“判”两方面，前者是通过审查证据、阅看笔录等发现与纠纷有关的案件事实，后者是将所发现事实涵摄到具体法律规则进行裁判。换言之，审判工作可表述为“认定事实”与“对事实进行合法与非法评价”两项活动，两者的作出过程即是具有司法意义的“决策”。对司法决策评估的优势包含以下三方面：
其一，属于对办案全过程的评价。将评估视角转向决策从根本上改变了以往指标体系只评价办案结果而忽视办案过程的弊端，可激励法官在办案过程中更加谨慎的对待当事人各类诉求与分歧，有利于程序正义的实现。
其二，可保障案件质量评估的客观性。面向决策的评估在全流程网上办案的普及下，法官在审判系统上的操作和编辑的文书将由系统自动抓取，在固定周期内直接形成相应的司法信息。
第三，可实现跨案件类型的对比评估。无论何种类型的案件本质均是以司法决策为核心，通过对其统一量纲化处理，即使案由不同的案件，也都可在此量纲下进行横向比较。
实际上，我国案件质量评估也曾效仿美国的做法对本国制度运行中产生的障碍进行修补，但实际上最终仍是以结果数据评估为主，未能根本解决过程评价、个案评价的空缺与指标数据主观性严重的顽疾。纵观世界，各国政府极为关注数据中蕴含的巨大价值并已顺应时代制定发展计划。英国、法国、日本政府分别发布了本国“数据发展规划及战略”，将数字技术应用于政府管理中，以改善内部管理、公共服务供给、政策制定及公民参与等。2017年我国最高院发布《关于加快建设智慧法院的意见》，力争“以信息化促进审判体系和审判能力现代化”。《人民法院第五个五年改革纲要（2019-2023）》提出“全面建设智慧法院”的改革原则，要求“充分运用大数据、云计算、人工智能等现代科技手段破解改革难题”，反映出我国法院建设信息化、智能化的改革趋势。信息化时代浪潮使司法数据规模空前扩大，驱使案件质量评估模式顺应时代转型，也为解决传统模式长久的困境提供了思考方向。在全流程网上办案的推进下，越来越多的司法数据被“搬”到网上，以区块链等现代技术手段进行存储和调取，使得智能评估取代人工评估成为可能。继续加快信息化脚步。笔者以为重点应包括三个方面：第一，全流程网上办案的进一步落实；第二，各法院及相关部门的数据平台相互贯通，打破数字鸿沟；第三，加快数字化时代人才队伍建设。
如前文所述，司法审判可抽象概括为“决策”及“为决策搜集信息”两类工作。从微观角度观之，法官的决策过程可归纳为三项步骤：其一是决策获取相关信息，既包括获取法院组织外部的信息，通过与当事人或其他相关主体的沟通，明确法官决策所指向的“事实内容”；也包括获取法院组织内部的信息，从而为决策提供必要的“规范依据”。其二是决策作出，即在有效信息的支持下，对本次待决策的命题进行合法或非法的真值选择。其三是决策信息释放，通过法律文书或其他载体的形式记录决策产生的信息，作为案件办理的结果或作为下个决策的参考。与获取信息相对应，其既包括将信息释放至法院组织外部，如向当事人提供司法文书；也包括将信息释放至法院组织内部，如撰写案件评议笔录、撰写司法裁判文书的过程稿以及办理批量案件供后案参考的首案文书模板、形成书面办案规则等。
以宏观角度观之，决策处于整个办案系统决策网络内的体系定位决定了决策的质量。法官在司法审判中的决策与决策之间存在着相互影响的复杂关系：在同一案件的审判过程中，法官在先作出的决策将影响后续作出的决策；而在不同案件的的特定决策也需参照其他法官的相关决策。由此观之，法官的司法决策在时间之流下呈现出为链式的结构，当下的决策必须以既往的决策为前提，其又必然面向未来可能作出的决策，从而形成彼此交织的“决策网络”。法官所作的一切决策均是网络的“节点”，决策与决策之间的影响关系则是该网络的“边”，而此类边与节点相互联结便筑成了其网络的基本结构。特定决策在该决策网络中的定位将决定其决策质量的高低，倘若从该决策节点向周围发散的边数量较多，则代表法官的该决策影响他人决策较多，此即表明该决策质量愈高。
据上述分析，在整体决策网络中的定位决定了单个决策的质量，而使决策可视化与可测算化的物质实体就是承载司法决策信息的各类法律文本，此即为合理恰当的评估对象。“决策”是司法审判的本质，而“信息”则是表象，决策的结果借由释放信息的形式向外界表达。决策本身是一项相对抽象且主观的对象，但从决策释放的过程可以看出，任何决策的向外表达必须借由信息的“外观”，即通过信息量的变化来体现某项决策的结论，而实践中承载司法信息的各类法律文本便自然成为案件质量评估的合理对象。
在明确案件质量评估对象的前提下，有必要进一步厘清“如何评估”该对象的具体方式，此即涉及评估手段之问题。从预期目标的角度而言，一项案件的质量较好意味着该案件所做之决策可被广泛接受，即在司法场域下具有“不易推翻”的融贯性。考虑司法决策处于相互联结的网状结构之中，此类融贯性就要求在先决策需对在后决策产生启示性影响，此表现为“引用”。在此意义上，决策被引与否的判断条件可归结为以下三项：
其一，需考察决策文本之间是否存在参阅关系。后决策对本决策的引用须以参阅本决策之文本为前提，此类参阅行为构成了决策引用的形式性参考，用以表示后决策受到本决策的影响与启示。就目前之实践语境而言，由于国内司法系统持续推进无纸化办公的建设，相关参阅关系即可通过系统上的数据留痕而被捕捉。当法官通过信息系统开展司法审判工作时，其行为状态均会被信息系统全方位记录，其中必然包括法官对在前决策文本进行参考的情况记载。
其二，需考察决策文本之间是否具有关联性。在确认决策文本被后续文书参考引用的前提下，还需进一步考量参考该文本形成的新决策在语义内容上是否与之关联。具体而言，可以通过自然语言处理技术自动分析两份决策文本的语义内容，判断其在法律适用、事实认定、裁判结果等方面的关联程度。如果两份决策文本在关键语义要素上表达高度一致，表明后续决策文本在语义上吸收借鉴了前决策文本的要点。
其三，需考察决策文本中的结论取向是否相同。以上两项判断条件均是对决策文本被引与否的形式考量，但仅有形式层面的判断尚不足以证明决策引用的存在，其还需提供更为实质的判断依据。后决策与本决策的文本具有一定相似性，同时当两项决策的观点基本相同时，才可认为后决策系对前决策的正向引用。
由此可见，法官办案质量即取决于其所有决策在一定周期内的被引次数之和。当上述三项条件同时满足时，特定案件的决策便与后续决策建立了引用与被引之关系，若此类决策的被引关系的数量愈多，就表明整体层面的司法决策愈显融贯性，其对应的案件质量也就相对更高。
首先，本文主张以现代网络计量学中的科学计量方法为主要获取手段。网络信息计量学是信息计量学在网络环境中的延伸，采用数学、统计学等各种定量方法，对网上信息的组织、存储、分布、传递相互印证和开发利用等进行定量描述和统计分析，以便揭示其数量特征和内在规律。在此手段下，案件质量评估便具有数据来源客观性和规范性、分析过程的工具化和便捷性、结果的数字化和可视化等优点。其次，需以一定周期内法官在网上办案系统中全部文书的被引情况为获取内容。不仅包括审判内网中确认文书之间的相似性判定其被引用情况，在全面法律文书上网的背景下，还应当包含外网中文书外部链数、网络影响因子、网络传播情况，以全面获取决策文书的被引量。最后，由于获取的原始数据无法直接用于模型计算和可视化呈现，故需对其进行标准化处理。就主流方案而言，可采用如离差标准化方法，而将全部原始数据标准化完成后，方可对其参阅情况、相似度等进一步考察。
在评估标准的设置上应当注意考量相似度标准和评估周期两个角度：一方面，文本相似度是判定决策被引情况的必要前提，决策文本相似度应据法官级别、法院级别不同而差异化设定。现实中法院级别不同，中高级法院乃至最高院的指导性案例显然影响范围更大，被引量自然也更多，其文本相似度也应据此设定相对较高标准，基层法院则可适当对相似度标准予以降低。另一方面，评估周期的标准应较之当下适当拉长。实践中由于案件审理周期较长，决策获取工作与释放工作之间一般存在较长的时间差，决策质量的高低总要经过一段固定的时间之后才能被发现，从季度、半年乃至更长的评估周期中去总体、全面的把握。既保证被引量评估手段的科学性，也适当给基层法官“松绑”，不至于法官每月都为评估指标所“驱赶”前行，防止法官的主体性为大数据所吞噬和挤压。
本文以决策被引量作为案件质量评估的量纲，这一量纲的效用可从以下三个方面把握：其一，承办法官更清晰掌握自身办案情况，便于及时调整办理思路，存优去劣。决策文本如被引用量高，法官在此后案件承办过程中便可有意识的延续此案的办理思路，在自我检视中提升自身办案能力；其二，司法管理者全面掌握案件办理过程全貌。法官撰写的过程性文书、合议庭评议、讨论记录等均纳入评估对象，且评估数据为智能审判系统依固定模型所自动计算得出，保证数据客观性；其三，作为法官个案办理绩效的重要参考依据。在数字化智能化评价背景下，系统计算得出的案件质量数据则具有传统评价方式不可比拟的连续性与稳定性，其评价结果也更为客观和可接受，可有效满足常态化绩效考核的需要。
在数字化背景下的智能化评价已经不再需要占据人力资源去专门对数据进行搜集、统计、汇总和计算，伴随着智慧法院建设的推进，这类程序性工作逐渐应当交由法院的智能审判系统来完成。划定评估周期后，每个周期内将由系统自动给出法官办案质量数据。尽管重复繁杂的工作减少了，但在系统解释维护和数据差错反馈上，对复合型人才的要求却有了进一步提高。一方面，评估系统由法院智能审判系统维护部门统一负责，一般为当地高院的行装及系统运维部门，应配备既熟悉司法程序又精通数字技术的复合型人才为审判管理提供准确完备的数据支持；另一方面，案件承办法官、审判辅助人员应在决策文本无法被系统准确识别、分析的时候予以解释、更改，配合审判管理部门对文本的评估考察。
欲真正实现对案件办理质量面貌的把握必须紧紧围绕决策这一本质工作进行：一方面技术的进步带来空前充盈的司法信息和审判数据，而网络计量等学科的发展也为我们挖掘这些资源提供了科学的手段，使案件质量评估得以回归对司法决策的评价上具有可行性；另一方面法治的进步也在驱使我们重视对新技术的开发、新数据的生成和运用，如近年来勃然兴起的计算法学对智慧法院等司法基础设施提出了新的要求，法学学者不仅要求智能司法基础设施承担更多司法辅助事务，甚至希望其能为核心决策工作提供帮助。在国家的大力支持和法学学者的不懈努力之下，司法审判与管理工作的数字化转型不仅是法治现代化的必由之路，也是必将付诸实现的未来战略。
数字化转型浪潮推动着案件质量评估理念与实务的变革，但转型之路远非坦途。本文提出了案件质量评估从表象到本质、从经验到规律的数字化飞跃。这种飞跃绝非一蹴而就，既需要审慎的数据积累，也需要大量的制度供给。人民法院应主动拥抱时代变革，以司法决策评价为核心，重构评估要素，完善供给制度，持续提高数字化评估的精细化程度。以期全面实现人民法院审判管理领域的信息化建设与数字化转型。
本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。轴向当量动载荷转子平衡等级等距曲线槽销闸块