Bruno Mathis est chercheur associé au Centre de droit et d'économie de l'ESSEC
Du mythe de la justice prédictive
au contrôle de réutilisation des décisions de justice
La petite musique courait depuis quelque temps. La Cour de cassation a confirmé le 30 septembre, à l’occasion du colloque « Numérique et Justice », qu’une initiative l’associant au ministère de la justice et au Conseil d’État visait à définir le modèle de réglementation adéquat des réutilisations des décisions de justice. Une consultation en ligne est d’ailleurs accessible au public jusqu’au 30 novembre. Quatre options sont examinées en particulier : charte éthique, certification, création d’une autorité indépendante et auto-régulation. Si la Cour prend soin de préciser qu’elle n’a pas arrêté sa propre position, la démarche a de quoi surprendre.
Le législateur et l'Open Data
Passons sur le fait qu’une charte éthique soit proposée par des hautes juridictions et que l’auto-régulation ne soit pas une option très prisée, en général, par les pouvoirs publics français. Ces quatre options correspondent à des niveaux de risque très différenciés. Mais les risques auxquels ces mesures de précaution sont censées répondre ne sont pas identifiés et évalués.
Si on en est là cinq ans après la Loi Lemaire, qui avait institué l’open data des décisions de justice, si l’idée même d’une autorité indépendante est une option pertinente, alors il faut que le législateur - et non le pouvoir réglementaire - s’en saisisse. Le législateur a déjà rendu le ré-utilisateur passible d’une peine de prison en cas de ré-utilisation tierce aboutissant à l’identification des pratiques professionnelles des magistrats. Il a décidé d’une certification facultative (labellisation) des plateformes d’arbitrage. Il ne peut donc pas faire moins que décider du niveau adéquat de contrôle des réutilisations. Il pourrait alors aussi mesurer les conséquences d’un open data assorti d’une autorité de contrôle, sans doute une première mondiale. Il pourrait préférer attendre les débats du parlement européen sur la proposition de règlement sur l’intelligence artificielle déjà sur la table. Ou encore, si cette initiative le convainc que les inconvénients l’emportent finalement sur les avantages, arrêter le projet, en abrogeant les articles L111-13 du code de l’organisation judiciaire et L10 du code de justice administrative.
Un échafaudage intellectuel sur du sable
La démarche surprend également en ce qu’elle pose un échafaudage intellectuel sur du sable. Il ne suffit pas de dire que le risque final pour le justiciable, voire pour le juge, consiste en une atteinte de ses droits fondamentaux. Encore faut-il que le contexte dans lequel celle-ci se produirait soit plausible. Or cette démarche part d’un postulat implicite : les applications de justice prédictive, et au-delà de jurimétrie, puisque c’est de ce type de réutilisation qu’il s’agit, sont déjà là et donnent de la matérialité à ce risque.
Il n’y a pas de justice prédictive. On trouve des solutions commerciales d’aide à la décision des avocats, vendues par des éditeurs utilisant le cas échéant les termes d’intelligence artificielle dans leurs éléments de langage, et dont le code applicatif est couvert par le secret des affaires. On trouve aussi des systèmes qui savent apprendre un stock de contrats pour faire gagner en productivité les juristes d’entreprise. Mais il n’y a pas - pas encore - de système qui sache apprendre des décisions de justice passées pour en prédire d’autres à venir.
La première étude scientifique sur l’intelligence artificielle appliquée à la justice prédictive remonte à 2016 – autant dire hier. La décision du juge n’était correctement reproduite que dans 80% des cas, et il ne s’agissait ni de décisions du fond ni de décisions écrites en français. Pourtant, deux cours d’appels françaises ont cru pouvoir tester une application dite de justice prédictive dès 2017.
Encore en 2021, la machine sait à peine « dire » ce qu’il y a dans une décision passée, et moins encore en « prédire » une future. Il n’existe toujours pas d’application d’intelligence artificielle – pour être précis, d’apprentissage automatique – pour une raison très simple : il n’y a pas assez de décisions passées disponibles pour les donner à apprendre à la machine d’un ré-utilisateur. Certes, la livraison du premier lot de l’open data des décisions de justice a permis d’ajouter aux décisions déjà publiées les arrêts non motivés de la Cour de cassation, ainsi que le stock historique numérisé, cerise sur le gâteau puisque la Cour n’y était pas tenue. Mais en flux, cela ne représente toujours que 1 à 2% de la production, pas forcément statistiquement représentatifs de toutes les matières de droit. De plus, les décisions aujourd’hui disponibles sont essentiellement des arrêts en matière civile, qui ne sont pas les plus faciles à interpréter par une machine, puisque, par définition, ils reflètent des divergences d’interprétation entre des humains, les parties, et qu’ils renvoient souvent à des écritures elles-mêmes indisponibles. Quant au pénal, on trouve quelques premiers travaux de justice prédictive… en Chine, sur des décisions chinoises évidemment, et aucun, en tout cas, qui soit transposable à la justice pénale en France.
La nécessaire étude d'impact
Pour qu’un contrôle de la réutilisation des décisions de justice soit justifié, il faut que celle-ci ait des impacts négatifs. Ces impacts peuvent porter, notamment, sur l’office du juge. Pour que celui-ci soit mis en question, il faudrait par exemple que les plateformes d’arbitrage voient augmenter significativement leur volume d’activité aujourd’hui confidentiel ou que le juge se rende compte dans sa relation avec l’avocat que celui-ci est bien (ou mal) conseillé par son système d’aide à la décision. Pour que l’avocat se dote d’un tel outil, il faudrait que l’éditeur soit suffisamment confiant en son modèle d’apprentissage pour engager sa réputation en le commercialisant et que le prix d’acquisition en soit abordable. Il faudrait aussi que les algorithmes sous-jacents se perfectionnent.
Tout ceci renvoie à un problème ancien : il n’y a pas eu d’étude d’impact de l’open data des décisions dans le cadre de la loi Lemaire, ni pendant les cinq ans qui ont suivi. La Cour de cassation n’a pas non plus rendu publique l’analyse d’impact sur la vie privée que l’article 35 du RGPD lui commande de produire.
Il est vrai que l’intelligence artificielle suscite des craintes parmi les professions juridiques. Mais il est douteux qu’une initiative sans mandat du législateur ni analyse préalable contribue à les dissiper.
Merci pour cette analyse intéressante. Je m'interroge : est-ce que l'interdiction de réutilisation aboutissant à l'identification des pratiques professionnelles des magistrats interdirait également le traitement statistique de décisions de justice pour identifier l'existence de certains biais dans le chef d'une cour ou d'un tribunal ?
RépondreSupprimerJe contribue, dans mon propre pays, à un projet de recherche qui traite systématiquement les décisions dans un domaine particulier du droit civil pour identifier si certains facteurs (le sexe des parties, l'arrondissement judiciaire, etc.) jouent un rôle statistique dans les décisions de justice, d'où mon intérêt pour cette question.
Merci pour cette très bonne question.
RépondreSupprimerOui, c'est un risque. Par ex, supposons que vous vouliez savoir si les juges femmes sont plus ou moins sévères que les hommes pour tel type d'affaires. Vous ne cherchez pas à le savoir pour chaque juge, mais en général, sur une base territoriale. Ce faisant, vous allez collecter des décisions de différentes juridictions et chambres. Parmi elles, des juridictions de petite taille, où 1 ou 2 juges seulement s'occupent de votre type d'affaires. Leur identité peut être alors reconstituée par un tiers. Vous provoquez "l'effet" de révéler ce qui pourrait être qualifié de "pratique professionnelle". Le Conseil constitutionnel, dans sa décision 2019/778DC dit que "En prévoyant que les données d’identité des magistrats et des membres du greffe figurant dans les décisions de justice mises à disposition du public par voie électronique ne peuvent faire l’objet d’une réutilisation ayant pour objet ou pour effet d’évaluer, d’analyser, de comparer ou de prédire leurs pratiques professionnelles réelles ou supposées, le législateur a entendu éviter qu’une telle réutilisation permette, par des traitements de données à caractère personnel, de réaliser un profilage des professionnels de justice à partir des décisions rendues, pouvant conduire à des pressions ou des stratégies de choix de juridiction de nature à altérer le fonctionnement de la justice". Pour autant, il n'a pas déclaré la disposition inconstitutionnelle et son "le législateur a entendu" fait bon marché d'une rédaction de l'art. L111-13 pourtant très claire. Donc il y a un risque devant un tribunal. Les sanctions prévues, totalement disproportionnées, invitent à la prudence.
Mais cet avis, personnel, n'est pas celui d'un juriste.