INTRODUCTION

Les institutions gouvernementales américaines et européennes à la recherche d’efficacité, de rapidité, et de réduction des coûts, sont de plus en plus tentées par l’introduction d’algorithmes prédictifs dans la prise de décision publique. Ces outils peuvent avoir des conséquences légales potentiellement lourdes et néfastes sur les individus concernés. Pourtant leur utilisation par l’Administration n’est pas rare et ils permettent par exemple aux Etats-Unis de décider si une personne est autorisée à franchir une frontière ou à prendre l’avion 1. La Justice n’est pas en reste et l’introduction de tels outils comme appui au processus décisionnaire du juge est largement débattue dans nos démocraties occidentales.

Leur utilisation au cours de procès pénaux permettra sans doute une plus grande rapidité dans le traitement des dossiers par le juge et donc un meilleur accès à la justice pour les justiciables. Les partisans de « l’algorithmisation » de la Justice y voient également la garantie d’une plus grande prévisibilité et donc d’une plus grande sécurité juridique. En effet, les algorithmes auto-apprenants et évolutifs peuvent s’adapter automatiquement lorsque de nouvelles décisions judiciaires divergent de leur « interprétation » initiale d’une espèce. L’objectif recherché est celui d’une plus grande Justice par une meilleure égalité dans l’application de la Loi, et donc l’uniformisation des décisions judiciaires. 2

Aujourd’hui, les risk assessment tools sont utilisés dans plusieurs Etats américains (10% des juridictions américaines utilisent régulièrement des logiciels prédictifs lors de procès pénaux. 3

De leur côté, l’Union Européenne (UE) et ses Etats Membres sont aujourd’hui beaucoup moins enclins à utiliser ces outils, et peu d’expériences ont été réalisées pour l’instant en Europe. 4 Toutefois, les récents débats portants sur « l’éthique des algorithmes » démontrent un intérêt croissant chez les décideurs politiques d’introduire ce type d’algorithme dans leur processus de décision.

Aux Etats-Unis comme en Europe, il s’agit pour les pouvoirs publics de s’assurer que l’utilisation d’algorithmes prédictifs dans le cadre d’un procès ne porte pas atteinte aux garanties traditionnelles du due process et du procès équitable.

On retrouve dans la plupart des systèmes juridiques un ensemble commun de principe de droits de la défense.

Si le due process of law américain et droit à un procès équitable européen ne sont pas exactement semblables (un certain nombre de garanties procédurales du procès équitable sont protégées aux Etats-Unis mais sous d’autres formes) ; les deux notions restent très proches. Le dictionnaire de l’anglais juridique (B. Dhuicq, D. Frison, 2004) définit le due process comme étant un « procès en bonne et due forme » ; et renvoie la notion civiliste du procès « équitable » à la notion « fair trial » de la common law.

Le right to due process est un droit garanti par la Constitution américaine à travers deux Amendements : Le Cinquième Amendement garantit un droit à un procès équitable dans le cadre de toute décision de justice pouvant affecter sa vie, liberté ou propriété « [no one shall be] deprived of life, liberty or property without due process of law ». Il s’agit d’une des protections majeures offertes par la Déclaration des droits américaine (Bill of Rights). Originellement applicable au gouvernement fédéral, celle-ci s’est étendue à tous les Etats américains avec la décision Chicago, Burlington & Quincy Railroad Company v. City of Chicago (1897). 5

Le Quatorzième amendement consacre la clause de Due process/due process clause. Celle-ci s’impose comme une obligation aux Etats américains de s’assurer qu’ils agissent dans les limites de la loi (« legality ») et offrent des garanties procédurales justes (« fair ») aux justiciables.

Le terme « due process » suggère une attention portée à la procédure plutôt qu’à la substance du droit. En particulier, il est fondamental que le défendeur puisse présenter toute preuve lui permettant de défendre sa cause au cours du procès.

En Droit européen, le procès équitable (article 6 de la Convention Européenne des Droits de l’Homme) a lui aussi une portée essentiellement procédurale dont les garanties sont prévues dans l’UE par l’obligation de respecter le droit à un recours effectif et le droit d’accéder à un tribunal impartial (Charte des Droits Fondamentaux de l’UE, art. 47), le droit au respect de la présomption d’innocence, ainsi que les droits de la défense (CDFUE, art. 48).

               Toutefois, le manque de transparence des logiciels propriétaires (conçus par des sociétés privées) remet en cause leur compatibilité avec les droits fondamentaux des individus et la garantie d’un droit de la Défense aux individus. En effet, sous couvert du droit au secret des affaires (trade secret) et de la propriété intellectuelle, les concepteurs de ces logiciels ne sont pas tenus de partager le code source de leurs algorithmes (autrement dit, leur « mode d’emploi »). Il est donc impossible à la fois pour le juge et la partie défenderesse de comprendre précisément la méthodologie utilisée par l’algorithme pour produire ses résultats. Aujourd’hui, c’est un questionnement sur un droit à l’explicabilité des décisions algorithmiques qui est posé (II.B).

L’adéquation de ces instruments avec le right to due process américain fut questionnée dans la très controversée affaire State v. Loomis (Cour Suprême du Wisconsin, 2016) 6. En l’espèce, le logiciel en cause était un algorithme prédictif propriétaire développé par la société Equivant (ex-Northpointe), le Correctional Offender Management Profiling for Alternative Sanctions (« COMPAS »), permettant d’estimer le risque de récidive d’un prévenu afin d’assister le juge dans la fixation de sa peine (on parle de risk assessment tool).

Comme tout algorithme basé sur le machine learning (cf. définition en source), COMPAS est nourri d’une multitude de données (inputs) par ses concepteurs. Il recherche des corrélations entre les différentes informations appropriées à l’objectif défini par ses concepteurs, et établit un modèle prédictif qu’il pourra appliquer à chaque nouvelle espèce.

Parmi les données utilisées par COMPAS se trouvent, entre autres, l’âge de l’accusé, son sexe et des facteurs socioéconomiques. Selon Eric Loomis, l’utilisation de ces facteurs, ainsi que l’opacité du fonctionnement de l’algorithme constituent une atteinte aux garanties procédurales du droit pénal (right to due process). La controverse liée à l’utilisation de données ethniques sera également discutée au cours de cette dissertation.

La question de la violation du right to due process fut transmise à la Cour Suprême de l’Etat du Wisconsin, laquelle rejeta les prétentions de Loomis en janvier 2017. Malgré l’opacité de l’algorithme, la Cour se contenta de poser des limites à l’utilisation de COMPAS par le juge dans la fixation d’une peine. Ce fut ensuite au tour de l’Etat fédéral de rejeter les demandes de Loomis à travers un amicus curiae de mai 2017. Enfin la Cour Suprême des Etats-Unis décida en juin 2017 de ne pas s’autosaisir de la demande. 3

La décision State v. Loomis aurait pourtant été l’occasion pour la Cour Suprême Américaine de s’interroger sur l’utilisation d’algorithmes opaques par les instances gouvernementales, y compris lors d’un procès. En effet, l’introduction d’algorithmes prédictifs dans le système judiciaire américain est en effet si récente que leur articulation avec le respect du right to due process n’a pas encore été tranchée par les autorités publiques américaines.

Aujourd’hui, le Règlement Général sur la Protection des données (RGPD), applicable dès le mois de mai 2018 aux 28 Etats Membres de l’UE, encadre le traitement automatisé des données personnelles et semble plus protecteur des intérêts des personnes visées par un traitement automatisé que le droit américain.

Compte tenu de son approche plus protectrice des intérêts individuels, la Commission Européenne pour l’Efficacité de la Justice (CEPEJ) a adopté une Charte éthique en décembre 2018 pour l’utilisation de l’Intelligence Artificielle dans les systèmes judiciaires (« La Charte »). Son objectif est d’offrir des pistes de développement des logiciels d’aide à la prise de décision judiciaire permettant la garantie du procès équitable (article 6 de la Convention Européenne des Droits de l’Homme). Plus largement, la Charte remet en perspective le rôle du Droit comme instance de protection égalitaire et juste des citoyens en questionnant l’impartialité et l’indépendance du juge face à l’opacité des algorithmes.

Se trouve ainsi posée une question essentielle : Dans quelle mesure l’approche européenne, plus préventive dans l’introduction d’algorithmes prédictifs au cours du processus décisionnel du juge pénal, montre-t-elle les limites de l’arrêt State v. Loomis à cause du refus de la Cour Suprême américaine de se saisir de l’affaire ?

Au-delà des atteintes au right to due process, nous verrons que l’utilisation d’algorithmes prédictifs dans la prise de décisions de justice remet en cause l’indépendance du juge dans les systèmes judiciaires américain et européen. En outre, le fait que la Cour Suprême américaine ait refusé de se saisir de l’affaire ne permet pas à la doctrine américaine de questionner l’adaptation du right to due process aussi précisément que le RGPD et surtout la « Charte Ethique Européenne d’utilisation de l’intelligence artificielle dans les systèmes judiciaires et leur environnement » (« la Charte »).

Il s’agira dans un premier temps de montrer la manière dont l’affaire State v. Loomis a mis en lumière les atteintes potentielles au right to due process américain et au procès équitable de droit européen lorsque des algorithmes prédictifs opaques sont utilisés au cours de procès pénaux. Nous verrons que si les deux systèmes juridiques ont une approche différente de la question de la discrimination et de l’opacité algorithmique, ils apportent sensiblement les mêmes réponses

Dans un second temps, nous discuterons des limites à la portée de l’affaire State v. Loomis en étudiant l’approche européenne, plus préventive, concernant l’introduction de ce type d’algorithmes dans la prise de décision du juge pénal. Cette approche met en exergue des interrogations concernant la loyauté de la décision, ainsi que l’indépendance et l’impartialité du juge lorsqu’il appuie sa décision sur un résultat algorithmique.

 

 

 

I : L’utilisation de risk assessment reports au cours d’un procès et les atteintes aux garanties procédurales de Droit européen et de Droit américain.

En 2013, l’Etat du Wisconsin inculpa Eric Loomis de cinq chefs d’accusation liés à une fusillade en voiture. Loomis plaida coupable pour deux d’entre eux et fut condamné à une peine d’emprisonnement de six ans.  Au cours de la préparation du procès, le Wisconsin Department of Corrections fit produire un rapport sur la probabilité de récidive de Loomis qui contenait notamment un rapport d’évaluation des risques (risk assessment report) du logiciel COMPAS. Celui-ci évaluait Loomis comme un individu à haut risque de récidive. Loomis déposa une requête en vue d’obtenir une réparation suite à cette condamnation sur la base de la violation de son right to due process (« c’est-à-dire son droit à un procès équitable (fair trial) »).

Plus précisément, Loomis considérait que l’utilisation du logiciel COMPAS dans la fixation de sa peine constituait une violation de son right to be sentenced on accurate information à cause de l’opacité de COMPAS ; ainsi que de son right to an individualized sentence de par l’utilisation de données concernant le sexe du prévenu en l’inscrivant dans un groupe partageant des caractéristiques avec lui pour produire le rapport.

               A : Le respect essentiel du principe d’individualisation de la peine pour garantir l’effectivité du procès équitable et du right to due process.

Les droits européen et américain portent une attention particulière à l’appréciation des caractéristiques propres à partie défenderesse dans chaque espèce. Autrement dit, le respect du procès équitable et du due process ne peut être fondée uniquement sur la jurisprudence/precedents, mais doit prendre en compte les spécificités propres à chaque individu.

L’analyse du right to an individualized sentencing est centrale dans la recherche du due process par les juridictions de la Common Law. Réaffirmé par l’arrêt Canada in R. v. Pham (de la Cour Suprême du Canada, 2013) ce principe dit que les circonstances personnelles d’un accusé doivent être prises en compte par le juge dans la fixation de la peine. C’est pourquoi il n’est pas suffisant pour un tribunal de baser sa décision uniquement sur des cas similaires à l’espèce : « if the personal circumstances of the offender are different, different sentences will be justified ». 7

Bien que la reconnaissance du principe d’individualisation de la peine est moins claire en droit européen (la CEDH ne reconnait pas ce principe de manière indépendante, mais contrôle tout de même le respect de la proportionnalité in abstracto et in concreto) ; la Charte souligne que la doctrine d’individualisation de la peine est largement appliquée depuis 1945 au sein des pays de l’UE et que le recours aux algorithmes prédictifs dans le processus décisionnel du juge en matière pénale pose des difficultés importantes au respect de ce principe. Il s’agit notamment « de rappeler le rôle du juge en matière d’individualisation de la peine, sur la base d’éléments objectifs de personnalité (formation, emploi, prise en charge médico-sociale régulière) sans autre forme d’analyse que celle opérée par des professionnels spécifiquement formés » 8

Comme la Cour Suprême dans l’affaire Loomis, l’article 22 et la  raison 72 du RGPD offrent au destinataire d’une prise de décision algorithmique le droit d’obtenir une intervention humaine. Ces dispositions témoignent d’une volonté de protéger le principe d’individualisation de la peine, bien qu’il ne soit pas explicitement mentionné par le règlement.

 

 

B : Le biais algorithmique et la problématique de l’utilisation des données sensibles par les algorithmes prédictifs.

               Le second moyen de Loomis était basé sur la violation de la clause d’equal protection par l’utilisation de LOOMIS dans l’établissement de sa peine.

La notion d’equal protection (Quatorzième Amendement), est également décisive dans l’analyse du right to due process. Il s’agit de l’obligation qu’ont les institutions gouvernementales de traiter les citoyens de la même façon que ceux qui se trouvent dans les mêmes conditions et circonstances.  (“The governing body state must treat an individual in the same manner as others in similar conditions and circumstances” - 9.)  Il s’agit de l’obligation qu’a l’Etat de décider de façon impartiale, sans opérer de distinction entre les individus sur la base de différences qui seraient non pertinentes (irrelevant).

En outre, la clause d’Equal Protection interdit la classification des individus basée sur des impermissible classifications. Quid des origines ethniques, catégories sociales, orientation politique ou encore le sexe des personnes ? Le choix de ces données pour nourrir l’algorithme est très important, notamment dans le cas de COMPAS, très opaque.

La Professeure Starr, dans un article publié en 2014 explique que les algorithmes en question, en incluant des variables telles que l’âge, le genre ou les facteurs socioéconomiques (emploi, éducation) ; permettent aux juges de considérer des facteurs longtemps vus comme inappropriés au cours d’un criminal sentencing. Elle ajoute également que ces systèmes sont anticonstitutionnels puisque le Cour Suprême souligne avec persistance que des « impermissible classifications » ne peuvent être justifiées par des généralisation statistiques à propos de groupes, en particulier la race ou le genre ; même si ces généralisations sont, en moyenne, exactes (accurate). 10

L’approche européenne quant à la question de l’utilisation de données sensibles est plus claire que le droit américain. En effet, la Charte consacre explicitement l’importance d’une absence de biais dans le respect des principes de neutralité et de non-discrimination, soulignant expressément dans son deuxième principe les biais algorithmiques. Protégé par l’article 14 de la Convention Européenne des Droits de l’Homme, le principe de non-discrimination est constant dans la jurisprudence de la cour européenne. De plus, l’article 9 du RGPD interdit l’utilisation de données liées à l’origine raciale, l’appartenance religieuse, les préférences sexuelles ou encore des données biométriques ou l’état de santé de l’individu par le responsable de traitement.

Il faut en effet noter que malgré l’apparente objectivité des logiciels basés sur le machine learning, ceux-ci renferment en fait des « biais algorithmiques reflétant des systèmes de valeurs sociaux pouvant conduire à des pratiques discriminatoires ou à creuser les inégalités existantes » 11. Deux causes sont à l’origine de ces biais : le paramétrage du logiciel qui, dans le cas de Loomis, échappe au contrôle des juges à cause du droit au secret des affaires dont bénéficie le concepteur du logiciel ; et les discriminations héritées du monde réel qui ont servi à nourrir l’algorithme lors de sa phase d’apprentissage (les inputs).

Dans l’affaire Loomis, le prévenu avait avancé que COMPAS utilise le sexe comme une variable criminogène, mettant en péril la clause d’equal protection. La Cour Suprême du Wisconsin considère pour sa part que l’utilisation du sexe est nécessaire pour la précision du logiciel ; bien qu’elle reconnaisse que les hommes se voient attribuer des taux de risque de récidive plus élevés que les femmes.      

La question du biais algorithmique fut également abordée au cours de l’affaire Loomis à cause de l’utilisation de facteurs laissant transparaitre l’ethnie des individus dans la phase d’apprentissage de COMPAS. Ces données entrent néanmoins dans la catégorie des impermissible classifications.

En l’espèce, les journalistes de ProPublica ont montré en mai 2016 que le l’algorithme de COMPAS était biaisé, et que les populations noires ont de plus grandes chances de voir leur risque de récidive marqué comme élevé par COMPAS comparé aux populations blanches 12. Malgré l’opacité de COMPAS ne permettant pas de s’assurer de l’existence de données explicitement discriminantes, l’ONG considère que, par croisement des données liées à l’individu (lieu de résidence, éducation, emploi, histoire avec les autorités judiciaires etc.), celles-ci ont agi comme des proxys à l’appartenance ethnique des individus en cause. Autrement dit, le biais racial de l’algorithme serait camouflé derrière des informations démographiques et leur statut économique.

Il est donc étonnant que la Cour Suprême du Wisconsin ne se soit pas montrée plus sensible à cet argument au cours de l’affaire Loomis, et l’on ne peut que regretter que la Cour Suprême ne se soit pas saisie de l’affaire pour préciser ses positions sur la question ; en particulier au regard de questionnements afférant à l’indépendance du juge et à la transparence des algorithmes.

II : Opacité algorithmique et indépendance du processus décisionnel du juge. Vers un droit à « l’explicabilité » des décisions algorithmiques ?

Si les systèmes judiciaires américains et européens partagent des points communs quant à la protection des droits de la Défense, il est certain que l’approche européenne, de tradition civiliste, est plus claire et semble plus protectrice des intérêts individuels des justiciables que l’approche américaine. Pourtant, nous verrons ici que le Due Process américain et sa recherche d’un Technological Due Process peut être utilisé pour une recherche de plus d’équité, de loyauté, et de transparence lorsque des algorithmes prédictifs sont utilisés à l’encontre des citoyens américains.

A : La question de l’indépendance du juge et de la bonne foi dans l’utilisation des algorithmes

               Une question importante dans le rapport au procès équitable et qui n’a pas été abordée par la Cour Suprême Américaine - du fait qu’elle ne s’est pas saisie de l’affaire - est celle de l’impartialité et de l’indépendance du juge. Bien que les limitations listées par la Cour Suprême du Wisconsin à l’utilisation des rapports algorithmiques par le juge cherchent à préserver son indépendance, une réflexion plus poussée sur le fond plutôt que sur la procédure aurait été intéressante à développer si la Cour Suprême américaine s’était saisie de l’affaire.

En effet, la Cour Suprême du Wisconsin estime que ces outils ne peuvent être utilisés par le juge qu’afin de mieux comprendre la situation unique du défendeur. L’outil ne devrait pas servir à déterminer la durée ou la sévérité de la sentence ; et ne peut surtout pas apparaître comme un facteur aggravant ou atténuant la peine « aggravating or mitigating factor in a sentencing decision ». Il est donc fondamental que le juge assoie sa décision sur d’autres éléments que le rapport de l’algorithme. Sur ce point, l’argumentaire de la Cour se rapproche de la législation européenne et notamment l’article 22 du RGPD précité qui proscrit les décisions « produisant des effets juridiques à l’égard d’une personne […] sur le seul fondement d’un traitement automatisé de données à caractère personnel, y compris le profilage ». En outre, la Cour Suprême du Wisconsin dit que dans la phase de pré-procès, tout rapport qui contiendrait des résultats de l’algorithme COMPAS devront comprendre des lignes directrices et une série d’avertissement expliquant la nature propriétaire de l’outil et l’opacité qui en découle.

Mais les experts estiment que les mesures préventives de la Cour Suprême du Wisconsin ne sont pas suffisantes. En plus d’être limitées à l’Etat du Wisconsin, la Cour n’a pas adressé la question de l’équité/justice (fairness) de la méthode.

Le RGPD privilégie une approche plus concrète en consacrant dans son article 5 le principe de traitement licite, loyal, et transparent des données à caractère personnel. Cette obligation apparait également dans la Charte dans son quatrième principe : « le principe de transparence, de neutralité, et d’intégrité intellectuelle »

Dans le cadre d’un procès pénal, cela signifie que ces outils doivent être utilisés de manière responsable afin de ne pas favoriser une catégorie d’individus plutôt qu’une autre.

Par exemple, un algorithme qui conclurait sans cesse que les hommes méritent des peines plus graves que les femmes en se basant sur des décisions judiciaires passées, serait exact/accurate ! Mais cela ne le rendrait pas « fair » pour autant car le juge doit également prendre en compte la situation personnelle de chaque prévenu.

Finalement on pourrait dire que pour éviter une possible « unfairness » provenant d’une pure précision de l’algorithme « accuracy », il ne faut pas qu’un groupe soit favorisé ou défavorisé. Or l’opacité de COMPAS rend très difficile l’estimation de cette potentielle unfairness, en particulier concernant l’ethnie des individus puisqu’on ne sait pas exactement dans quelle mesure ces facteurs ont joué sur sa décision algorithmique.

La Charte pose plusieurs pistes de réflexion quant à la protection de l’indépendance et l’impartialité du juge. Faut-il créer un droit d’être jugé sans que le juge consulte un algorithme ? « Est-il approprié de demander aux magistrats des efforts supplémentaires de motivation pour expliquer les écarts à cette « moyenne » ?) Cette question est lourde de sens puisque, dans le système français par exemple, « le juge tranche le litige conformément aux règles de droit qui lui sont applicables ». Face à cette « prophétie autoréalisatrice », le juge trancherait le litige non seulement en fonction des règles de droit, mais également de statistiques élaborées par l’outil algorithmique (lequel pourrait par ailleurs être biaisé et renforcer les inégalités du monde réel !) (Cinquième principe de la Charte, « maîtrise par l’utilisateur »)

La Charte nous éclaire sur l’équilibre à maintenir entre utilisation du logiciel et intuition humaine. L’utilisation d’algorithmes d’aide à la décision est un risque important pouvant remettre en cause la non impérativité de la force de la jurisprudence. Cette « prophétie autoréalisatrice » est bien sûr une potentielle atteinte à l’impartialité du juge. « S’il n’a pas à être « neutre ou indifférent », il lui est en revanche demandé d’être « impartial et objectif » » 13

De même, lorsqu’un juge consulte un résultat algorithmique, son indépendance est en péril puisque sa réflexion et son esprit critique sont fatalement affectés et biaisés par la simple connaissance de ce résultat. Dès lors, peu importe que le juge se laisse effectivement influencé par le résultat, il n’apparaitra plus comme parfaitement indépendant aux yeux du justiciable. Le « soupçon de partialité » est né. Ce risque ne trouve aucun garde-fou dans l’état actuel du droit.

Le professionnel de la justice devrait à tout moment pouvoir revenir aux décisions et données judiciaires ayant été utilisées pour produire un résultat et surtout, avoir la possibilité de s’en écarter au vu des spécificités de l’affaire concrète.

B : Les pistes posées par la Charte : La quête de transparence et d’explicabilité des décisions algorithmiques pour préserver l’indépendance et l’esprit critique du juge ; et leurs équivalents dans le Technological Due Process.

La recherche d’impartialité du juge suppose qu’il soit en pleine connaissance du processus décisionnel propre à l’algorithme prédictif en question. Le principe de transparence des décisions algorithmiques est fondamental pour le respect des exigences de loyauté et d’intégrité intellectuelle dans la quête de protection de l’équité et de la Justice.  Le droit européen impose plusieurs obligations d’information au responsable de traitement des données, ainsi que des garanties à la personne concernée. Aux Etats-Unis, ce débat est également discuté par la doctrine.

Pour lutter contre le problème de l’opacité algorithmique exposé plus haut, le RGPD offre aux personnes dont les données personnelles sont utilisées à des fins prédictive une série de droits dont certains sont nouveaux tel le droit à la portabilité (article 20 du RGPD). D’autres comme le droit d’accès et le droit à l’information sont renforcés aux articles 13, 14, et 15. Aujourd’hui, l’individu dont les données personnelles servent à la prise automatique de décision automatique doit être informée de la collecte de ses données personnelles, qu’elles aient « été collectées directement auprès de la personne concernée (art. 13 § 2(f) du RGPD) ou non (art. 14 § 2(g) du RGPD) », et de de l’existence d’un traitement automatisé reposant sur les données en question.

Aux Etats-Unis, cette recherche de transparence par le droit à l’information n’est pas codifiée aussi clairement qu’en Europe, dévoilant une approche plus libérale qui semble moins préoccupée par les protections de la vie privée des personnes.

Dans un article de 2010, Technological Due Process, Danielle Citron explore les risques de l’utilisation de systèmes de prise de décision automatisés par l’administration. 1

Pour faire face à toutes les limites des régulations actuelles sur l’utilisation d’algorithmes prédictifs par les institutions publiques, cet article propose non pas de réguler la façon dont les données sont récoltées, utilisées et divulguées ; mais à s’assurer de l’honnêteté (fairness) des techniques analytiques exploitant des données personnelles (ou des métadonnées dérivées ou associées à des données personnelles) basées sur la Big Data dans un contexte de procédure judiciaire (adjudicative process).

Par exemple, au lieu de se concentrer sur le droit d’information et d’accès aux données personnelles collectées par le responsable de traitement, comme le fait le RGPD, le data due process se concentre sur les données ayant menée au résultat algorithmique en cause. Citron note tout de même la nécessité d’une notification préalable à la personne concernée l’informant de la finalité du traitement, et du processus de décision de l’agence publique. Elle ajoute que les systèmes automatisés de prise de décision administrative doivent inclure un historique de tous les faits et règles justifiant chaque décision (audit trails). Cet historique doit ensuite être résumé et transmise à l’individu concerné lorsqu’une décision basée sur ces outils a été prise. Or cette notification est rarement respectée, antérieurement ou postérieurement à la prise de décision. Et même quand c’est le cas, il est rare que les preuves et raisonnement soient partagés. Aujourd’hui, aucune obligation légale n’oblige le prestataire à partager un historique d’audit aux Etats-Unis.

Malgré sa quête essentielle d’une transparence du traitement algorithmique, l’efficacité du droit à l’information est questionnée à cause de la complexité du processus prédictif des algorithmes. En effet, même s’il était possible d’avoir accès au code source, il serait très complexe pour un spécialiste des technologies du Big Data d’en saisir vraiment le sens et de l’expliquer dans un langage clair et compréhensible. Aujourd’hui, la question d’un droit à « l’explicabilité » du fonctionnement des algorithmes est posée par le droit européen.

Le droit européen permet « l’accès à la démarche de conception du logiciel » (article 15.1 du RGPD), c’est-à-dire la vulgarisation du fonctionnement algorithmique, ainsi qu’une obligation de traitement transparent des données (article 5 du RGPD). De même, le quatrième principe de la Charte évoqué plus haut parle clairement de sa volonté de « rendre accessibles et compréhensibles les méthodologies de traitement des données, autoriser les audits externes ».

Si les articles 13 à 15 du RGPD prévoient une obligation d’information claire et compréhensible, celle-ci n’est pas suffisante pour consacrer réellement le droit à explication. En effet, ils offrent aux individus uniquement un droit d’obtenir une information générale sur la technique de traitement automatisé des données personnelles, et non une explication sur la décision prise suite à ce traitement. De ce fait, les obligations de transparence et de loyauté ne permettent pas de contester efficacement et avec équité/fairness la décision du juge assisté d’un algorithme prédictif.

Le droit américain est moins protecteur des droits fondamentaux de l’individu en ce sens, puisqu’il ne requiert aucunement la publication du fonctionnement de l’algorithme.

Enfin, la Charte en appelle aux autorités publiques. C’est à elles que revient le rôle d’organiser une procédure capable de protéger le juge et de maintenir son impartialité. Il est fondamental que le développement et l’introduction d’algorithmes, peu importe leur utilisation, dans le système judiciaire et le secteur de la justice de manière plus générale, soient accompagné d’une réglementation particulière. A défaut, « l’Etat contreviendrait à son obligation, en vertu de l’article 6 CEDH, de mettre en place une procédure effective et accessible en vue de protéger les droits conventionnels et notamment la création d’un cadre réglementaire instaurant un mécanisme judiciaire exécutoire » 14

 

 

SOURCES

DEFINITIONS

-Apprentissage automatique (machine learning)

Ensemble d’algorithmes, sous-ensemble de l’intellligence artificielle (IA), mimant les capacités humaines d’apprentissage et d’entraînement.

(C. Castets-Renard, P. Besse, J.M. Loubes, L. Perrussel, Encadrement des risques techniques et juridiques des activités de police prédictive et secours prédictifs, 22 Juillet 2019, https://hal.archives-ouvertes.fr/hal-02190585)

TEXTES OFFICIELS:

-Article 6 de la Convention Européenne des Droits de l’Homme : « 1. Toute personne a droit à ce que sa cause soit entendue équitablement, publiquement et dans un délai raisonnable, par un tribunal indépendant et impartial, établi par la loi ».

14 de la Convention Européenne des Droits de l’Homme : « Principe de non-discrimination 1. Est interdite toute discrimination fondée notamment sur le sexe, la race, la couleur, les origines ethniques ou sociales, les caractéristiques génétiques, la langue, la religion ou les convictions, les opinions politiques ou toute autre opinion, l'appartenance à une minorité nationale, la fortune, la naissance, un handicap, l'âge ou l'orientation sexuelle. 2. Dans le domaine d'application des traités et sans préjudice de leurs dispositions particulières, toute discrimination exercée en raison de la nationalité est interdite. »

Depuis le traité de Lisbonne, la non-discrimination figure parmi les valeurs et les objectifs de l’Union (art. 2 et 3 du Traité sur l’Union Européenne, C 326/15.

-Règlement n° 2016/679, dit Règlement Général sur la Protection des Données (RGPD) adopté par le Parlement européen le 14 Avril 2016 et applicables aux 28 Etats Membres de l’UE à compter du 25 Mai 2018.

-Charte éthique pour l’utilisation de l’Intelligence Artificielle dans les systèmes judiciaires, adoptée lors de la 31ème réunion plénière de la CEPEJ (Strasbourg, Décembre 2018).

https://rm.coe.int/charte-ethique-fr-pour-publication-4-decembre-2018/16...

-Charte des Droits Fondamentaux de l’Union Européenne, (2000/C 364/01)

Article 22 du RGPD "Décision individuelle automatisée, y compris le profilage" : « Aucune décision produisant des effets juridiques à l'égard d'une personne ou l'affectant de manière significative ne peut être prise sur le seul fondement d'un traitement automatisé de données à caractère personnel, y compris le profilage ».

Article 14 de la Convention Européenne des Droits de l’Homme : « Principe de non-discrimination 1. Est interdite toute discrimination fondée notamment sur le sexe, la race, la couleur, les origines ethniques ou sociales, les caractéristiques génétiques, la langue, la religion ou les convictions, les opinions politiques ou toute autre opinion, l'appartenance à une minorité nationale, la fortune, la naissance, un handicap, l'âge ou l'orientation sexuelle. 2. Dans le domaine d'application des traités et sans préjudice de leurs dispositions particulières, toute discrimination exercée en raison de la nationalité est interdite. »

Depuis le traité de Lisbonne, la non-discrimination figure parmi les valeurs et les objectifs de l’Union (art. 2 et 3 du Traité sur l’Union Européenne, C 326/15.

               CITATIONS :

1 : CITRON, Danielle Keats. Technological due process. Wash. UL Rev., 2007, vol. 85.

2: Scarlett-May FERRIÉ, Les algorithmes à l'épreuve du droit au procès équitable, Procédures n°4, 4 Avril 2018, Lexis 360

3: The United States Solicitor General also filed a Brief to defend COMPAS. See Brief for the United States as Amicus Curiae, Loomis v. Wisconsin, 137 S. Ct. 2290 (2017) (No. 16-6387), 2017 WL 2333897

4: T. Wickers, L'intelligence artificielle et la justice Les applications possibles et le cadre de déploiement, 4 Juillet 2019, Cahiers de droit de l'entreprise n° 4, Juillet 2019, dossier 26, Lexis 360

5 : Chicago, Burlington & Quincy Railroad Co. v. City of Chicago, 1 Mars 1897, 166 U.S. 226, 17 S. Ct. 581; 41 L. Ed. 979; 1897 U.S. LEXIS 2019

6: State v. Loomis, 881 N.W.2d 749 (Wis. 2016).

7 : R. v. Pham, 2013, SCC 15

8 : (page 53 de la Charte)

9: Legal Information Institute, définition de “Equal Protection”, https://www.law.cornell.edu/wex/equal_protection

10 : Sonja B. Starr, Evidence-Based Sentencing and the Scientific Rationalization of Discrimination, 66 Stan. L. Rev. 803, 855-56, 2014

11 : A.-A. Hyde, CEPEJ, Vers une cyberéthique de la justice « prédictive », 4 Décembre 2018, Dalloz.

12 : Jeff Larson et al., How We Analyzed the COMPAS Recidivism Algorithm, ProPublica, 23 Mai 2016, https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism...

13: P. de Fontbressin, La neutralité du juge, in Le procès équitable et la protection juridictionnelle du citoyen : Bruylant, 2001, p. 79.

14 : CEDH, 16 déc. 2010, n° 25579/05, A, B et C. c/ Irlande, § 245

AUTRES RESSOURCES EN LIGNE :

-Harvard Law Review, Criminal Law — sentencing guidelines — Wisconsin Supreme Court requires warning before use of algorithmic risk assessments in sentencing. — State v. Loomis, 881 n.w.2d 749 (wis. 2016).

-Kehl, Danielle, Priscilla Guo, and Samuel Kessler, Algorithms in the Criminal Justice System: Assessing the Use of Risk Assessments in Sentencing. Responsive Communities Initiative, Berkman Klein Center for Internet & Society, 2017, Harvard Law School

-E. Israni, Algorithmic Due process: Mistaken accountability and attribution in State v. Loomis, 31 Août 2017