L’utilisation d’algorithmes ou de systèmes d’Intelligence Artificielle (IA) dans les services publics se fait de plus en plus récurrente. Cela pose un certain nombre de questions sur les décisions administratives dans lesquelles elles sont impliquées, mais également sur la transparence des informations à leur sujet. Dans ce contexte, la Défenseure des droits a publié un rapport pour alerter sur cette problématique.

L’utilisation croissante des algorithmes dans les services publics

Utilisés depuis des décennies pour le calcul des impôts, les algorithmes, qui ont connus de grandes évolutions ces dernières années avec l’IA, ont vu leur utilisation s’étendre à nombre de domaines dans les services publics.

Un exemple frappant est celui de l’Education nationale : entre logiciels d’apprentissages personnalisés et "assistants pédagogiques intelligents", une volonté de multiplier l’utilisation de systèmes d’IA a été développée.

Déjà en place pour les classes du CP au CE2, le ministère souhaite les généraliser à tous les niveaux.

Concernant la sélection dans le supérieur, l’algorithme utilisé pour Parcoursup a beaucoup fait parler de lui, et pas de façon positive.

En comparant les chiffres des élèves admissible grâce à cet algorithme à celui de Science Po Bordeaux (qui en utilise un autre), les résultats sont frappants.

Pour le premier, seuls 5 % des élèves boursiers sont admissibles, contre 12 % avec celui de l’école bordelaise, même constat pour les élèves issus des DROM-COM qui passent de 3,5 % à 8,5 % d’admissibilité.

Le cadre juridique existe, mais il reste limité – Comment ça marche ?

Les obligations des services publics sont contrôlées au titre du CRPA (le Code des relations entre le public et l'administration). Ce dernier les oblige notamment à mentionner de manière explicite qu'une décision administrative a été prise sur le fondement d'un algorithme, et que l'utilisateur peut obtenir des informations supplémentaires s'il le souhaite.

Malgré tout, ces obligations légales restent limitées par divers facteurs comme :

• la protection de certains secrets : la Commission d’accès aux documents administratifs (CADA) a notamment refusé la communication de l’algorithme utilisé par la CNAF attribuant un score de risque aux allocataires, ne souhaitant pas divulguer les critères utilisés pour cibler les contrôles,
• l’absence de sanction pour les administrations et organismes qui ne respectent pas les obligations du CRPA : notamment l’obligation de publier les "règles définissant les principaux traitements algorithmiques" prévue à l’art. L. 312-1-3 du CRPA.

Au vu de ces éléments, la Défenseure des droits formule un certain nombre de recommandations dont :

• l’introduction d’une sanction en cas de non-respect de l’obligation de publication prévue à l’art. L. 312-1-3 du CRPA,
• produire pour les usagers des modèles de demande d’information complémentaires et de publications du code source, aisément accessibles sur les sites des administrations,
• soutenir la recherche dans ce domaine ainsi que les projets associatifs et collectifs visant à favoriser la compréhension et le débat public autour de ces sujets.

> Rapport : Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ? (Défenseur des Droits)

> Adaptiv'Math, l'exemple d'un outil d'IA utilisé à l'école (Ministère de l'éducation nationale et de la jeunesse)