IA a haut risque : liste des systemes et obligations

La categorie des systemes d’IA a haut risque constitue le coeur operationnel du reglement europeen sur l’intelligence artificielle (AI Act). C’est pour ces systemes que le legislateur europeen a elabore l’essentiel du dispositif de conformite : obligations techniques, organisationnelles et documentaires qui s’imposent tant aux fournisseurs qu’aux deployeurs. La qualification d’un systeme d’IA comme systeme a haut risque emporte des consequences juridiques majeures et determine le niveau d’exigence applicable en matiere de gestion des risques, de qualite des donnees, de transparence et de controle humain.

L’identification precise des systemes d’IA relevant de cette categorie constitue donc la premiere etape de toute demarche de conformite au AI Act. Cette identification repose sur un mecanisme a double entree prevu par l’article 6 du reglement : d’une part, les systemes d’IA integres dans des produits soumis a une legislation d’harmonisation de l’Union ; d’autre part, les systemes d’IA autonomes utilises dans des domaines specifiquement enumeres a l’annexe III.

Le mecanisme de classification des systemes a haut risque

Les systemes d’IA integres dans des produits reglementes (article 6, paragraphe 1)

Le premier critere de classification concerne les systemes d’IA qui constituent eux-memes un produit ou qui sont un composant de securite d’un produit couvert par la legislation d’harmonisation de l’Union listee a l’annexe I du reglement. Cette liste couvre un large eventail de secteurs : machines, jouets, equipements marins, ascenseurs, equipements sous pression, dispositifs medicaux, vehicules, aviation civile, entre autres.

Pour qu’un systeme d’IA integre dans ces produits soit qualifie de systeme a haut risque, deux conditions cumulatives doivent etre reunies : le systeme d’IA doit etre destine a etre utilise comme composant de securite du produit ou le systeme d’IA est lui-meme un produit couvert par la legislation d’harmonisation, et ce produit doit etre soumis a une evaluation de conformite par un tiers en application de la legislation d’harmonisation applicable.

Les systemes d’IA autonomes dans les domaines a risque (article 6, paragraphe 2, et annexe III)

Le second critere de classification vise les systemes d’IA utilises dans des domaines specifiquement enumeres a l’annexe III du reglement. Cette annexe identifie huit domaines consideres comme a haut risque en raison de l’impact potentiel des systemes d’IA sur les droits fondamentaux, la sante ou la securite des personnes.

La liste complete des domaines a haut risque (annexe III)

1. Identification biometrique et categorisation des personnes physiques

Ce domaine couvre les systemes d’identification biometrique a distance, a l’exception des systemes destines a la verification biometrique dont la seule finalite est de confirmer qu’une personne est bien celle qu’elle pretend etre. Les systemes de categorisation biometrique qui deduisent des attributs sensibles (race, opinions politiques, appartenance syndicale, convictions religieuses, orientation sexuelle) sont interdits au titre de l’article 5. Les systemes de reconnaissance des emotions sur le lieu de travail et dans les etablissements d’enseignement sont egalement interdits, sauf pour des raisons medicales ou de securite.

2. Gestion et exploitation des infrastructures critiques

Sont vises les systemes d’IA utilises comme composants de securite dans la gestion et l’exploitation d’infrastructures numeriques critiques, du trafic routier, de l’approvisionnement en eau, gaz, chauffage et electricite. L’impact potentiel d’une defaillance de ces systemes sur la securite publique justifie leur classification a haut risque.

3. Education et formation professionnelle

Les systemes d’IA utilises pour determiner l’acces a des etablissements d’enseignement ou de formation professionnelle, pour evaluer les resultats d’apprentissage, pour determiner le niveau d’education appropriate pour une personne ou pour surveiller et detecter des comportements interdits lors d’examens relevent de la categorie haut risque. Ces systemes influencent de maniere significative les parcours educatifs et professionnels des personnes.

4. Emploi, gestion de la main-d’oeuvre et acces a l’emploi independant

Ce domaine, particulierement critique, couvre les systemes d’IA utilises pour le recrutement et la selection de candidats (publication d’offres, tri de candidatures, evaluation des candidats, conduite d’entretiens), pour la prise de decisions relatives a la promotion, a la cessation de la relation de travail, a l’attribution de taches sur la base de traits de personnalite ou de comportements individuels, ainsi que pour le suivi et l’evaluation de la performance et du comportement des salaries.

5. Acces aux services essentiels et prestations sociales

Sont vises les systemes d’IA destines a evaluer l’eligibilite a des prestations et services d’aide publique, a octroyer, reduire, revoquer ou recuperer ces prestations, ainsi que les systemes utilises pour evaluer la solvabilite des personnes physiques (hors detection de fraude financiere). Les systemes d’IA utilises pour l’evaluation et la classification des appels d’urgence, ainsi que pour l’evaluation des risques et la tarification en assurance-vie et assurance-sante sont egalement concernes.

6. Repression

Les systemes d’IA utilises par les autorites repressives pour evaluer le risque qu’une personne devienne victime ou auteur d’une infraction, comme polygraphe ou outil d’evaluation de la fiabilite de preuves, pour evaluer le risque de recidive, pour le profilage dans le cadre d’enquetes, et pour l’analyse criminelle visant a identifier des schémas sont classes a haut risque.

7. Migration, asile et controle aux frontieres

Ce domaine couvre les systemes d’IA utilises comme polygraphes ou pour evaluer des risques lies a la securite, a l’immigration irreguliere ou a la sante, pour l’examen de demandes d’asile, de visas ou de titres de sejour, ainsi que pour l’identification de personnes dans le cadre de la migration.

8. Administration de la justice et processus democratiques

Les systemes d’IA destines a assister une autorite judiciaire dans la recherche et l’interpretation des faits et du droit et dans l’application de la loi a un ensemble de faits concrets, ainsi que les systemes susceptibles d’influencer le resultat d’elections ou de referendums, sont classes a haut risque.

Le mecanisme d’exclusion : la clause de non-pertinence

L’article 6, paragraphe 3, du AI Act introduit un mecanisme important : meme si un systeme d’IA releve d’un des domaines de l’annexe III, il n’est pas considere comme a haut risque s’il ne presente pas de risque significatif de prejudice pour la sante, la securite ou les droits fondamentaux des personnes. C’est le cas notamment des systemes destines a effectuer une tache procedurale etroite, a ameliorer le resultat d’une activite humaine prealablement realisee, a detecter des schemas decisionnels sans remplacer l’evaluation humaine ou a effectuer une tache preparatoire a une evaluation pertinente pour les cas d’utilisation enumeres.

Le fournisseur qui estime que son systeme releve de cette exception doit documenter son evaluation avant la mise sur le marche et la transmettre aux autorites nationales competentes sur demande. Les autorites de surveillance du marche peuvent contester cette evaluation.

Les obligations des fournisseurs de systemes a haut risque

Le systeme de gestion des risques (article 9)

Les fournisseurs doivent etablir, mettre en oeuvre, documenter et maintenir un systeme de gestion des risques continu tout au long du cycle de vie du systeme. Ce systeme doit identifier et analyser les risques connus et raisonnablement previsibles, estimer et evaluer ces risques, adopter des mesures de gestion appropriees et tester le systeme pour s’assurer de l’adequation des mesures.

La qualite des donnees (article 10)

Les jeux de donnees d’entrainement, de validation et de test doivent repondre a des criteres de qualite stricts : pertinence, representativite, absence d’erreurs dans la mesure du possible, exhaustivite au regard de la finalite prevue. Les fournisseurs doivent prendre en compte les specificites du contexte d’utilisation et, le cas echeant, traiter des donnees relatives a des caracteristiques protegees pour detecter et corriger les biais.

La documentation technique (article 11)

La documentation technique doit etre etablie avant la mise sur le marche et tenue a jour. Elle doit permettre aux autorites nationales competentes et aux organismes notifies d’evaluer la conformite du systeme. Le contenu minimal de cette documentation est defini a l’annexe IV du reglement.

L’enregistrement automatique des evenements (article 12)

Les systemes d’IA a haut risque doivent etre concus de maniere a enregistrer automatiquement les evenements pertinents (journaux de bord) pendant la periode de fonctionnement. Ces journaux doivent permettre la tracabilite du fonctionnement du systeme et faciliter la surveillance posterieure a la mise sur le marche.

Les obligations de transparence (article 13)

Les systemes doivent etre concus de maniere a ce que leur fonctionnement soit suffisamment transparent pour permettre aux deployeurs d’interpreter les resultats et de les utiliser de maniere appropriee. Les instructions d’utilisation doivent inclure les caracteristiques, capacites et limites du systeme, les mesures de controle humain et les specifications techniques.

Le controle humain (article 14)

Le systeme doit etre concu pour permettre une supervision humaine effective. Les personnes en charge du controle doivent etre en mesure de comprendre les capacites et limites du systeme, de surveiller son fonctionnement, de detecter les anomalies et de decider de ne pas utiliser le systeme ou d’ignorer ses resultats dans des situations specifiques.

La precision, la robustesse et la cybersecurite (article 15)

Le systeme doit atteindre un niveau de precision, de robustesse et de cybersecurite appropriate, declare dans la documentation technique et les instructions d’utilisation. Il doit etre resilient face aux erreurs, aux defaillances, aux tentatives de manipulation et aux attaques.

Les obligations des deployeurs

Les deployeurs de systemes d’IA a haut risque, c’est-a-dire les organismes qui utilisent ces systemes sous leur autorite, ont egalement des obligations specifiques. Ils doivent utiliser le systeme conformement aux instructions d’utilisation, s’assurer que les personnes en charge du controle humain disposent des competences et de l’autorite necessaires, s’assurer que les donnees d’entree sont pertinentes et suffisamment representatives, surveiller le fonctionnement du systeme et signaler tout incident ou dysfonctionnement au fournisseur.

Les deployeurs doivent egalement realiser une analyse d’impact sur les droits fondamentaux avant de mettre en service un systeme d’IA a haut risque. Cette obligation s’ajoute a l’obligation d’AIPD prevue par le RGPD lorsque le systeme traite des donnees personnelles.

Le registre des systemes d’IA constitue une autre obligation pour les deployeurs, qui doivent enregistrer leur utilisation de systemes d’IA a haut risque dans la base de donnees de l’UE.

L’evaluation de conformite

Avant la mise sur le marche, les systemes d’IA a haut risque doivent faire l’objet d’une evaluation de conformite. Pour la plupart des systemes relevant de l’annexe III, cette evaluation est realisee par le fournisseur lui-meme (auto-evaluation) selon les procedures definies a l’annexe VI. Toutefois, pour les systemes d’identification biometrique a distance, l’evaluation doit etre realisee par un organisme notifie.

Pour les systemes integres dans des produits reglementes, la procedure d’evaluation de conformite est celle prevue par la legislation d’harmonisation applicable, adaptee pour integrer les exigences du AI Act.

Le fournisseur qui estime que son systeme est conforme appose le marquage CE et etablit une declaration UE de conformite. Il doit conserver la documentation technique et les resultats de l’evaluation de conformite pendant une duree de dix ans apres la mise sur le marche.

Les sanctions en cas de non-conformite peuvent atteindre 15 millions d’euros ou 3 % du chiffre d’affaires annuel mondial pour les violations des obligations applicables aux systemes a haut risque, un montant dissuasif qui souligne l’importance d’une classification rigoureuse et d’une conformite complete.

La base de donnees EUR-Lex fournit le texte integral du reglement, incluant les annexes I, II et III qui sont essentielles a la classification des systemes.

FAQ

Comment determiner si mon systeme d’IA est a haut risque ?

La determination du caractere a haut risque d’un systeme d’IA repose sur un examen en deux etapes. Premierement, verifiez si le systeme est integre dans un produit couvert par la legislation d’harmonisation listee a l’annexe I du AI Act et soumis a une evaluation de conformite par un tiers. Deuxiemement, verifiez si le systeme releve d’un des huit domaines enumeres a l’annexe III. Si le systeme releve de l’annexe III, evaluez si la clause de non-pertinence de l’article 6(3) peut s’appliquer. Dans tous les cas, documentez votre analyse de classification et conservez-la dans votre documentation technique. En cas de doute, l’approche la plus prudente consiste a traiter le systeme comme un systeme a haut risque.

Quelles sont les consequences d’une mauvaise classification de mon systeme d’IA ?

Une sous-classification, c’est-a-dire le fait de traiter un systeme a haut risque comme un systeme de moindre risque, expose l’entreprise a des sanctions financieres pouvant atteindre 15 millions d’euros ou 3 % du chiffre d’affaires mondial, a des mesures correctives imposees par les autorites de surveillance du marche (retrait, rappel, interdiction de mise sur le marche) et a des actions en responsabilite civile de la part des personnes affectees. La fourniture d’informations inexactes ou incompletes aux autorites est elle-meme sanctionnee par des amendes pouvant atteindre 7,5 millions d’euros ou 1 % du chiffre d’affaires mondial.

Les PME beneficient-elles d’amenagements pour les systemes a haut risque ?

Le AI Act prevoit certains amenagements pour les PME et les startups. Les obligations de documentation technique peuvent etre alleger dans leur forme (mais non dans leur substance) pour les petites entreprises. Les organismes notifies doivent tenir compte de la taille de l’entreprise dans la determination des frais d’evaluation de conformite. Le reglement prevoit egalement la mise en place de bacs a sable reglementaires (regulatory sandboxes) par les autorites nationales, offrant un cadre d’experimentation encadre permettant aux petites entreprises de tester leurs systemes d’IA a haut risque dans un environnement supervise avant leur mise sur le marche.