Suite aux annonces du ministre Stanislas Guerini sur une grande expérimentation de l’intelligence artificielle générative dans les administrations, Ulrich Tan, chef du pôle Datalab au sein de la direction interministérielle du numérique, nous dévoile les travaux IAG en cours au cœur de la DSI de l’Etat.

Le ministre de la Transformation et de la Fonction publiques, Stanislas Guerini, a annoncé le 5 octobre le lancement d’une expérimentation de l’usage de l’IA générative au sein des services publics. Cette expérimentation est basée sur une IA déjà disponible sur le marché (le modèle développé par la société américaine Anthropic, NDLR). En parallèle, la Dinum développe en interne une solution libre qui devrait être mise à disposition des administrations à partir de 2024. Celle-ci, basée sur un modèle ouvert, s’appuie sur une infrastructure française gérée par la direction interministérielle du numérique (Dinum). Ulrich Tan, chef du pôle Datalab du département Etalab et adjoint à la cheffe du département Etalab au sein de la direction interministérielle du numérique revient sur les enjeux techniques que la Dinum doit relever. Celui qui est aussi rapporteur au sein du comité sur l’intelligence artificielle générative, lancé par la Première ministre le 19 septembre dernier, insiste notamment sur l’intérêt de disposer d’une alternative aux offres commerciales du marché sur les sujets en vogue de l’IAG.

A lire aussi : Politiques prioritaires du Gouvernement : la Dinum à la manœuvre

Alliancy. Quel rôle la Dinum joue-t-elle dans le cadre de l’annonce par le ministre Stanislas Guérini d’une expérimentation de l’intelligence artificielle générative (IAG) pour l’administration ?

Ulrich Tan. L’expérimentation lancée officiellement le 5 octobre concerne les agents de Services Publics +. Cette plateforme permet notamment à toute personne de raconter une expérience vécue avec l’administration et de solliciter les réponses d’agents en retour. Pour rédiger celles-ci, les agents pourront dorénavant bénéficier d’une proposition de réponse générée en un clic par l’intelligence artificielle, qu’ils complèteront, reformuleront, adapteront, etc. Il s’agit d’un projet mené par la direction interministérielle de la transformation publique (DITP) pour tester l’usage de l’IA : faire gagner du temps à l’agent et lui permettre d’améliorer l’échange avec les usagers. En parallèle de cette initiative, qui s’appuie sur une IA déjà disponible sur le marché, la DINUM travaille en interne sur une expérimentation technologique, pour créer les fondations qui permettront des usages d’intelligence artificielle générative à différents niveaux dans les administrations. Nous développons ainsi une IA entièrement basée sur des briques technologiques libres, et reposant sur une infrastructure que nous maîtrisons.

Depuis quand travaillez-vous sur ce modèle et quelles en sont les caractéristiques principales ?

J’ai pris la tête du Datalab le 15 juin 2023, mais la première ligne de code avait été écrite quelques jours avant, dès le 5 juin. Avec une équipe de huit personnes, nous avons réussi à avoir plusieurs modèles de test dès fin juin. Nous travaillons depuis sur le « fine-tuning », c’est-à-dire l’éducation spécialisée de ces modèles, pour qu’ils soient pertinents et efficaces sur les différents cas d’usages envisagés. Tous reposent sur la même logique globale : pouvoir poser des questions en langage naturel, auxquelles l’IA proposera des réponses. Mais pour que ces réponses soient vraiment utiles, il faut absolument mener ce fine-tuning.

Notre travail se concentre aussi sur la création de la « tuyauterie » technique qui va permettre d’industrialiser non pas seulement une solution en particulier, mais tout l’appareil productif pour en faire émerger de nouvelles facilement, au fil de l’eau.

Une spécificité notable de notre approche est qu’elle repose sur des technologies libres, des modèles de Large Language Models (LLM) ouverts : Falcon, XGen, LLaMA, et leurs déclinaisons. Quand LLaMA2 est sorti mi-juillet, il nous a satisfait et nous sommes partis dessus, mais nous regardons évidemment aussi le modèle Mistral, car il est très intéressant et léger.

A lire aussi : La nouvelle voie de la Dinum

Sur quelles infrastructures vous appuyez-vous ?

Faire tourner des modèles comme ceux qui sont derrière ChatGPT, demandent effectivement une infrastructure de calcul très importante. Nous devons cependant pouvoir les proposer sur des infrastructures mieux maîtrisées par l’Etat, car certains cas d’usages pourraient demander le traitement de données confidentielles. Ce n’est pas le cas de l’expérimentation autour de Services Publics +, qui se base sur des données publiques, sans aucunes données personnelles ; mais tous les services n’auront pas les mêmes critères demain. A ce stade, nous travaillons donc sur une infrastructure hybride, avec à la fois des clouds commerciaux classiques et d’autres référencés SecNumCloud. Nous nous coordonnons également avec les administrations et les initiatives qui existent déjà au niveau des clouds interministériels : le Cloud NUBO opéré par la DGFiP et le Cloud π opéré par le ministère de l’Intérieur.

Au-delà du besoin de confidentialité des données, quelles différences faites-vous avec ce que pourrait proposer ChatGPT pour les mêmes usages ?

ChatGPT est un agent conversationnel généraliste : vous pouvez lui donner des instructions de prompt pour affiner vos demandes, mais vous ne pouvez pas vraiment faire évoluer le modèle sous-jacent en réalisant un véritable fine-tuning, qui va permettre de spécialiser l’outil. OpenAI propose certes un service payant permettant de fine-tuner GPT3.5 Turbo, le modèle derrière la version 3.5 de ChatGPT. Mais il s’agira dans tous les cas d’une forme de surcouche qui souffrira de tout changement qu’OpenAI amènera unilatéralement à sa solution. Avec notre approche, nous maitrisons tout le circuit donc le fine-tuning est préservé. C’est aussi ce qui nous permet par exemple de construire des modèles très légers qui peuvent fonctionner directement sur un processeur classique ; c’est très encourageant pour de futurs nouveaux usages.

Comment vous assurez-vous que votre IA répond à des besoins réels ?

Avant tout, je tiens à rappeler que l’objectif est d’aider au maximum les usagers et les agents. Il ne s’agit pas de chercher à fournir absolument des réponses toutes faites, mais de faire gagner un peu de temps aux agents, qui restent aux commandes.

Ensuite, la réponse la plus courte est de dire que nous fonctionnons en méthode agile pour être au plus proche des besoins sur le terrain. Nous avons déjà la chance d’avoir cette expérimentation Services Publics + lancé par le ministre Stanislas Guerini, qui est une vraie chance pour mener un test grandeur nature, et voir comment les agents s’emparent de l’IA. Nous avons aussi mené des micro-ateliers avec l’aide de la DITP et des agents du réseau. Nous avons des personnes dans l’équipe, notamment au niveau du design, qui vont sur le terrain et qui se confrontent aux retours des agents pour éprouver la solution et mener des itérations.

A lire aussi : Ma Sécurité, ou quand le numérique améliore la relation avec les forces de l’ordre sur le territoire

A quel point la gouvernance des données est-elle un enjeu pour proposer des réponses satisfaisantes ?

La Dinum ne produit pas directement de données, celles-ci viendront toujours de l’administration concernée par le service qui sera proposé. Toutefois, nous menons depuis longtemps un accompagnement vis-à-vis des administrations pour avoir cette cohérence et cette qualité des données qui sont essentielles, et pas seulement pour les projets d’IA Générative. Au sein de la Dinum, le Datalab s’est constitué récemment, mais nous allons avoir des personnes qui vont être prochainement dédiés aux enjeux de gouvernance des données, en lien avec la réalité des projets d’intelligence artificielle et des travaux déjà menés dans les administrations.

Cela sera-t-il suffisant pour éviter que l’IAG ait des « hallucinations » ?

Encore une fois, c’est l’agent qui restera le maître des clés pour les réponses apportées. L’outil n’est pas parfait et les agents doivent en avoir conscience. Le fait de faire du fine-tuning réduit fortement les hallucinations sur les sujets spécialisés, contrairement aux modèles généralistes. Des techniques connues et bien mises en œuvre, comme le RAG (Retrieval augmented generation) ou le RLHF (Reinforcement learning from human feedback) contribuent également à réduire le risque. Nous avons aussi la possibilité de proposer des modes d’utilisation plus avancés, où l’agent peut ajouter des éléments de réponses en amont de son prompt : il peut par exemple alimenter l’IA avec quelques notes, pour mettre des liens, des numéros de téléphone ou une adresse. C’est utile car bien souvent les hallucinations se concentrent effectivement sur la génération de numéros erronés. C’est donc une batterie de mesures complémentaires qui permet de réduire au maximum ce risque. C’est aussi tout l’intérêt d’être dans une approche d’amélioration continue autour de l’IA et du machine learning, que l’on intègre dans notre démarche MLOps, dans la continuité du DevOps.

Quels sont les cas d’usages porteurs que vous imaginez dans l’administration ?

A partir de l’expérimentation annoncée le 5 octobre, nous allons travailler dans les prochaines semaines avec des administrations qui sont en contact direct avec les citoyens sur le territoire, pour identifier leurs besoins. L’idée sera de pouvoir proposer aux agents en guichet un outil qui les aident aussi à répondre en direct aux usagers. Nous avons aussi des cas d’usages très différents qui sont également envisageables, pour faire des comptes rendus ou résumer des documents… De manière générale, à ce stade, nous avons entrainé l’outil avec le jeu de 43 000 questions-réponses disponible sur le site services publics +. Nous avons ensuite doublé la taille de ces datasets de référence, en ajoutant 40 000 questions en plus, créées de manière ad hoc à partir des fiches d’information disponibles sur Services-publics.fr. Nous avons donc là une intelligence capable de répondre à des questions administratives très variées, et pas seulement à des expériences personnelles vécues par les usagers. C’est ce qui nous permettra de dupliquer les outils sur de très nombreux usages.

Pouvez-vous accéder facilement à toutes les compétences dont vous avez besoin pour mener ces projets ?

C’est un vrai défi, et pas seulement pour la Dinum. Il n’y a objectivement pas tant de personnes dans le monde qui peuvent aujourd’hui se prétendre expertes dans le domaine de l’intelligence artificielle générative. Quand on voit des offres d’emplois avec des fiches de poste qui commencent par « Recherche spécialiste senior – 5 ans d’expérience en fine-tuning de LLM », il faut bien se rendre compte que c’est impossible ! Le recrutement et la formation vont être un enjeu majeur. Heureusement, le fait de se positionner tôt sur le sujet est aussi un facteur notable d’attractivité. Nous travaillons sur des technologies de pointe, avec une équipe très motivée et engagée, cela donne envie à d’autres de nous rejoindre. Nous avons beaucoup avancé en seulement quelques semaines et on nous demande déjà de publier nos travaux pour en faire profiter plus largement la communauté, dans le monde du Libre. C’est le signe que nous sommes dans le bon timing.