Retour d'expérience atelier diagramme d'influence

Autrices : Aurélie Baton et Anne Faubry

La conception de services numériques peut entraîner des effets rebonds et des externalités négatives si une réflexion n'a pas été menée en amont et tout au long du projet. Dans cette perspective d'identification et d'anticipation d'effets négatifs potentiels de la conception, nous avons conduit un deuxième atelier de design systémique sur un cas réel.

Cet atelier fait suite à un premier ayant eu lieu un an auparavant au début du projet DiaLog dans lequel nous utilisions la matrice d'analyse des externalités. Ce premier retour d'expérience est détaillé dans l'article Retour d'expérience de l'atelier d'externalités pour le projet DiaLog.

Rappel du cas d'application réel : le projet DiaLog

Le projet DiaLog est un projet beta.gouv visant à faciliter l'intégration de la réglementation routière dans les GPS. En effet, à l'heure actuelle, les chauffeurs de poids lourds et autres usagers de la route ne sont pas toujours informés des travaux et autres restrictions de circulation qui les concernent. Ils se retrouvent dans des situations bloquant la circulation et accroissant inutilement la pollution de l’air. 

L'ambition du projet DiaLog est de faire figurer les informations issues des arrêtés de circulation directement dans les services de navigation (type GPS) utilisés par les usagers de la route et les chauffeurs routiers.

Plus d'informations sur DiaLog : dialog.beta.gouv.fr

Déroulé de l'atelier

En juillet 2024, l'équipe projet s'est de nouveau réunie pour ce nouvel atelier :

  • Agent de la fonction publique travaillant sur le projet : Mathieu Fernandez
  • UX/UI Designers : Aurélie Baton
  • Développeurs : Mathieu Marchois, Florimond Manca, Julien Jacquelinet
  • PO : Johan Richer

L'atelier a duré 2h30 et s'est déroulé selon l'agenda suivant :

  • Introduction - 15 mn
    • Rappel du contexte et des résultats de l'atelier précédent
  • Diagramme d'influence - 1h15
    1. Présentation de l’exercice avec exemple
    2. Idéation individuelle sur post-its pour définir les variables du systèmes
    3. Partage des idées en groupe
    4. Regroupement des variables et définition des connexions
    5. Vote sur les externalités ayant le plus d'impact
  • Identification des leviers - 15min
  • Synthèse et debrief - 30 min

Résultats de l'atelier

L'atelier a permis de mettre en évidence les nombreuses variables du système et leurs influences. L'atelier a été animé en présentiel à l'aide de post-its a été retranscrit sur Mural pour plus de lisibilité. Les connexions et influences ont été synthétisées sous format textuel.

Diagramme d'influences DiaLog
Diagramme d'influences DiaLog

Les différentes couleurs des post-its représentent les grandes thématiques qui ressortent. Chaque catégorie et ses influences sont explicitées textuellement à côté du diagramme sur Mural pour permettre une meilleure compréhension du diagramme par toutes et tous, y compris des personnes externes au projet.

Synthèse des influences par thématique
Synthèse des influences par grande thématique

Apprentissages sur la méthodologie

Le test de la méthodologie sur un cas réel nous a permis d'identifier ce qui fonctionne bien et les limites de la méthodologie actuelle, de proposer des suggestions d'amélioration ainsi que des futures pistes d'expérimentation.

Les avantages

  • Partager une vision au sein d’une équipe pluridisciplinaire
  • Comprendre le produit dans son système global
  • Présenter une version simplifiée du résultat pour convaincre de l’impact
  • Identifier de façon agnostique les effets de leviers potentiels
  • Mettre à jour régulièrement mais pas trop tôt dans le projet (trop difficile)

Réflexion collective

Les participants ont particulièrement apprécié le fait de réfléchir ensemble et notamment :

  • Décourvir la vision des autres sur le projet.
  • Essayer de comprendre le produit dans son environnement en tant qu’équipe.
  • Mettre en commun la diversité d'idées des uns et des autres ainsi que leur complémentarité.
  • Découvrir des notions qu'on ne connait pas ou peu grâce à l'intelligence collective.

Moi j’ai bien aimé le côté dynamique, le côté intelligence collective. On est assez complémentaire dans nos idées. Cela me permet de découvrir des notions dont je n’avais pas idée.

Vision globale

Cet atelier a aussi permis de prendre de la hauteur sur le produit et son environnement direct. Cela re-situe le produit dans une vision globale qui va bien au-delà des implications métiers : politiques publiques, écologie, impacts sociaux, etc.

Cela m’a intéressé d’avoir une réflexion au delà du produit sur le métier de la logistique, de l’écoconception, de l’écologie, dans la même lignée que l’exercice sur le RGESN, de penser à tous ces trucs là de façon globale.

Modélisation de l’impact

Même si les résultats de l'atelier ne permettent pas la modélisation directe des impacts environnementaux, cela a permis aux participants de comprendre l'intérêt que cela pourrait avoir à différents niveaux :

  • Contribuer à l'argumentaire pour la recherche de financements.
  • Refaire l'exercice régulièrement pour voir comment les choses évoluent en terme d'impacts et ajuster le produit en fonction.
  • Identifier dans quelle mesure le produit peut être un levier en terme de politiques publiques.
  • Aider à la définition de l'impact de la start-up d'Etat.

Ce qui va vraiment faire un effet positif ou négatif c’est la modélisation des facteurs. Cela légitime que l’hypothèse de diminution de CO2 n’est pas complètement sortie du chapeau.

Identification des leviers

Le diagramme d'influences est un outil agnostique qui a permis de mettre en évidence que les impacts dépendent aussi de la politique. DiaLog pourrait avoir un rôle plus large, par exemple :

  • Avoir un rôle au delà de l’outil numérique de former les collectivités sur ce qu’est un arrêté.
  • Intégrer les évolutions réglementaires : catégories de véhicules auxquels on peut interdire quelque chose, aide à la mise en oeuvre des ZFEs qui ont énormément d’exceptions à l'heure actuelle, etc.

Complémentarité des ateliers

En faisant un nouvel atelier de design systémique, une des craintes était que l'équipe trouve cela redondant avec le premier atelier. Finalement, les retours des participant·e·s montrent que les ateliers étaient complémentaires et tous les deux présentaient des intérêts.

Alors que le premier permet de commencer à appréhender des externalités possibles, ce deuxième atelier arrivait au bon moment au niveau de la maturité du projet et a permis d'identifier par quels biais les externalités peuvent arriver. Il aurait été difficile de faire cet atelier plus tôt et encore moins dès le début.

Le faire au tout début d’un projet ce n’est pas forcément évident. Les hypothèses risquent d’être plus farfelues.

Je pense que c’est une récurrence à faire. Ça ne m’étonnerait pas que ça évolue au cours du service. Quoiqu’on retrouve certains axes d’il y a 2 ans ce qui est rassurant aussi.

Les limites

Les limites de l'outil tel qu'il a été appliqué sont les suivantes :

  • Difficulté à identifier les facteurs d’influence prépondérants.
  • Difficulté avec les flèches (+) qui donnent l’impression qu’elles sont positives.
  • Difficulté à comprendre ce qui est attendu en variable d’un point de vue granularité.
  • Résultat brut difficile à comprendre et ne permettant pas une diffusion telle qu’elle à l’extérieur.
  • Résultat à chaud illisible et difficile à analyser.
  • Manque de résultats concrets et opérationnel à ce stade.
  • Manque de légitimité et de démarche scientifique dans l’identification des corrélations.
  • Focalisation sur l'aspect environnemental (consignes de l'exercice)

Manque de lisibilité du résultat

Les idées et interactions durant l'atelier ont été très riches. Cependant, le résultat tel quel reste peu digeste s'il ne fait pas l'objet d'une "restranscription" et d'une analyse.

Les limites c’est que là je ne peux pas relire le tableau, au niveau des flèches.

Les variables et les influences identifiées étaient finalement un mélange de données objectives et d'hypothèses. D'autre part il est difficile à ce stade d'isoler les facteurs d'influence prépondérants autrement que par l'intuition.

Ce n’est clairement pas le médium le plus facile. Il faudrait réussir à le simplifier et réussir à mettre en évidence les facteurs d’influence le plus prépondérants.

Difficultés de modélisation

Mieux définir ce qu'est une variable

L'étape de brainstrom sur les idées de variables du système a bien fonctionné : chacun·e avait de nombreuses idées complémentaires. Cependant les types de variables et la manère de les exprimer était différente d'un personne à l'autre.

Mieux définir de façon plus précise ce qu’on attend comme variable (on n’était pas sur les mêmes plans et ça peut rendre l’exercice difficile à faire).

Fléchage compliqué

L'étape consistant à tracer les flèches pour illustrer les influences était plus difficile : les influences peuvent être nombreuses et impacter de nombreuses variables.

C’est toujours un peu fastidieux à la fin de regrouper, re-flécher et tout ça.

Le plus compliqué cependant était la représentation des flèches avec les (+) et (-) qui illustre de l'augmentation ou la réduction de la variable. Les symboles (+) et (-) semblent illustrer les impacts positifs ou négatifs ce qui n'est pas le cas. Il y a donc un besoin accru d'explications.

Sur les GES il n’y a que des flèches qui font plus sauf le vélo. Les flèches + peuvent être trompeuses. On peut croire que ça augmente. Cela ne se passe pas d’une petite explication de texte.

Manque de résultats concrets

Les participant·e·s ont beaucoup apprécié l'exercice mais ils restent déçu·e·s de ne pas avoir de réultats plus concrets et actionnables à la fin. Il est difficile de comprendre en quoi ce qu'on a fait sera applicable sur le projet, quelles actions concrètes vont en ressortir, etc ?

J’ai du mal à saisir à quoi cela va nous servir sur le projet, ce qu’on va en sortir. Cela permet de faire un constat mais quid de actions derrière ?

Une autre frustration était le manque de prise en compte d'autres facteurs que les aspects environnementaux. Nous avions plutôt focalisé l'exercice sur cette partie car il semblait difficile de tout traiter en un atelier.

Là tel qu’on a fait l’exercice, on a regardé beaucoup les aspects environnement mais je ne sais pas si ça nous aide à développer une vision produit.

J’étais un peu déçu de l’objectif final, que ce ne soit que CO2 ? Je pense à la mortalité routière, l’argent dépensé par les collectivités…

Manque de légitimité scientifique

Nous avons fait cet exercice basé sur ce que nous pensions savoir et nos intuitions mais les participant·e·s ne se sentaient pas légitimes et trouvaient que nous manquions de données scientifique.

Les limites c’est que je ne me sens pas légitime. On a du feeling, on croit, mais j’en sais rien du tout. J’aimerais que ce soit des scientifiques qui fassent l’exercice.

Il faudrait une caution scientifique, un thésard, un sociologue... Il n’y a pas de lien entre le monde scientifique et nos projets.

D'autre part, étant tous membres de l'équipe et partie intégrante du projet, nous avons nécessairement des biais qui peuvent influencer le résultat.

Là on est partis sur un biais environnement. Le fait que ce soit nous-mêmes qui fassions la modélisation alors qu’on n’est pas des modélisateurs et qu’on a un intérêt à ce que DiaLog ait un impact positif, cela peut biaiser aussi.

Suggestions d'améliorations 💡

  • Faire un petit exercice sur un autre sujet pour comprendre le principe avant de se lancer sur le vrai cas d'étude.
  • Mieux définir ce qu'est une variable, comment l'exprimer, et la "granularité" attendue.
  • Définir clairement un scénario de référence (Ex : Qu'est-ce qui se passe avec ou sans Dialog ?). Formuler un question à laquelle on veut répondre (Ex : Qu’est ce qui est problématique dans la circulation routière ?)
  • Réduire le périmètre mais traiter des autres facteurs (sociaux, réglementaires, etc) et pas seulement les facteurs environnementaux.
  • Ne pas tenter d'indiquer trop vite les influences (+) et (-)
  • Pouvoir indiquer un certain degré de certitude ou incertitude.
  • Indiquer les variables pour lesquelles on aurait besoin de données scientifiques.

Futures pistes d'expérimentation

A la suite de cet atelier, nous avons identifier plusieurs actions possibles :

  • Tester l'outil Magnitude sur une partie du diagramme et un cas d'usage spécifique https://lii.enac.fr/projects/magnitude/
  • Enrichir le diagramme régulièrement au fil du projet (ex : tous les 6 mois)