IA est-elle l'avenir de la recherche utilisateurs ?

Contexte

Dans le cadre de notre collaboration avec la Région Guadeloupe, nous avons mené une phase de recherche approfondie. La finalité de cette étape est d’obtenir une représentation non-stéréotypée des utilisateurs finaux et de leurs usages, dans un contexte donné. Nous concentrerons cet article sur la partie « collecte de données », avec les agents conversationnels Chat GPT 4 et Agent GPT, de janvier à mars 2024.

La collecte des données

Durant cette mission, 2 approches complémentaires sont mises en place pour collecter des données :

• méthodes quantitatives avec l’analyse de logs et la mise en ligne d’un questionnaire.
• méthode qualitative avec des interviews auprès des agents de la collectivité.

Cette imbrication des méthodes permet d’offrir une vue exhaustive. Mais plus les sources de collecte de données sont différentes, plus le travail de préparation, de tri et d’analyse des données augmente. Comment l’intelligence artificielle peut-elle nous aider sur ces différents fronts ? Comment l’IA peut détecter ou corriger des erreurs d’analyse ?

Qu’est-ce que l’IA ?

Une intelligence artificielle (ou “IA”) est un procédé logique et automatisé reposant sur un algorithme conçu pour réaliser des tâches définies par l’être humain. De fait, on utilise le terme IA de façon générique mais chaque solution reposant sur un algorithme conçu pour réaliser des tâches prédéfinies est une intelligence artificielle à part entière.

De façon pragmatique, l’IA c’est :

1. une base de données, constituée d’une très grande quantité de données.
2. une instruction donnée par un humain.
3. une série d’opérations.
4. un résultat… car il y a toujours une réponse (même erronée !)

Les domaines d’excellence de l’IA

L’IA semble être imbattable sur les éléments suivants :

• La classification.
• La recherche d’informations.
• Le regroupement de données.
• Le résumé d’informations.
• L’extraction de données.
• La réécriture.
• La génération d’informations.

Certains experts comme Luc Julia affirment que les différents systèmes augmentent les capacités des humains à faire mieux, plus rapidement ou plus efficacement. Parfait ! C’est justement notre besoin dans le cadre de ces études. Mais jusqu’à quel point ?

IA à l’épreuve de la recherche utilisateurs

Analyse des logs

De manière générale, ce qui est intéressant dans l’analyse des métriques fournies par Matomo ou Google Analytics, c’est d’établir des hypothèses à partir des données recueillies, de la cinématique des écrans, etc. Face à la masse de données présentées par ces plateformes, un premier espoir serait de trouver une solution qui prémâche le travail de collecte et de dépouillement de données. L’objectif est de trouver un moyen d’extraire les informations pertinentes, gagner en efficacité sur la partie analyse, corriger les éventuelles erreurs de croisement de données, apporter une ouverture d’esprit ou encore synthétiser le contenu dans un langage clair. Après de multiples recherches, AnalyticsAI apparaît comme le seul plug-in existant, correspondant à la demande initiale. Malheureusement, il fut impossible d’obtenir des informations intéressantes depuis ce plug-in. Manque de maturité du plugin mais à suivre.

Questionnaire en ligne

La mise en place d’un questionnaire est une activité qui prend du temps (conception, mise en ligne, dépouillement et analyse des données). L’exercice est loin d’être facile tant les biais peuvent être nombreux et fausser les résultats.

Pour la conception de ce document, j’ai confronté le modèle utilisé et construit au fil des années chez Yumans par une trame générée à partir d’un prompt. On peut constater que les 2 productions vont dans la même direction bien que les propositions de Chat GPT4 permettent d’améliorer la trame du questionnaire, notamment en proposant des phrases claires et concises ou d’ajouter une question.

Réponse au questionnaire en ligne instantané

Dans un souci de gain de temps, nous avons demandé aux agents conversationnels de générer les réponses au questionnaire créé. À partir d’un prompt décrivant nos attentes, nous avons obtenu les réponses suivantes.

L’IA liste une série de thèmes « fréquemment rencontrés par les utilisateurs ». Le conditionnel est utilisé dans les textes pour rappeler le côté hypothétique de l’IA. Les informations collectées par les agents conversationnels sont standards et peu pertinentes car toute la valeur réside dans « …pourraient varier selon les expériences individuelles… ». Ces retours sont génériques et peuvent s’appliquer à tous les services publics français. A contrario, les données du questionnaire en ligne apporteront de nombreuses informations pertinentes sur les intérêts et les problématiques des répondants, en fonction des profils. Ainsi, ils permettent d’apporter une granularité dans cette phase de recherche.

Entretiens semi-dirigés collectés auprès des agents régionaux

Cette méthode vise à obtenir des réponses sur une thématique, de recueillir les pensées, les opinions, les perceptions, les attitudes et les croyances des gens. Là où l’IA tente d’apporter une réponse objective et générique, les entretiens s’appuient sur l’individu et sa subjectivité. Ainsi, le travail du chercheur est de partir de l’individu pour aller vers la généralité.

Échanger avec des personnes qui vont sur le terrain, qui rencontrent les usagers permet par exemple, de donner une voix aux personnes « invisibilisées » par l’IA. Il serait impossible de les identifier sans ces temps d’échange et de confiance. Autre exemple. Nous avons appris que les jeunes échangent avec certains services via des solutions telles que WhatsApp, en utilisant les codes actuels (photo éphémère, vocaux…). Pourquoi ? L’hypothèse serait qu’une minorité de la population est en grande difficulté face à l’administration et aux outils informatiques. Que le taux d’illettrisme est de 20% en Guadeloupe. Que les aides sont décrits dans un langage difficilement compréhensible…. pour tout un tas de raison. Et pour pallier à ces difficultés, les agents sont souvent amenés à aller au-delà de leurs attributions (comme utilisé WhatsApp), afin d’éviter que la transformation numérique des services n’aggrave les difficultés sociales, financières ou encore éducatives des personnes les plus vulnérables. Au fond, la dématérialisation des aides publics régionales est un progrès pour certains, mais un risque pour d’autres !

Points de vigilance face à l’IA

Certains éléments doivent attirer notre attention quant à l’utilisation de l’IA dans nos travaux. 

“Ce n'est pas parce que je peux le faire que je dois le faire.”
- Jeff Goldblum dans Jurassic Park

À chaque fois que j’utilise une intelligence artificielle, cela coûte à la planète. L’apprentissage du modèle de chat GPT 3 a consommé l’équivalent en énergie de 320 foyers français pendant 1 an. Chaque nouvel entraînement double la puissance de calcul du modèle.

“Je peux douter de tout, sauf d'une chose, et c'est le fait même que je doute.”
- René Descartes

N’utilisez pas d’IA si vous ne pouvez pas évaluer les résultats. À plusieurs reprises, les données présentées par ChatGPT 4 étaient erronées. Il est important de savoir comment l’IA fonctionne et lorsqu’elle ne fonctionne pas. En tant qu’UX designer sénior, avec les années de pratique et des bases solides, je peux questionner des retours qui m’interpellent par rapport à des expériences passées, à des lectures ou à des connaissances. Et en même tant, c’est tellement tentant d’écrire 3 prompts et penser que cela suffira. Cependant, de nombreux facteurs sont à prendre en compte : les bases de données peuvent être biaisées, l’introduction des biais humains des concepteurs d’algorithmes, l’entraînement des modèles…  L’outil peut nous donner quelque chose qui n’est pas exact. Mais si nous l’incluons dans notre rapport de synthèse, c’est de notre responsabilité !

“La science présente beaucoup de danger, mais il faut lutter contre ces dangers non pas par moins de science mais par davantage de science, une science qui puisse aussi créer sa propre éthique.”

Jean d’Ormesson

Il est important de noter que l’utilisation des IA soulève des questions éthiques concernant la confidentialité des données, la propriété intellectuelle et la transparence dans le traitement des informations personnelles des utilisateurs. Les personnes qui rédigent les prompts doivent être conscientes de ces enjeux et les aborder de manière responsable.

Plaidoyer pour interagir avec de vraies personnes

L’intérêt de prendre le temps d’interviewer des personnes et de passer ensuite beaucoup plus de temps à analyser les grandes quantités de données recueillies, c’est la volonté d’établir une relation de confiance, d’approfondir des sujets, de leur demander de partager des histoires et d’en apprendre davantage sur les activités réelles. Ces retours subjectifs sont traités pour tendre vers l’objectivité. C’est le travail de l’UX researcher. Ces éléments vont être intégrés dans les étapes suivantes du design numérique pour construire des services publics plus inclusifs et accessibles. Les agents conversationnels ignorent la singularité et ne peuvent produire aucune « information » au-delà des modèles existants dans ses données d’apprentissage. Les principaux résultats donnés par les agents conversationnels sur ces sujets sont ce que l’on peut attendre d’un moteur de recherche synthétique : des données stéréotypées, qui n’ont rien à voir avec la pluralité des profils rencontrés.

Conclusion

De l’usage quotidien aux consultations spécifiques, l’IA permet aux designers de redéfinir leur boîte à outils et de faire évoluer leur production. Cela nous amène à réfléchir à ce que nous voulons que les outils fassent pour nous. Quels sont les endroits dans nos tâches métier où nous voulons que ces outils apparaissent ? Après avoir essayé plusieurs outils et plug-ins d’IA, il semble préférable de trouver des cas d’utilisation qui répondent réellement aux besoins du chercheur, plutôt que toutes les choses que l’outil peut faire. Dès lors, une fois les cas d’utilisation identifiés, j’essaye de trouver des solutions qui y répondent. Prochaine étape : créer notre propre GPT pour la partie dépouillement des données collectées !

©Image générée par DALL.E