Notre projet de recherche, que nous avions déjà présenté ici, s’intéresse aux assistants vocaux et plus précisément à leur comportement face à la recherche d’information. Pour ce travail, nous avons choisi d’étudier trois des assistants les plus connus, à savoir Alexa (Amazon), Siri (Apple) et l’Assistant (Google) à travers des supports de type enceinte connectée. Cette précision est importante car, nous l’avons découvert à nos dépends, ce médium impacte la capacité de recherche d’information de l’un des assistants. Dans ce billet nous allons vous faire part de nos premiers résultats, après un rappel de la méthodologie employée pour les tests.
Hypothèses de recherche
Afin d’orienter notre recherche, nous avons rédigé des hypothèses. Chacun de nos tests a été réfléchi et paramétré dans le but de valider ou non les hypothèses formulées ci-dessous :
- Les assistants vocaux se réfèrent à un répertoire de sources d’information programmées par défaut.
- Il est possible de contrôler les sources que les assistants utilisent pour leur réponse.
- Une bulle de filtres influence les réponses des assistants vocaux.
- La localisation géographique d’un assistant vocal influence ses résultats de recherche.
Les tests
Pour mener nos tests, nous avons interrogé oralement les assistants vocaux en leur demandant de mener des recherches d’informations, d’utiliser une source que nous avions choisie pour fournir une réponse ou encore de nous conseiller un restaurant proche de l’endroit où nous nous trouvions. Nous avons choisi de tester différents types de questions, comme des questions de culture générale, d’opinion ou d’actualité. Nous avons aussi demandé aux assistants vocaux de trouver de informations utiles au quotidien comme des recettes de cuisine et des horaires de cinéma. Voici quelques exemples :
- Qui est le compositeur des Quatre saisons ?
- Quelle est la plus belle ville de Suisse à visiter ?
- Quelles sont les dernières actualités ?
- Trouve une recette de cookies aux pépites de chocolat.
- Où puis-je aller voir le film « Portrait de la jeune fille en feu » aujourd’hui ?
Nous avons mené quatre tests, chacun correspondant à l’une des hypothèses citées plus haut. Chaque test a été soumis aux trois assistants vocaux en français. Comme précisé dans l’introduction, nous nous sommes concentrés sur les compétences des assistants via des enceintes connectées et non des smartphones.
En ce qui concerne la localisation géographique, nous avons mené les tests en deux lieux physiques distincts et paramétré les assistants vocaux avec trois adresses fictives, sur trois continents différents.
Focus sur le test de la bulle de filtres
Lorsque nous avons mis au point la méthodologie des tests, nous nous sommes heurtés à de nombreuses interrogations concernant celui de la bulle de filtres. En effet, comment déterminer si une bulle de filtres existe, si ce n’est en tentant d’en créer une ou en en utilisant une déjà existante ?
La première option aurait impliqué de créer un compte utilisateur avec des paramètres précis et d’interagir régulièrement avec les trois assistants vocaux durant une longue période (six mois à une année) pour apprendre aux assistants des habitudes de recherche et les conditionner, en quelque sorte. Cette solution ne nous a pas semblée faisable compte tenu du temps qui nous était encore imparti pour le projet au moment où nous mettions en place les protocoles de tests.
La deuxième option étudiée consistait à paramétrer chaque enceinte avec les comptes personnels de l’une des chercheuses (Compte Gmail pour l’Assistant Google, compte Amazon pour Alexa et iCloud pour Siri). C’est celle que nous avons choisie. Nous avons posé huit questions correspondant aux habitudes de recherche de la chercheuse pour voir si les assistants vocaux fournissaient des réponses orientées par les historiques de recherche des comptes paramétrés ; ces huit questions ayant été posées également aux trois assistants connectés à des comptes sans historique de recherche afin d’avoir un échantillon de contrôle.
Premiers résultats
Test 1 – Mention des sources d’information et présence d’un répertoire de sources utilisées par défaut
Le premier test nous a permis de déterminer que les assistants vocaux citaient leur source vocalement et/ou dans l’application qui les accompagne (dans le cas d’Alexa et de l’Assistant Google seulement, le Homepod n’en n’ayant pas). Les sources sont mentionnées dans 60% des cas pour Alexa, 62% pour l’Assistant Google et 24% pour Siri. Nous avons également pu déterminer que pour chaque assistant un panel de sources utilisées par défaut était disponible, et en identifier quelques unes.
Test 2 – Contrôle de l’information
Le deuxième test a démontré qu’il était difficile de demander aux assistants de chercher dans une source précise oralement, sauf si cette dernière est une source qu’ils utilisent déjà par défaut (p.ex. Wikipédia). Il est cependant possible via l’application compagnon de paramétrer des sources par défaut pour l’Assistant Google et Alexa. C’est impossible pour Siri.
Test 3 – Présence d’une bulle de filtres
Le troisième test n’a pas permis de valider l’existence de bulle de filtres. Les réponses obtenues avec des assistants paramétrés avec des comptes neutres étaient très similaires à celles fournies par les assistants paramétrés avec les comptes de l’une des chercheuses, sans compter que sur les 8 questions, toutes n’ont pas été comprises par les enceintes Ce résultat indique peut-être que les assistants vocaux sont peu sensibles aux historiques des comptes en eux-mêmes et plus aux interactions qu’ils ont avec un utilisateur.
Test 4 – Influence de la localisation géographique
Enfin, le dernier test nous a prouvé que la localisation géographique a une influence sur les réponses des assistants vocaux. Il existe cependant une nuance intéressante : les assistants sont sensibles soit à l’endroit indiqué par leur puce GPS, soit à l’adresse renseignée dans leurs paramètres, en fonction de leur conception technologique. Ainsi, pour Alexa et l’Assistant Google, c’est l’adresse renseignée qui faisait foi, tandis que pour Siri, quoi que l’on fasse, c’était toujours sa puce GPS qui prenait le dessus.
Billet rédigé par Anna Leckie, Anouk Santos et Louise-Anne Thévoz
Bibliographie
LECKIE, Anna, SANTOS, Anouk, THEVOZ, Louise-Anne, 2019. Assistants virtuels et
recherche d’information : Cahier des charges [Document PDF].
Projet de recherche, Haute école de gestion de Genève, filière Information documentaire,
année académique 2019-2020.
LECKIE, Anna, SANTOS, Anouk, THEVOZ, Louise-Anne, 2019. Assistants vocaux, enceintes connectées et recherche d’information : Poster scientifique [Document PDF].
Projet de recherche, Haute école de gestion de Genève, filière Information documentaire,
année académique 2019-2020.
Laisser un commentaire