UHRS : Voice Search quality (French-France)

 

Voice Search quality (French-France) est une tâche où vous devez juger la réponse de l'assistant vocal à une requête vocale passée par un usager.

Une tâche est payée 17 cts et le temps minimale de jugement et de 50 secondes.

Comme d'habitude on retrouve la requête et la localisation de l'usager, en dessus se trouve une capture vidéo de la recherche via l'assistant vocale du smartphone, les vidéos durent en moyenne 33 secondes. 

Sur le coté et c'est plutôt récent l'on trouve les SERP de Google et Bing afin de pouvoir comparer les résultats renvoyés par l'assistant et ceux des moteurs de recherche.

Une fois la vidéo lu a 40% de sa durée les options de jugement apparaissent.

• Q1 : la requête a t 'elle un sens ? ou peut-elle être évaluée ? si non vous devez en expliquer les raisons en fin de page dans la cas prévue à cette effet.
• Q2 : l'appareil a t'il bien entendu la requête ? Attention certaines requête sont mal orthographié mais l'assistant corrige la requête. Si l'appareil entend mal la requête par défaut no results se trouvera coché.
• Q3 : Porte sur la réponse vocale apporté par l'assistant.

En dessus se trouve les options permettant de justifier Q3 ou d'apporter des jugements supplémentaires :

• Sidesearch : la réponse n'est pas très claire, vous avez du vérifier à côté.
• Too long : la réponse est trop longue et en général l'assistant lit l'entièreté du texte d'où est tirée la réponse en mentionnant des choses qui apporte rien.
• No reiteration : l'assistant ne répète pas la requête ce qui le cas échéant pour permettre à l'usager de savoir si il a fait une erreur dans sa formulation. 95% du temps l'assistant ne répète pas la requête.
• Speech issue : l'assistant prononce mal les mots ou chiffres ou encore les prononcent avec un accent non justifiable.
• Device issue : l'appareil n'a pas entendu la requête, ne fonctionne pas etc.
• Invalid query : la requête n'est pas compréhensible, n'a pas de sens.

Vous l'aurez compris le plus dur dans cette tâche se passe à l'étape Q3, néanmoins c'est une tâche récurrente plutôt bien payée.

Pour chaque jugement et options vous pouvez pas votre curseur dessus afin de voir à quoi cela correspond.

N'oubliez pas que chaque tâches à des consignes que vous pouvez consulter à tout moment depuis le hit.