Métricas de confusão: Avaliando a usabilidade de formulários
😖

Métricas de confusão: Avaliando a usabilidade de formulários

👆🏽

Disclaimer: Não trabalhei sozinho em nenhum dos projetos apresentados aqui. Esses trabalhos foram feitos principalmente junto a product designers, mas também envolvendo product managers, analistas de dados e especialistas em inovação.

Contexto

Esse exercício foi uma experimentação.

Estávamos buscando fazer um diagnóstico de uma interface de login. Após um teste de usabilidade de guerrilha frustrado, entendemos que é muito difícil deixar as pessoas confortáveis em um teste quando pedimos que elas cliquem em um botão de login, mesmo que seja com dados falsos e explicado que é uma simulação. Decidimos então tentar avaliar a usabilidade (a falta de) dessa interface de maneira indireta, a partir de observações de usuários reais em produção.

Deixo um abraço para minha colega Aline, que topou investir um tempo comigo nesse exercício.

Objetivo

Nosso objetivo principal era avaliar a metodologia de métricas de confusão e entender se ela se aplicaria para um produto real e eventualmente aplica-la com recorrência em outros produtos.

Chamando atenção para que o fato de que o objetivo não era avaliar a métrica de confusão e aciona-la, mas sim pilotar o método.

Página em que foram observadas as interações via Hotjar. Nessas observações não foram visíveis nenhum dado inserido pelo usuários, apenas contadas as quantidade de interações tidas, por campo e no total.
Página em que foram observadas as interações via Hotjar. Nessas observações não foram visíveis nenhum dado inserido pelo usuários, apenas contadas as quantidade de interações tidas, por campo e no total.

Metodologia

🔍

Métodos utilizados: - Análise de gravações de uso da interface; - Cálculo de métricas de eficiência e eficácia segundo literatura.

🔨

Artefatos utilizados: - Produto em produção

A metodologia aplicada nesse exercício foi inspirada nesse artigo definindo a chamada lostness metric, aqui traduzida para métrica de confusão.

image

O método sugere que a eficiência e a eficácia de uso de uma interface são dois vetores linearmente independente e, logo, sua soma se dá pelo Teorema de Pitágoras:

Sendo os valores de eficiência, variando de 0 a 1; e os valores de eficiência, também variando de 0 a 1. Nesse caso, teremos uma métrica de confusão também variando de 0 a 1, onde 0 indica uma interface muito confusa e 1 indica uma interface nada confusa.

Tabela utilizada para contar as interações que cada usuário observado teve na interface e calcular as taxas de eficiência, eficácia e métrica de confusão global para essa interface.
Tabela utilizada para contar as interações que cada usuário observado teve na interface e calcular as taxas de eficiência, eficácia e métrica de confusão global para essa interface.

Aprendizados

  • Por ser o cálculo de uma métrica, deve considerar erros de cálculo associados a amostra em questão. Nesse exercício, consideramos uma amostra de apenas 6 usuários diferentes. Para se ter robustez nessa métrica, deve-se calcular eficiência e eficácia para um número bem maior de usuários, com o auxílio de eventos na interface.

  • Percebemos que, para os casos observados, a interface de login possui uma boa eficácia, isto é, as pessoas conseguem cumprir sua tarefa ali, mas uma baixa eficiência, isto é, as pessoas demoram mais do que deveriam para cumprir essa tarefa. Percebemos também, em uma análise qualitativa, que essa eficiência poderia ser descrita por campos mal descritos ou feedbacks pouco claros.

👍🏽

Que bom que você chegou até aqui! Quer ler outros trabalhos em UX Research: https://luizarthur.com/uxresearch