Avaliação de usabilidade

O botão “Continuar” cria uma reserva paga sem mostrar o preço: uma inspeção por avaliadores pode identificar a consequência mal comunicada antes de testar com pessoas. Para saber se novos utilizadores descobrem o percurso e compreendem o compromisso, precisamos de uma análise da aprendizagem ou de observar tarefas.

Formativa e sumativa

A avaliação formativa procura melhorar o desenho durante o desenvolvimento, enquanto a sumativa avalia resultados face a objetivos, por exemplo comparando taxas de sucesso no fim de uma iteração. O mesmo método pode contribuir para ambos os fins: “com utilizadores” não é sinónimo de sumativa.

Método	Participantes	Evidência principal	Limite
Avaliação heurística	Avaliadores	Violações de princípios e gravidade proposta	Não observa uso real
Cognitive walkthrough	Avaliadores	Barreiras à aprendizagem em passos definidos	Depende das hipóteses sobre novos utilizadores
Teste de usabilidade	Utilizadores representativos	Comportamento e resultados em tarefas	Amostra, contexto e tarefas delimitam conclusões
Estudo de campo	Pessoas no contexto real	Atividades, adaptações e condições	Menos controlo sobre outras variáveis
Modelo preditivo	Analista	Previsão sob hipóteses, como KLM	Não demonstra satisfação ou descoberta

Avaliação heurística

Define os ecrãs e tarefas, inspeciona com os princípios escolhidos, regista problemas concretos e junta os resultados; avaliadores independentes podem encontrar falhas diferentes.

A quantidade adequada depende da diversidade do sistema, dos avaliadores e do objetivo, não de um número que garanta cobertura total.

Um problema deve incluir localização, comportamento observado, princípio, consequência e gravidade. Preenche sempre estes cinco campos:

• Ecrã de revisão, botão “Continuar”.
• Ao ativar, cria uma reserva paga sem mostrar preço.
• Viola correspondência com o mundo real e prevenção de erros.
• A pessoa compromete dinheiro sem o antecipar.
• Gravidade 4: problema catastrófico para a tarefa de pagamento.

Uma escala possível vai de 0, não é problema, a 4, problema catastrófico: os níveis intermédios distinguem incómodo cosmético, problema menor com solução alternativa e problema grave sem saída fácil.

Frequência, impacto e persistência informam a classificação; não são obrigatoriamente uma multiplicação.

“Botão pouco bonito” não descreve um problema de usabilidade, enquanto “O botão que confirma pagamento tem a mesma etiqueta do que apenas avança; o utilizador não consegue antecipar a consequência” descreve uma falha verificável.

Cognitive walkthrough

Escolhe o perfil, conhecimentos prévios, tarefa e sequência correta. Em cada passo, os avaliadores respondem:

1. A pessoa tentará atingir o resultado necessário neste passo?
2. Reparará que a ação correta está disponível?
3. Associará essa ação ao resultado pretendido?
4. Depois da ação, perceberá o progresso em direção ao objetivo?

Segue um walkthrough completo para a tarefa “reservar a sala B101 para amanhã entre as 14 e as 15”, com o perfil de estudante que nunca usou a aplicação, respondendo às quatro perguntas em cada passo.

Passo 1, ecrã de escolha: a pessoa quer reservar para o grupo e tenta escolher sala e horário; o seletor está visível no topo, por isso repara na ação; a etiqueta “Escolher sala” corresponde ao objetivo, por isso associa-a; depois de escolher, o resumo mostra sala e horário, por isso percebe o progresso. Este passo passa.

Passo 2, botão “Rever reserva”: a pessoa quer confirmar antes de pagar e tenta avançar; o botão está junto da escolha, por isso repara nele. Mas “Rever” pode ler-se como confirmação final, por isso aqui a terceira pergunta falha. Propomos “Rever dados e preço”, que distingue rever de pagar, e repetimos o passo com o mesmo perfil.

Passo 3, ecrã de revisão: a pessoa quer concluir a reserva, repara no botão “Pagar e reservar” e liga a etiqueta ao compromisso, depois de conferir sala, horário e preço. A terceira pergunta passa.

Ao ativar, precisa de perceber o estado “A enviar” e, só depois, a confirmação com a referência da reserva. A quarta pergunta passa se estes estados distinguirem processamento de conclusão; a ausência de confirmação faria essa pergunta falhar.

Esta inspeção prevê dificuldades de aprendizagem, mas não equivale a observar participantes reais.

Teste de tarefas

Define sucesso antes da sessão; escolhe participantes que representem o público e tarefas específicas sem indicar o percurso. Faz um piloto para verificar instruções, equipamento e registo, e explica que estás a avaliar o sistema, não a competência da pessoa.

Um protocolo mínimo regista: tarefa com resultado verificável, critério de sucesso, ajuda permitida, limite de tempo, equipamento e o que observar; por exemplo, “reserva a sala indicada para amanhã 14 às 15; sucesso sem ajuda; limite 180 s; regista cliques, pedidos de ajuda e declarações sobre o fim da tarefa”.

Podes pedir think aloud para conhecer o raciocínio, com instruções neutras como “O que estás a pensar?”. Falar pode alterar tempos e comportamento, por isso uma tarefa com verbalização não é automaticamente uma medida de velocidade natural.

O vídeo mostra instruções que ajudam a pessoa a pensar em voz alta sem ensinar o percurso; anota a diferença entre pedir verbalização e sugerir a ação correta.

Abrir no YouTube

Se for necessário ajudar, regista o momento e o tipo de ajuda: um sucesso com ajuda não se mistura com sucesso sem ajuda. Numa avaliação formativa, a ajuda pode permitir continuar a investigar outras etapas, mas não apaga a falha anterior.

Exemplo com sucesso e tempo

Cinco participantes tentam reservar uma sala, com a regra de sucesso de escolher a sala e horário pedidos e confirmar sem ajuda; o limite de observação é 180 s.

Participante	Sucesso sem ajuda	Tempo observado
A	Sim	42 s
B	Sim	50 s
C	Sim	48 s
D	Sim	55 s
E	Não	Parou no limite de 180 s

A taxa de sucesso é $4/5=80\%$. A média dos tempos das quatro conclusões é $(42+50+48+55)/4=48{,}75$ s, e o 180 de E não é tempo de conclusão.

Se calculássemos a média dos tempos observados obteríamos 75 s, uma medida diferente que inclui o limite do ensaio falhado.

Com cinco pessoas, 80% descreve esta amostra, não garante 80% na população. Pequenas rondas formativas podem encontrar problemas importantes, mas não demonstram que a interface não tem outras falhas.

Cinco pessoas encontram o quê

A regra dos cinco utilizadores é uma expectativa de um modelo de descoberta, não uma garantia de cobertura. O modelo escreve a proporção esperada de problemas encontrados com $n$ participantes como $1-(1-p)^n$. Assume descobertas independentes com probabilidade $p$ constante por problema e participante. O valor $p\approx0{,}31$ é um parâmetro estimado em projetos estudados por Nielsen e Landauer, não uma condição suficiente que valha em qualquer sistema.

A condição da fonte original é explícita: a fórmula só vale para utilizadores comparáveis que usam o sistema de formas semelhantes. Crianças e pais, ou agentes de compras e comerciais, são grupos distintos e pedem participantes de cada grupo: três a quatro por grupo com dois grupos, três por grupo com três ou mais.

Dois resultados primários mostram por que a condição importa. Faulkner testou 60 pessoas numa aplicação de folhas de tempo e sorteou grupos de cinco em 100 simulações: a média ficou nos 85%, mas cada grupo encontrou entre 55% e quase 100% dos problemas. Com dez participantes, a média subiu para 95% e nenhum grupo ficou abaixo de 82%.

Spool e Schroeder observaram 49 pessoas a comprar em quatro lojas reais e identificaram 378 obstáculos. A descoberta média por pessoa não passou de 0,16, muito abaixo dos 0,31 do modelo original, e ao fim de cinco testes só cerca de 35% dos problemas tinham aparecido. Nas lojas estudadas, cinco utilizadores não chegavam aos 85%.

A percentagem conta problemas do sistema, não pessoas da população.

Usa cinco como paragem para corrigir e voltar a testar, não como prova. Três estudos com cinco participantes comparáveis, com redesenho entre rondas, melhoram mais do que um único estudo com quinze, porque cada ronda testa se as correções funcionaram e revela problemas que a camada anterior escondia.

Para perguntas de medição, como taxa de sucesso na população ou comparação de duas versões, cinco não chegam; aí o tamanho depende da precisão e da análise planeada.

Do problema à nova avaliação

Conserva dados suficientes para comparar as condições, porque uma taxa melhor com tarefas mais fáceis ou pessoas mais experientes não demonstra que a alteração foi a causa; avalia com tarefas comparáveis, o mesmo critério de sucesso e participantes do perfil definido. Se repetires com as mesmas pessoas, controla a aprendizagem e a ordem como no desenho experimental.