Avaliação de Usabilidade: Uma Revisão Sistemática da Literatura
1. Introdução
Assiste-se, atualmente, a uma enorme disseminação das tecnologias digitais com
o objetivo de tornarem a nossa vida mais fácil e funcional (Best & Smyth,
2011).
Ao fenómeno global de disseminação tecnológica está associada uma crescente
importância da facilidade de utilização das tecnologias disponíveis e dos
serviços que elas suportam. A aceitação de serviços e dispositivos tecnológicos
depende de vários fatores tais como o design, os recursos financeiros
disponíveis, o contexto dos utilizadores, as próprias funções disponibilizadas
e o seu mapeamento com as capacidades e competências dos utilizadores finais,
ou seja o seu grau de usabilidade.
Desde que surgiu, na década de 80 do século passado, o termo usabilidade foi
muitas vezes usado para se referir à capacidade de um produto ser facilmente
utilizado (Carrol, 2009). Tal coincide com a perspetiva de usabilidade como uma
qualidade do software, ou seja atributos de software que incidem sobre o
esforço necessário para a sua utilização e sobre a avaliação individual de tal
uso por um conjunto explícito ou implícito de utilizadores (ISO 9126-1, 2001).
Durante os anos 90 da década passada, o entendimento sobre usabilidade mudou de
uma propriedade binária de tudo ou nada para uma propriedade contínua que
abrange diferentes extensões de usabilidade. Esta passou a estar relacionada
com o suporte aos utilizadores para atingirem um objetivo e não apenas uma
característica da gestão da interação com o utilizador (Cockton, 2012). De
acordo com a International Organization for Standardization (ISO), a
usabilidade pode ser encarada como uma medida de como um produto pode ser usado
por utilizadores específicos para alcançar objetivos específicos com eficácia,
eficiência e satisfação, num contexto de utilização específico (ISO 9241-11,
1998; Nielsen, 2003). A palavra usabilidade refere-se ainda aos métodos
utilizados para melhorar a facilidade de utilização durante o processo de
desenvolvimento (Nielsen, 2003).
Dentro da Interação Humano-Computador (IHC), o conceito de usabilidade foi
sendo reconstruído continuamente e tornou-se cada vez mais rico e problemático.
A usabilidade integra, agora, qualidades como diversão, bem-estar, eficácia
coletiva, estética, criatividade, suporte para o desenvolvimento humano, entre
outras. O entendimento atual da usabilidade é, portanto, diferente do dos
primeiros passos da IHC na década de 80. Na mudança de século, a ascensão dos
serviços digitais (por exemplo, a web, o telemóvel ou a televisão interativa)
acrescentou novas preocupações à IHC, dando origem a um outro conceito ainda
mais significativo do que a usabilidade: a experiência do utilizador (Cockton,
2012).
A experiência do utilizador vai além da eficiência, qualidade das tarefas e
satisfação do utilizador, pois considera os aspetos cognitivos, afetivos,
sociais e físicos da interação. Nesta perspetiva, a experiência do utilizador
contextualiza a usabilidade. Já não se espera que a usabilidade estabeleça o
seu valor de forma isolada, mas que seja um dos contributos complementares para
um projeto de qualidade que não se concentre apenas em características e
atributos dos sistemas (Martins et al., 2011), nomeadamente se são
inerentemente utilizáveis ou não, mas também no que acontece quando os sistemas
são utilizados. Tal permite contemplar aspetos como diversão, bem-estar,
eficácia, estética, criatividade e suporte para o desenvolvimento humano, entre
outros (Cockton, 2012).
A melhoria da usabilidade apresenta diversos benefícios, nomeadamente (Bevan,
1998; Bevan, Claridge & Petrie, 2005):
* Aumento da eficácia e eficiência: um sistema adaptado ao modo como o
utilizador age permite uma interação mais eficaz e eficiente.
* Maior produtividade: um mecanismo de interação utilizável permite que o
utilizador se concentre na tarefa e não na ferramenta, aumentando o seu
desempenho em consequência da qualidade da interação.
* Redução de erros: se a gestão da interação evitar inconsistências e
ambiguidades reduz a probabilidade de erros por parte do utilizador.
* Menor necessidade de formação: um sistema com um bom nível de usabilidade,
projetado com base no utilizador final pode facilitar a curva de
aprendizagem.
* Melhoria da aceitação: os utilizadores estão mais propensos a confiar num
sistema bem projetado com acesso a funcionalidades que tornem a informação
fácil de encontrar e utilizar.
* Apoio a utilizadores com menos competências tecnológicas: a existência de
sistemas complexos só acessíveis a utilizadores especializados e com elevadas
aptidões técnicas conduz ao incremento do fosso entre aqueles que têm mais
competências tecnológicas e os que estão menos preparados.
* Apoio a utilizadores com necessidades especiais: se os sistemas tiverem um
maior nível de usabilidade contribuirão para minorar o impacto dos fatores
ambientais e, consequentemente, aumentar o desempenho dos utilizadores com
deficiências (Martins, et al., 2012). Neste particular, o conceito design for
all enfatiza a necessidade de acesso a sistemas de informação para a mais
ampla gama possível de utilizadores, principalmente os idosos e pessoas com
limitações ao nível das capacidades físicas e cognitivas.
Apesar de todas as vantagens acima descritas existem também desafios à
usabilidade. Desenvolver sistemas com uma boa usabilidade exige mudanças
culturais, técnicas e compromissos estratégicos, tais como (Bevan, 1998):
* Cultural: todos os que participam no desenvolvimento de um sistema devem
estar cientes dos problemas envolvidos e das atividades necessárias para um
projeto centrado no utilizador para que sejam tomadas as melhores decisões.
* Técnico: os processos de desenvolvimento e os procedimentos associados devem
incluir métodos e atividades de avaliação de usabilidade apropriados às
diferentes tipologias de projetos.
* Estratégico: uma boa usabilidade deve ser entendida por todas as partes
interessadas como um objetivo essencial no desenvolvimento de qualquer
sistema.
A importância da usabilidade tem sido abordada numa vasta lista de literatura
académica, tutoriais, estudos de caso e disseminação de boas práticas (Best
& Smyth, 2011). Consequentemente, as organizações estão cada vez mais
conscientes para a questão da usabilidade, mas a orientação sobre como "fazer"
usabilidade tende a estar focada na tecnologia, centrando-se em abordagens
específicas para a elaboração ou avaliação de sistemas (Bevan & Curson,
1999). A grande maioria dos processos de desenvolvimento foca-se inteiramente
nas especificações técnicas e processuais. Esta é uma das principais razões
pela qual os sistemas são parcialmente utilizados, mal utilizados, não
utilizados de todo ou então não conseguem ganhar ampla aceitação (Bevan et al.,
2005). Em consequência, são necessárias metodologias que comportem processos
cíclicos de análise, prototipagem, teste e refinamento das sucessivas propostas
de mecanismos de interação com os utilizadores (Ivory & Hearst, 2001; Rocha
et al., 2013).
2. Avaliação de Usabilidade
Existem diferentes modelos de avaliação de usabilidade. Certos modelos utilizam
dados dos utilizadores, enquanto outros contam com especialistas na área da
usabilidade. De acordo com (Dix et al., 2004) os modelos de avaliação de
usabilidade que se baseiam em dados de utilizadores reais são designados por
modelos empíricos, enquanto os modelos que se baseiam na análise de um sistema
ou produto por especialistas na área da usabilidade são conhecidos por modelos
analíticos.
Associados a cada um destes modelos existem vários métodos de avaliação de
usabilidade para todas as fases de conceção e desenvolvimento, desde a
definição inicial até às alterações finais do produto ou serviço (Hanington
& Martin, 2012).
Os quatro principais métodos de avaliação de usabilidade são: teste, inquérito,
experiência controlada e inspeção. Os três primeiros são normalmente utilizados
nos modelos empíricos e baseiam-se em dados recolhidos dos utilizadores. O
quarto está relacionado com os modelos analíticos e baseia-se na inspeção feita
por especialistas.
O método teste envolve a observação dos utilizadores enquanto eles realizam
tarefas com um determinado produto ou serviço (Nielsen, 1993) e consiste na
recolha de dados maioritariamente quantitativos e na procura de evidência
empírica sobre como melhorar a usabilidade de mecanismos de interação(Hanington
& Martin, 2012).
Tais métricas podem estar relacionadas com questões simples como, por exemplo,
se uma determinada tarefa pode ser concluída com sucesso, ou com questões
relativamente complexas como, por exemplo, o grau de satisfação dos
utilizadores finais pelo que, naturalmente, são muito variáveis e dependem do
âmbito e objetivos do sistema em concreto que se pretende avaliar. Assim,
testar a usabilidade envolve, geralmente, a observação sistemática para
determinar o quão bem os utilizadores conseguem realizar as tarefas propostas.
O método teste inclui várias técnicas de avaliação de usabilidade, nomeadamente
prototipagem rápida, avaliação de desempenho, observação, hallway testing,
rapid iterative testing and evaluation, think-aloud, Wizard of Oz, remote
usability test ou co-discovery.
O método inquérito envolve a recolha de dados qualitativos dos utilizadores.
Embora os dados recolhidos sejam subjetivos, eles fornecem informações valiosas
sobre o que o utilizador deseja. Para a recolha de dados existem várias
técnicas que podem ser consideradas, nomeadamente focus group, entrevistas,
questionários ou diary studies.
O método experiência controlada pressupõe a aplicação do método científico para
testar uma hipótese com utilizadores reais através do controlo de variáveis e
utilizando uma amostra de dimensão suficiente para se determinar significância
estatística. Devido à sua natureza controlada este é o método menos afetado por
enviesamento, mas também o mais difícil de implementar devido ao número de
participantes e questões logísticas associadas ao controlo de variáveis (Rubin
& Chisnell, 2008).
O método inspeção envolve a participação de peritos para avaliar os diferentes
aspetos da interação do utilizador com um dado sistema. O método inspeção pode
incluir técnicas como a avaliação heurística, a cognitive walkthrough, a
inspeção de consistência, a inspeção pluralista ou a análise de tarefas.
3. Revisão Sistemática da Literatura
A revisão sistemática da literatura sobre a avaliação de usabilidade realizada
incidiu sobre os artigos publicados desde 1 janeiro de 2010 a 31 de dezembro de
2012. Para cada referência incluída na revisão classificaram-se o(s) modelo(s),
método(s) e técnica(s) utilizados para a avaliação, sempre que os resumos dos
artigos permitiram tal classificação.
Para a realização deste estudo formulou-se a seguinte questão de investigação:
Quais são os modelos, métodos e técnicas que estão a ser utilizados na
avaliação de usabilidade de produtos e serviços baseados em tecnologias de
informação e comunicação?
A metodologia utilizada para a realização desta revisão sistemática encontra-se
detalhada nas subsecções seguintes.
A. Recolha de Dados
A expressão utilizada para a pesquisa foi a seguinte: "usability evaluation" or
"usability test" or usability testing or user centered. Para limitar o
número de referências, a pesquisa foi realizada no topic. O topic inclui
pesquisa no título, resumo, palavras-chave do estudo e palavras-chave do autor.
As referências incluídas nesta revisão foram recolhidas da Web of Science, pois
esta base de dados indexa mais de 12.000 revistas de impacto em todo o mundo,
incluindo revistas como as da Association for Computing Machinery (ACM)Digital
Library ou as do Institute of Electrical and Electronics Engineers(IEEE). A
pesquisa foi realizada no dia 6 de Janeiro de 2013.
B. Seleção dos Estudos
Da pesquisa na Web of Science resultaram 2116 referências, das quais 808 foram
excluídas: 69 por estarem em duplicado, 171 por não terem resumo e 568 por
saírem fora do âmbito de investigação (Figura_1). Neste último grupo incluíram-
se todos os estudos que utilizam o termo usabilidade com um significado
diferente daquele que é utilizado neste artigo. Alguns estudos mencionam
usabilidade como sendo utilizável (por exemplo, a usabilidade da água). No
total, 1308 referências foram objeto de uma análise mais detalhada.
Todos os estudos objeto desta análise mais detalhada obedeceram ao seguinte
critério de inclusão: fazer referência a uma avaliação de usabilidade de um
produto ou serviço baseado em tecnologias de informação e comunicação.
A maior parte dos artigos que satisfazem o critério de inclusão contêm
informação suficiente para identificar os modelos, métodos e técnicas
utilizados. Outros, porém, apenas contêm informação parcelar como os que apenas
indicam que a avaliação realizada envolveu utilizadores, o que apenas permite
identificar o tipo de modelo, neste caso empírico. Todos estes estudos foram
incluídos numa categoria designada por avalia - com informação.
Adicionalmente, foram consideradas as seguintes categorias:
* Avalia - sem informação - para os casos em que o critério de inclusão é
satisfeito mas que não há qualquer informação sobre os modelos, os métodos e
as técnicas utilizados para a avaliação de usabilidade.
* Sem informação sobre a avaliação - categoria que é utilizada nos casos em que
é referida uma avaliação, mas que não é explícito se essa avaliação é
efetivamente uma avaliação de usabilidade.
* Não avalia - esta categoria é utilizada quando os autores referem claramente
que a usabilidade não foi avaliada como, por exemplo, quando indicam que esta
será realizada em trabalhos futuros ou quando se tratam de estudos de base
conceptual, nomeadamente artigos de revisão (Freire, Arezes & Campos,
2012; Yamaoka & Tukuda, 2011).
* Ferramentas - para classificar os estudos que não avaliam usabilidade mas que
apresentam ferramentas ou linhas orientadoras para avaliação ou melhoria da
usabilidade (Elling, Lentz & de Jong, 2012; Weinhold, Oettl &
Bekavac, 2012).
O diagrama da Figura_2 ilustra o processo de classificação dos estudos
incluídos na revisão.
Para a realização desta classificação criou-se uma base de dados com todas as
informações necessárias para responder às questões de investigação e
possibilitar a análise dos dados. Nesta base de dados incluiu-se para cada
estudo o ano de publicação, autores, título da publicação, modelo(s), método(s)
e técnica(s) utilizados na avaliação. A análise dos dados foi realizada
utilizando as ferramentas estatísticas do Microsoft Excel 2013.
4. Resultados
Nesta secção são apresentados os resultados referentes aos estudos incluídos
para análise detalhada, ou seja 1308 estudos. Destes, a maioria (621) têm a
indicação dos modelos, métodos e técnicas utilizados para a avaliação de
usabilidade, 236 foram classificados como Avalia - sem informação, 265 referem
a realização de uma avaliação (no entanto não apresentam informação sobre a
avaliação de usabilidade), 52 não avaliam usabilidade e 134 são ferramentas ou
linhas orientadoras para a avaliação de usabilidade. O gráfico da Figura_3
ilustra a distribuição por categorias.
Dos 621 estudos que contêm indicação dos modelos, métodos e técnicas, vários
utilizam mais do que um modelo, o que justifica os seguintes valores: 591
estudos envolveram avaliações com utilizadores (modelo empírico) e 67
realizaram avaliações envolvendo apenas especialistas.
Adicionalmente, dos estudos empíricos analisados 211 utilizaram o método teste,
278 utilizaram o método inquérito e 3 utilizaram o método experiência
controlada. Relativamente ao método teste, a técnica que apareceu mais
frequentemente foi a avaliação de desempenho com 122 estudos. A técnica
observação foi utilizada em 47 estudos, seguido da técnica think-aloud com 38
estudos. Quer a técnica simulação quer a técnica prototipagem rápida foram
referidas em 9 estudos. O gráfico da Figura_4 apresenta a distribuição de
estudos classificados de acordo com as técnicas de teste.
A técnica que recorre ao preenchimento de questionários foi a mais frequente do
método inquérito com 194 estudos, seguindo-se a técnica entrevista com 77
estudos. A técnica focus group foi referida em 30 estudos e a técnica menos
mencionada foi a diary study (2 estudos). O gráfico da Figura_5 apresenta a
distribuição de estudos classificados de acordo com as técnicas de inquérito.
No que diz respeito aos estudos que realizaram avaliação envolvendo
especialistas (analíticos), o método inspeção foi utilizado em 60 estudos.
Nestes, a técnica avaliação heurística foi a mais utilizada (53 artigos),
seguido das técnicas cognitive walkthrough e análise de tarefas com 9 e 4
estudos, respetivamente (ver o gráfico da Figura_6).
Nesta revisão sistemática da literatura verificou-se que vários estudos
recorreram à combinação de vários métodos. Dos 211 estudos que utilizaram o
método teste, 102 também utilizaram o método inquérito e 19 utilizaram o método
inspeção.
Dos 278 estudos que utilizaram o método inquérito, 6 recorreram também ao
método inspeção. Além disso, 9 estudos utilizaram, em simultâneo, três métodos
de avaliação (teste, inquérito e inspeção).
5. Discussão
Esta revisão sistemática permitiu a construção de uma visão global sobre os
modelos, métodos e técnicas de avaliação de usabilidade que têm sido utilizados
nos últimos três anos, através da utilização de uma metodologia sistemática.
Todos os métodos de avaliação apresentados nas secções introdutórias deste
artigo (teste, inquérito, inspeção e experiência controlada) foram
identificados nos estudos incluídos na revisão sistemática. Tal como referido
na literatura, também esta revisão revelou que o modelo empírico (que comporta
os métodos teste, inquérito e experiência controlada) é o mais frequentemente
utilizado, o que parece indicar um reconhecimento do papel dos utilizadores
enquanto fonte de conhecimento para a avaliação de usabilidade. O reduzido
número de estudos identificados nesta revisão sistemática que utilizaram
experiências controladas, poderá dever-se ao facto do método experiência
controlada requerer um elevado número de recursos, quer em termos logísticos,
quer em termos do tamanho da amostra.
No âmbito do método teste, a técnica mais utilizada, com uma grande diferença
em relação às restantes, foi a avaliação de desempenho. Trata-se de uma técnica
de avaliação de usabilidade centrada no utilizador e nas tarefas que este
executa e envolve a recolha de dados quantitativos. A avaliação de desempenho
do utilizador é realizada através do registo de elementos relacionados com a
execução de determinada tarefa, nomeadamente duração, sucesso ou número de
erros. Por outro lado, no âmbito do método inquérito, a técnica mais
frequentemente utilizada, e novamente com uma grande diferença em relação às
restantes, é o questionário. Os questionários são instrumentos para recolha de
informação qualitativa e auto-reportada sobre as características, pensamentos,
sentimentos, perceções, comportamentos ou atitudes dos utilizadores,
normalmente de forma escrita.
Algumas técnicas, no entanto, não foram identificadas em qualquer um dos
estudos, provavelmente porque o número de estudos não foi suficientemente
extenso para abranger todas as técnicas ou porque estas são pouco utilizadas
como, por exemplo, a técnica co-discovery. Se a pesquisa tivesse incidido no
estudo completo, ao invés de apenas no topic, o número de referências
potencialmente relevantes para a análise seria muito maior, e provavelmente
incluiria todas as técnicas disponíveis. Efetivamente, um estudo pode mencionar
uma avaliação de usabilidade, mas se esta não tiver sido um dos objetivos
principais do trabalho, pode não ter sido mencionada no topic e,
consequentemente, não pode ser alvo da análise efetuada.
A avaliação de usabilidade é uma tarefa complexa e a utilização de apenas um
método pode não ser suficientemente abrangente e completa para avaliar de forma
profunda todas as questões pertinentes associadas a um determinado produto ou
serviço. Um grande número de estudos realizou avaliações de usabilidade
recorrendo à combinação de diferentes métodos.
A combinação de métodos permite uma avaliação abrangente das várias
características de um produto ou serviço. A combinação de métodos mais
frequente nesta revisão foi a combinação dos métodos teste e inquérito,
nomeadamente nas técnicas avaliação de desempenho e questionários. Uma possível
explicação corresponde ao facto do método teste ser mais objetivo, resultando
normalmente em dados quantitativos (como é o caso da avaliação de desempenho) e
o método inquérito que tem um carácter mais subjetivo, resultando normalmente
em dados qualitativos (como é o caso dos questionários). Neste sentido, estes
métodos complementam-se e resultam numa avaliação mais abrangente e holística.
(Hanington & Martin, 2012) sugerem que a combinação de vários métodos para
avaliação de usabilidade acontece porque estes estão especificados de modo
muito incompleto para poderem ser aplicados de forma consistente. Por essa
razão, pode esperar-se que a avaliação de usabilidade envolva uma combinação de
vários métodos (Hanington & Martin, 2012).
Outro aspeto a salientar é que um grande número de estudos (236) referem ter
feito uma avaliação de usabilidade. No entanto, não fazem referência ao modo
como a operacionalizaram, o que parece indicar que alguns autores não
reconhecem a importância de descrever a metodologia utilizada na avaliação de
usabilidade.
Verificou-se também que em muitos estudos o termo usabilidade foi empregue de
modo inconsistente, referindo-se a um produto ou serviço ser utilizável e não
com o significado que foi considerado neste artigo. Esta inconsistência ao
nível da nomenclatura é um indicador de que seria necessária uma normalização
de terminologias.
Apesar disso, e tendo em conta que a maioria dos estudos indicam os modelos,
métodos e técnicas utilizados para a avaliação de usabilidade (621), verifica-
se que se trata de uma área de importância reconhecida pelos profissionais. O
elevado número de estudos classificados como ferramentas assim o demonstra,
sendo percetível uma preocupação em desenvolver e criar instrumentos que
facilitam a avaliação de usabilidade.
