Qualidade dos sítios Web da Administração Pública Portuguesa
1. Introdução
Hoje em dia a maioria da informação é disponibilizada através da Web e assiste-se a
uma convergência para este meio. Por isso, as exigências dos utilizadores em relação
aos sítios Web são cada vez maiores (Sá et al., 2016). Por uma questão económica ou
puramente social, todas as pessoas devem ter oportunidades iguais de acesso à Web.
Uma Web acessível pode ajudar os cidadãos com necessidades especiais a participar
na sociedade de uma forma mais ativa do que nunca, da mesma forma que poderá
beneficiar cidadãos com idade mais avançada, baixa literacia e que usam tecnologias
antigas ou dispositivos móveis (W3C, 2012).
Os sítios Web comerciais têm na concorrência uma força motriz que os incentiva
a melhorar continuamente. Se um sítio de uma entidade concorrente oferecer
uma experiência de utilização superior, as pessoas optam por usá-lo. Tal não se
verifica nos sítios dos organismos da Administração Pública (AP) devido ao seu
carácter exclusivo.
Neste sentido, foi realizado um estudo que teve como objetivo aferir a qualidade dos
sítios da AP e apresentar recomendações que possam levar ao aperfeiçoamento da
qualidade geral das páginas. Este artigo resulta desse trabalho de investigação que
pode ser consultado na íntegra em “Usabilidade, Acessibilidade e Qualidade da Web da
Administração Pública portuguesa” (Carvalho, 2015) e que teve a sua génese no ano de
2010, momento das primeiras recolhas de informação.
Este artigo está estruturado em 5 secções. Esta primeira secção salienta as motivações,
objetivos e contextualização do estudo. Na secção 2 é descrita a metodologia
adotada e na secção 3 realiza-se a análise dos principais resultados. Seguidamente
apresentam-se recomendações, tendo por base os resultados obtidos. Finalmente, a
secção 5 é dedicada às conclusões do estudo e ao levantamento de sugestões para
trabalhos futuros.
1.1. Conceito de Qualidade
O conceito de qualidade é algo de inerente ao ser humano (António & Teixeira, 2007)
e tem evoluído ao longo dos tempos, acompanhando o desenvolvimento de várias
civilizações (Juran, 1995). É um conceito complexo e multifacetado que pode ser
encarado sob diversas perspetivas. Existe uma grande diversidade de definições, pese
embora as variações entre elas não sejam muito amplas. No contexto dos sítios Web,
destacamos a norma ISO/IEC25010 que define as características necessárias para que
um produto de software tenha qualidade. Estas características incluem usabilidade,
fiabilidade, efetividade, entre outras. Para além destas características de qualidade
“intrínseca”, a ISO/IEC25010 define ainda características de interação concreta dos
utilizadores com o produto, onde se inclui eficiência, análise de contexto, satisfação,
entre outras (ISO/IEC, 2011).
1.2. Legislação
Em 1999, Portugal foi o quarto país do mundo (logo após o Canadá, os EUA e a Austrália)
a adotar regras de Acessibilidade da informação disponibilizada na Internet pela AP no
sentido de “assegurar que a informação disponibilizada na Internet seja suscetível de ser
compreendida e pesquisável pelos cidadãos com necessidades especiais” (Resolução do
conselho ministros n.º 97/1999).
Em 2001, o governo decretou a obrigatoriedade de avaliação periódica da qualidade dos
sítios Web dos organismos da administração direta e indireta do Estado como forma de
“instituir mecanismos que (…) afiram da sua compatibilidade com critérios básicos de
qualidade” (Resolução do conselho de ministros n.º 22/2001). O modelo de avaliação foi
encomendado à Universidade do Minho que produziu o documento “Método de Avaliação
dos Web Sites dos Organismos da Administração Direta e Indireta do Estado” (Amaral
et al., 2001). Este método assentava em duas dimensões: qualidade e maturidade. No
que diz respeito à qualidade, consideram-se cinco critérios: conteúdos, atualização dos
conteúdos, acessibilidade, navegabilidade e facilidades para cidadãos com necessidades
especiais. A maturidade avaliava o estado de desenvolvimento do sítio Web, tendo por
base critérios como a informação, a interação, interação bidirecional e transação.
Em 2007, uma nova legislação exigia que os sítios Web puramente informativos deviam
ser estruturados de acordo com o nível ‘A’ das Diretrizes de Acessibilidade para
Conteúdo Web (WCAG) propostas pelo World Wide Web Consortium (W3C). Da mesma
forma, os sítios Web que prestassem serviços de transação de informação precisavam
estar de acordo com o nível ‘AA’ das WCAG 1.0 (Resolução do conselho de ministros n.º
155/2007).
Em 2011, entrou em vigor legislação que obrigava à adoção de normas abertas nos
sistemas informáticos do Estado (Lei n.º36/2011) e que previa a criação do Regulamento
Nacional de Interoperabilidade Digital (RNID), aprovado no ano seguinte (Resolução do
conselho de ministros n.º91/2012). Assim, desde 8 de fevereiro de 2013, todos os sítios
Web do Estado estão obrigados a cumprir pelo menos o nível ‘A’ das WCAG 2.0 e todos
os sítios que disponibilizam serviços online estão obrigados a cumprir o nível ‘AA’ das
WCAG 2.0.
1.3. Estudos realizados em Portugal
Com base no método de avaliação de qualidade proposto em 2001, foram realizadas duas
avaliações externas (2002 e 2003) aos sítios das entidades da AP (Accenture, 2003).
Desde então não são conhecidos estudos que tenham analisado a qualidade dos sítios
Web da AP de uma forma global.
Contudo foram realizados estudos de aferição de acessibilidade, como por exemplo, a
“Conformidade dos sítios da AP na internet com o nível “a” das wcag 1.0 do W3C” (UMIC,
2008), “Estudo sobre o estado da Acessibilidade dos sítios Web dos estabelecimentos de
ensino superior” (Fernandes & Cardoso, 2013), “Acessibilidade dos Conteúdos Web dos
Municípios Portugueses” (Fernandes & Cardoso, 2014), “Acessibilidade dos Conteúdos
Web no Setor da Saúde” (Moreira, P. S., 2014) entre outros, mas estes estudos são
parciais.
O presente trabalho é o maior e mais completo estudo realizado desde 2003 sobre a
qualidade dos sítios das entidades da AP.
2. Metodologia
2.1. Modelo de Avaliação
Dado que o modelo proposto por Amaral et al. (2001) apresentava indicadores
obsoletos (devido à evolução da tecnologia) e focados nos conteúdos, elaborou-se um
novo modelo de avaliação, baseado na literatura e na legislação em vigor que dá maior
ênfase à forma como os conteúdos são publicados. Optou-se por realizar avaliações
com base em heurísticas por não requerem a participação de utilizadores reais, o
que permite analisar universos maiores sem comprometer a qualidade dos dados
recolhidos. Devido a estas vantagens, a avaliação heurística é a técnica mais usada
em estudos que recorrem a métodos analíticos (Martins, A. I. et al (2013). Pretende-se que o modelo de avaliação proposto possa contribuir para uma nova fase de
estudos comparativos.
2.2. Critérios, Indicadores e Medidas Adotadas
Privilegiaram-se indicadores mensuráveis e objetivos. Para tal, foram adotados 4
critérios - conteúdos, usabilidade, acessibilidade e eficiência - e 33 indicadores tendo
por base as contribuições de vários autores e da legislação portuguesa. Foram escolhidos
indicadores propostos em Olsina (1999), Amaral et al. (2003), Oliveira et al. (2003),
Garcia et al. (2005), Nielsen (2006), Souders (2007), King (2008), Kadlec (2012) e
Google (2015). No que diz respeito à legislação, para além da indicada na secção 2.1,
considerou-se ainda a Lei n.º3/2004 e a Lei n.º66-B/2007 (que indicam quais as
informações que devem ser disponibilizadas como “informação de gestão”), o decreto
do Presidente da República n.º 52/2008 (que ratificou o Acordo Ortográfico) e a Lei n.º
46/2012 (que regulamenta a utilização de cookies).
Usaram-se medidas do tipo Sim/Não - que atribui classificação apenas quando o
indicador se verifica na totalidade - e do tipo Semáforo - que admite classificação
também quando o indicador se verifica parcialmente (50%). A especificação detalhada
de cada medida pode ser encontrada em Carvalho, R. (2015).
De salientar que os critérios de usabilidade e eficiência foram usados pela primeira vez
num estudo deste género. O resumo dos Critérios, Indicadores e Medidas adotadas
podem ser observados na tabela 1.
2.3. Pesos de Critérios e de Indicadores
Optou-se por atribuir o mesmo peso aos quatro critérios (25%) e aos indicadores (10%),
com exceção dos indicadores de acessibilidade, aos quais se atribuiu um peso de 50%,
30% e 20% respetivamente, seguindo a prática de estudos anteriores (Accenture, 2003).
A atribuição do mesmo peso a todos os indicadores evita uma avaliação subjetiva da
importância relativa de cada um deles.
2.4. Universo de Estudo
O universo considerado neste estudo foi o conjunto de organismos que constituíam
em 2015 a AP direta e indireta portuguesa, assim como quatro órgãos superiores de
soberania. A administração direta é constituída pelos organismos sujeitos ao poder
hierárquico de um respetivo membro do governo, como os ministérios, direções gerais ou
direções regionais. Já a administração indireta do Estado é constituída por organismos
que, devido à sua especificidade são geralmente dotados de personalidade jurídica,
património próprio e de autonomia administrativa e financeira, embora continuem
dependentes da tutela de um ministério.
Tabela 1 – Critérios, Indicadores e Medidas adotadas na avaliação.
Na Tabela 2 é possível consultar a distribuição dos sítios Web analisados.
Tabela 2 – Distribuição de sítios Web analisados por tutela.
2.5. Recolha de dados
Os dados foram recolhidos por inspeção direta dos sítios Web e através de ferramentas
automáticas. A avaliação foi realizada por um grupo de 4 avaliadores, sendo um principal
e três auxiliares. Cada análise demorou em média 28 minutos e foi orientada seguindo
uma lista de verificação consolidada nos 33 indicadores que constituem o modelo de
avaliação. Complementarmente, foram recolhidos outros dados como por exemplo
a localização do alojamento, os autores dos sítios (sempre que possível), assim como
os resultados quantitativos globais das ferramentas usadas. Para garantir a fiabilidade
dos dados, foram definidos critérios detalhados para cada indicador que podem ser
consultados em Carvalho, R. (2015).
2.6. Ferramentas Usadas
Para além da observação direta dos sítios, foram usadas 9 ferramentas automáticas:
FLIP1, Privacy Badger2, Google Mobile-Friendly Test3, Pingdom4, W3c Link Checker5,
Google PageSpeed Insights6, Firebug7, Ylow8 e AcessMonitor9. O detalhe do uso
específico de cada ferramenta pode ser encontrado em Carvalho (2015). É de crucial
interesse salientar que as análises automáticas necessitam de uma revisão humana uma
vez que alguns dos problemas podem não ser descobertos automaticamente e outros são
erradamente considerados problemas. Por isso, foi realizada uma validação manual e
exaustiva dos erros e alertas gerados pelas ferramentas.
3. Análise dos Dados
A recolha dos dados foi iniciada no mês de abril de 2015 e prolongou-se até agosto de
2015, devendo ser este o mês considerado como referência para os dados.
3.1. Classificações finais
As classificações finais foram calculadas articulando as classificações e os pesos dos
indicadores previstos na Tabela 1. Na Tabela 3 observam-se as classificações médias
globais (coluna a cinza) e a distribuição das classificações por escalões.
A classificação média alcançada pelos sítios Web foi de 45%, a mediana foi de 44% e a moda
de 39%. O desvio padrão é de 0,10. Apenas 31 sítios obtiveram classificação global positiva.
Os melhores resultados foram alcançados pelos departamentos Estado-Geral
(classificação média de 58%), o Ministério dos Negócios Estrangeiros (55%) e pelo
Ministério da Educação e Ciência (52%). De forma inversa, os piores resultados foram
alcançados pelo Ministério da Economia (41%), o Ministério da Agricultura e Mar (40%)
e pelo Ministério da Saúde (40%).
3.2. Classificações por critério
O critério que obteve a melhor classificação média foi os Conteúdos (72%), pois a maioria
dos organismos publicam as informações a que estão obrigados. Em sentido inverso,
o critério de acessibilidade revelou-se o mais deficitário com uma classificação média
ponderada de 19%, revelando que a maioria dos organismos não dispõe de um sítio
preparado para utilizadores com necessidades especiais. Os indicadores de Usabilidade
obtiveram uma classificação média de 52% enquanto que o critério de Eficiência obteve
uma classificação média de 36%.
Tabela 3 – Classificações finais por departamento e escalão.
Conteúdos
A síntese de resultados do critério Conteúdos é apresentada na Tabela 4, onde se observa
a classificação parcial com que o critério Conteúdos contribuiu para a classificação final.
Uma vez que o peso do critério Conteúdos é de 25% do total da classificação final, a
obtenção de 100% de classificação neste critério implica obter 25% na classificação final.
Uma vez que alguns dos indicadores são do tipo semáforo, a classificação apresentada
nesta tabela não se refere ao número de organismos, mas sim, à classificação consolidada.
Esta abordagem é semelhante nos restantes critérios.
A publicação da missão, estrutura e organização (ID 1.1) é feita por 126 entidades de
forma inequívoca. Apenas dois organismos não publicitam esta informação e outros
dois organismos apenas têm a informação parcialmente disponível. Relativamente aos
instrumentos de gestão (ID 1.3), 94% das entidades (123) publicam toda a informação
exigida por lei, embora em alguns casos essa informação possa não estar atualizada.
Todos os organismos analisados apresentam os seus contactos nas respetivas páginas
Web, pelo que o indicador 1.4 é o único com classificação máxima.
Tabela 4 – Resultados agregados do critério Conteúdos.
O mesmo não se pode dizer quanto à disponibilização de conteúdos noutros idiomas
(ID 1.5). Embora a importância da disponibilização de conteúdos em idiomas para além
do português varie consoante a instituição e o tipo de serviços prestados aos cidadãos,
apenas 22 organismos (16,92%) disponibilizam sítios totalmente traduzidos num outro
idioma e 14 organismos (10,77%) disponibilizam sítios com alguns conteúdos disponíveis
num outro idioma. O inglês é adotado por todos eles. Para além deste, o francês está
disponível em quatro organismos e o espanhol em dois (sítios trilingues). Apenas um
sítio disponibiliza conteúdos em quatro idiomas (português, inglês, francês e espanhol).
Relativamente ao Acordo Ortográfico (ID 1.6), 49 organismos publicam conteúdos com
a grafia antiga. Em alguns sítios Web de organismos, era apresentada uma mensagem
indicando que a partir de uma determinada data os textos usavam a nova grafia (apesar
de isso ser contrário ao que manda a lei). Destaca-se o facto de todos os organismos sob
tutela do Ministério da Educação e Ciência usarem o Acordo Ortográfico em pleno.
Quanto à atualização da informação publicada (ID 1.7), a classificação média de todas as
áreas funcionais do Estado é de 80%. De todo o universo analisado, 84 entidades (64%)
possuem conteúdos atualizados (data de publicação inferior a um mês) e 39 (30%)
entidades cumprem este requisito parcialmente, por exemplo publicado conteúdos
recentes, mas sem indicar claramente a data da última atualização.
Quanto à existência de arquivos de documentos (ID 1.8), apenas um sítio não
disponibilizava nenhum tipo de arquivo.
No que diz respeito à existência e funcionamento de um motor de busca interno (ID
1.9), os resultados são muito díspares. A análise não se focou apenas na existência desta
funcionalidade, mas principalmente na pertinência dos resultados obtidos. Na maior
parte dos casos a funcionalidade existe, mas está mal implementada ou nem sequer foi
testada. Todos os sítios Web devem ter uma funcionalidade de pesquisa interna eficaz e
eficiente, mas isso não se verificou em 68 entidades: 45 entidades (34,6% do universo)
não obtiveram classificação e 23 (17,7%) do universo obtiveram classificação parcial.
Finalmente, a verificação do uso de cookies (ID 1.10), apresenta os piores resultados
deste critério: o número das entidades que avisam o utilizador que estão a usar cookies é
bastante baixo: das entidades analisadas, apenas 10 (7,7%) colocam um aviso de cookies,
embora este mecanismo seja usado por todas elas. Para além disso, foi analisado o tipo
de cookies usado para permitir distinguir entre os cookies estritamente necessários (e
que são temporários) e os permanentes que têm por objetivo principal a identificação
dos utilizadores. Na Tabela 5 é possível observar esta informação. Preocupante
são sobretudo os 81 sítios Web que usam cookies permanentes e que não avisam os
utilizadores que o estão a fazer. De salientar também que dos 90 sítios Web que usam
cookies permanentes, 85 deles usam o Google Analytics para recolher e analisar dados
dos visitantes, sem que obtenham qualquer permissão para tal.
Tabela 5 – Classificação do tipo de Cookies usados pelos sítios Web os organismos do Estado.
Usabilidade
A síntese de resultados do critério Usabilidade é apresentada na Tabela 6. Apenas 17
organismos não obtiveram qualquer pontuação no indicador 2.1 por não apresentarem
uma estrutura de navegação consistente ao longo das várias páginas do sítio Web. Por
sua vez, 14 organismos obtiveram classificação parcial.
A segunda característica testada foi o design adaptável (responsive design) no sentido
de verificar se os sítios estão preparados para serem consultados a partir de dispositivos
com diferentes tamanhos de ecrã, sobretudo telemóveis ou tablets (ID 2.2). Constatou-se que esta característica é pouco usada nos sítios da AP: apenas 22 sítios (16,9%)
cumprem este requisito.
No que diz respeito à velocidade de carregamento das páginas (ID 2.3), 53 sítios (40,7%)
foram carregados em menos de 2 segundos e 47 sítios (36,15%) foram carregados entre 2
a 4 segundos. O tempo médio de carregamento das páginas iniciais foi de 3,51 segundos,
existindo uma enorme variação: a página mais rápida carregou em 0,55 segundos e a
mais lenta em 33,2 segundos.
Para determinar quais os fatores que mais contribuem para aumentar o tempo
de carregamento, analisou-se o tamanho médio das páginas iniciais e o local do
alojamento (hosting).
Como se pode observar no Gráfico 2, apesar do tamanho das páginas em KB (mancha
cinzenta) faça aumentar o tempo de carregamento (linha azul), não é possível estabelecer
uma regra de causa-efeito.
Registaram-se ainda as entidades responsáveis pelo alojamento e os locais físicos dos
centros de dados (datacenters) e concluiu-se que não é possível estabelecer uma relação
entre estes e os tempos de carregamento. Por exemplo, os 29 sítios com tempos de
carregamento mais elevados encontravam-se alojados em Portugal e a mesma empresa
de alojamento apresenta bons e maus resultados para páginas com o mesmo tamanho.
Ou seja, as diferenças nos tempos de carregamento estão relacionados com a qualidade
do código fonte das páginas e com o uso de técnicas de compressão.
Em relação aos endereços (URLs) dos sítios Web (ID 2.4), apenas 34 entidades
(26,15%) obtiveram classificação máxima, enquanto 43 entidades (33,08%) obtiveram
classificação parcial, devido ao facto dos seus endereços incluírem a tecnologia usada.
Na verificação da funcionalidade do botão “Retroceder” (ID 2.5), apenas cinco entidades
apresentam problemas e obtiveram classificação nula.
A verificação de ligações inválidas/quebradas (ID 2.6) revelou que 56 sítios (43,08%)
dos organismos apresentam hiperligações quebradas ou inexistentes.
A validação da mudança de cor das hiperligações (ID 2.7) apresenta os piores resultados
deste critério, o que é surpreendente porque a heurística que a sustenta tem sido
recomendada ao longo de vários anos. O que é facto é que apenas 8,5% dos sítios
analisados usam esta característica.
Tabela 6 – Resultados agregados do critério Usabilidade.
O uso de plugins (ID 2.8) foi encontrado em 27 sítios (20,77%). Os plugins mais usados
foram o Flash10, o Silverlight11 e o Sharepoint. Não foi encontrado nenhum plugin que
afetasse irremediavelmente a navegação.
Gráfico 1 – Relação entre o tamanho médio das páginas inicias em KB (mancha cinzenta) e o
tempo de carregamento em segundos (linha azul).
Os resultados obtidos no indicador 2.9 – Tamanho de letra legível – são
baixos. Esta verificação adota especial importância nos dispositivos com ecrã
reduzido (como telemóveis e tablets), mas é também importante para ecrãs de
computadores convencionais. Na análise realizada, a maioria dos sítios (74,61%)
não apresentou um tamanho de letra adequado de forma a permitir uma boa
legibilidade de conteúdos.
Finalmente, na verificação do uso de www ou https (ID 2.10) foi detetado que 57 sítios
(43,85%) não permitiam o acesso quando o endereço era acedido por uma das formas
(com ou sem www). Para se considerar um comportamento correto, os sítios deveriam
permitir o acesso quer o utilizador usasse ou não o www (ou usasse ou não o https).
Por exemplo o sítio exemplo.pt deverá apresentar o mesmo conteúdo que o sítio www.
exemplo.pt. Na maior parte dos casos, o que acontece é que não é possível aceder ao sítio
sem usar o prefixo www. Contudo, como pior exemplo, no sítio do Instituto do Turismo
de Portugal, I.P. o endereço <http://www.turismodeportugal.pt/> apresenta conteúdos
diferentes do endereço <http://turismodeportugal.pt.>.
Acessibilidade
A síntese de resultados do critério Acessibilidade é apresentada na Tabela 7.
A média ponderada indicada na referida tabela toma em conta o peso de 50% dado ao
primeiro indicador (ID 3.1), os 30% de peso dados ao indicador 3.2 e os 20% dados ao
indicador 3.3.
O critério de Acessibilidade foi o que obteve piores classificações globais. Para o
cálculo final deste critério, contribuíram três indicadores que correspondem aos três
níveis das diretrizes de acessibilidade WCAG 2.0, medidos através da ferramenta
AccessMonitor.
Tabela 7 – Resultados agregados do critério Acessibilidade.
Um dos principais erros encontrados de acessibilidade diz respeito à falta de legendas
de figuras. Foi observado que mesmo os sítios estruturalmente bem implementados de
acordo com as diretrizes de acessibilidade apresentavam uma pequena percentagem
de imagens sem legenda, sobretudo de conteúdos acrescentados recentemente. Isto
demostra que o processo de atualização dos sítios Web não garante a manutenção de
todos os requisitos de acessibilidade.
Do universo deste estudo, apenas 13 sítios Web (10%) passaram os testes AccessMonitor
necessários para a atribuição do nível A e destes, apenas 9 sítios Web (6,92%) passaram
os testes necessários para a atribuição do nível AA.
Por sua vez, 47 sítios (36,15%) passaram os principais testes, alcançando pelo menos
uma classificação de 5 no índice do AccessMonitor. Tal significa que 74 sítios Web
(56,92%) não cumprem os requisitos mínimos de acessibilidade exigidos.
Figura 1 – Símbolo de Acessibilidade Web proposto pelo Web Access Project.
Figura 2 – Símbolos de Acessibilidade Web propostos pelo W3C
Praticamente todos os sítios analisados dispunham de um símbolo de Acessibilidade
aposto cujo objetivo era mostrar a adequação (ainda que parcial) com as diretrizes
de acessibilidade.
Verificou-se que 81 sítios (62,30%) continuavam a usar o símbolo da fechadura (Figura
1) e 46 sítios (35,39%) usavam um dos símbolos propostos pela W3C (Figura 2). Apesar
de 13 sítios terem passado a bateria de testes AcessMonitor para as WCAG 2.0 (mínimo
exigido por lei), nenhum sítio exibia este símbolo.
Salienta-se que os sítios que não afixaram qualquer tipo de símbolo de conformidade de
Acessibilidade (40) alcançaram, em média, um índice AccessMonitor superior aos que o
tinham feito: 5,25 (sem afixação) contra 5,13 (com afixação).
Tabela 8 – Símbolos de Acessibilidade apostos pelos sítios Web.
Eficiência
A síntese de resultados por departamento estatal é apresentada na Tabela 9. As técnicas
de SEO (ID 4.1) são muito abrangente.s e estão em constante mudança. Apenas 14 sítios
Web (10,77%) utilizam a totalidade destas técnicas e 34 sítios não implementavam pelo
menos umas das técnicas sugeridas.
Quanto à otimização do código HTML (ID 4.2), 98% dos sítios obtiveram classificação,
embora a maior parte dos sítios apenas parcialmente, sendo que o maior problema dizia
respeito ao excesso da quantidade do código HTML gerado.
Na verificação da otimização das imagens (ID 4.3), apenas dois sítios obtiveram classificação
máxima. Um total de 52 sítios (40%) obtiveram classificação nula neste critério por usarem
com uma dimensão maior que o necessário ou sem compressão. O pior caso encontrado
apresentava 12700 KB (12.4MB) uma vez que dispunha de um álbum de fotografias em
alta resolução. Esta é uma tendência que se verifica nos nove sítios de maior tamanho.
Tabela 9 – Resultados agregados do critério Eficiência.
A otimização de CSS (ID 4.4) é o segundo indicador deste critério que melhores resultados
obtém. Apenas 20 sítios (15,39%) não apresentam problemas e por isso obtiveram
classificação máxima, 106 sítios (81,54%) obtiveram classificação parcial e apenas
quatro sítios não obtiveram classificação neste domínio. As classificações parciais foram
atribuídas sobretudo devido à quantidade de recursos externos de CSS usados, havendo
espaço para serem combinados entre si, aumentando a eficiência das páginas.
No que diz respeito à otimização de javascript (ID 4.5), cerca de 80% dos sítios de
80,77% obteve classificação parcial, 15 (11,54%) obtiveram classificação máxima e 10
(7,69%) não obtiveram qualquer classificação.
Quanto à verificação dos pedidos HTTP e DNS (ID 4.6), constatou-se que 76 sítios
(58,46%) não obtiveram classificação, 15 sítios (11,54%) obtiveram classificação parcial
e 39 sítios (30%) alcançaram classificação máxima.
No que diz respeito à técnica que permite aumentar a eficiência das cópias locais (cache)
dos sítios (ID 4.7), verificou-se que 75,38% dos sítios não a usa, 28,54% usa parcialmente
(28,54%) e apenas 3% usam na totalidade. Este trata-se do pior indicador de eficiência
analisado. Uma especial atenção neste campo permitiria poupanças de largura de banda
(e de custos) e uma melhoria da experiência do utilizador.
Na verificação da ordem pela qual os elementos CSS e javascript são carregados (ID 4.8),
dez sítios (7,69%) obtiveram classificação máxima, dez sítios Web (7,69%) obtiveram a
classificação parcial e 110 sítios Web (84,62%) não obtiveram qualquer classificação.
Do universo analisado, apenas 33 sítios (25,38%) usavam a técnica de compressão Gzip12
(ID 4.9). De todas as técnicas analisadas esta é porventura a mais fácil de implementar
porque apenas exige uma ligeira mudança do ambiente de configuração do lado
do servidor.
O tempo de resposta do servidor (ID 4.10) apresenta dos melhores resultados deste
critério: os servidores onde estão alojados 68 sítios (52,31%) respondem de uma forma
rápida, 25 (19,23%) têm espaço para melhorar e 37 (28,46%) respondem de uma
forma lenta.
De salientar que estes resultados são complementares ao do indicador 2.3. Embora este
último meça o tempo total de carregamento das páginas, o indicador 4.10 apenas indica
se o servidor de alojamento está otimizado para responder de forma rápida. Assim,
embora um servidor possa responder de forma rápida, isso não quer dizer que as páginas
irão carregar rapidamente.
4. Recomendações
Com base nas evidências e dados recolhidos neste estudo, apresentam-se quatro
propostas com o objetivo de aumentar a eficiência e transparência, melhorar a experiência
de utilização dos cidadãos e reduzir custos para o Estado.
1. Processo Periódico de Verificação de Qualidade. Sugere-se a criação de um
processo periódico, uniformizado, transversal e vinculativo de verificação de qualidade
dos sítios da AP levado a cabo por um organismo público como por exemplo a Agência
para a Modernização Administrativa (AMA)13. Este estudo propõe um modelo de
avaliação que pode servir de base a este processo, embora o modelo agora proposto deva
ser revisto periodicamente, pela natural evolução tecnológica.
2. Visto prévio. Propõe-se a implementação de sistema de atribuição de vistos prévios
aquando da criação de novos sítios Web de organismos da AP. Este visto funcionaria
como um “selo de qualidade” de forma a garantir a conformidade de cada novo sítio
Web, incluindo microsítios e sítios temáticos. Para a atribuição deste visto prévio, usar-se-ia o modelo de verificação de qualidade referidos no número anterior. Só depois de
emitido um visto prévio favorável, o sítio poderia ser publicado.
3. Portal com classificação dos sítios Web. Uma vez que o procedimento de vistos
prévios descrito no ponto anterior seria aplicado apenas a novos sítios, torna-se necessário
complementar essa medida com outras para garantir uma monitorização contínua (M.
Ivory & Hearst (2001), dando incentivos de melhoria aos organismos. Assim, sugere-se a
criação de um portal Web público com os resultados das análises periódicas a cada sítio
e a publicação de ranking global permanentemente atualizado. Para além dos resultados
das análises, este portal poderia publicar guias de boas práticas de desenvolvimento
para a Web, exemplificar casos de sucesso e prover a participação da cidadania ativa. Os
cidadãos poderiam fazer sugestões de melhoria que seriam registadas e encaminhadas
para os organismos.
4. Disponibilização obrigatória dos autores na Ficha técnica. Os sítios
públicos devem ser assinados pelas entidades que os conceberam e implementaram.
Esta informação deve constar numa página do sítio intitulada de “Ficha Técnica” com
o objetivo de aumentar a transparência e a pressão sobre as entidades que prestam
serviços de consultoria ao Estado. Se todos os sítios Web do estado estiverem assinados
pelos autores, será possível comparar resultados de qualidade por autor, o que motivará
as entidades que prestam serviços de consultoria a melhorar os seus procedimentos
de desenvolvimento, reforçando a qualidade dos seus serviços. O mesmo princípio é
aplicável aos sítios desenvolvidos por equipas internas.
5. Conclusões e Trabalho Futuro
5.1. Principais conclusões
A literatura consultada em Português sobre boas práticas de Usabilidade e da
Acessibilidade Web de sítio da AP está datada e, por isso, tornou-se necessário propor e
testar um novo modelo de avaliação baseado nas boas práticas propostas recentemente
pela literatura. O último grande estudo de análise aos sítios web da AP foi realizado
em 2003 pela Accenture (Accenture, 2003) e apresentava indicadores obsoletos e
que estavam focados na análise de conteúdos em detrimento de outros indicadores
importantes que foram privilegiados neste estudo, como a forma como esses conteúdos
são disponibilizados.
<Nota/>13 A sugestão da AMA é feita uma vez que esta entidade tem sido responsável pelo
desenvolvimento de muitos programas de governo eletrónico e promoção das TIC no Estado.
Neste estudo foram analisados 130 sítios Web de organismo da AP e destes, apenas 31
(23,85%) obtiveram classificação global média positiva. A classificação global média
alcançada pelos sítios Web foi de 45%, a mediana foi de 44% e a moda de 39%. O desvio
padrão foi 0,10.
Dos quatro critérios analisados, os Conteúdos obtiveram a melhor classificação global
média (72%), seguidos da Usabilidade (52%), Eficiência (36%) e da Acessibilidade (19%).
Os critérios de Usabilidade e Eficiência foram usados pela primeira vez num estudo deste
género e mostram claramente a necessidade de introduzir melhorias urgentes, uma vez
que vários sítios Web não podem ser acedidos de forma satisfatória pelos cidadãos.
Deste estudo concluiu-se que a falta de qualidade e consistência dos sítios dos organismos
da AP é muito elevada. Por isso, propõe-se que caiba à Agência para a Modernização
Administrativa realizar uma pré-aprovação de sítios Web e prover uma política de
monitorização de qualidade contínua.
5.2. Trabalho futuro
Como trabalho futuro, fará sentido voltar a aplicar o modelo e realizar uma comparação
evolutiva. Seguidamente, será conveniente alargar a análise a sítios Web que ainda não
foram alvo de nenhuma análise deste género (como tribunais, hospitais e escolas) e
ainda microsítios e sítios temáticos produzidos por cada organismo. Da mesma forma
fará sentido alargar a análise a organismos das administrações regionais das regiões
autónomas da Madeira e dos Açores.
