Construção e validação de instrumento para avaliação do Acolhimento com
Classificação de Risco
INTRODUÇÃO
Quando se pensa em qualidade nos serviços hospitalares, surge a necessidade de
discutir estratégias de gestão que dêem suporte às instituições para que possam
atender às necessidades e exigências do consumidor em todas as suas dimensões.
No Brasil, a partir da década de 1930, acentuaram-se debates a respeito da
melhoria na qualidade dos serviços hospitalares. Desde então, a criação de
fichas, protocolos, sistemas, programas e políticas têm ganhado espaço nas
discussões sobre planejamento da gestão hospitalar(1).
Na atualidade, a formulação e execução de projetos para melhoria da qualidade,
além de ser parte da rotina dos profissionais da saúde também é obrigação legal
em vários países do mundo como os Estados Unidos da América e Canadá(2).
Dentre todos os setores de um hospital, é provável que o Serviço Hospitalar de
Emergência (SHE) seja um dos mais complexos para a implantação de sistemas que
visam à melhoria da qualidade, porque as dificuldades observadas nesse local
são distintas dos outros setores hospitalares, pelo fato de, cotidianamente,
estar superlotado; excluir o usuário na porta de entrada; atuar sob processos
de trabalho fragmentados; apresentar conflitos e assimetria de poder, dentre
outros(3).
Estudo recente, relacionado à avaliação do fluxo de atendimento em SHE, aponta
que a elevada quantidade de pacientes que aguarda por atendimento nas filas de
espera é uns dos principais fatores que influenciam de forma negativa a
qualidade do atendimento(4).
Com vistas à melhoria da qualidade na assistência à saúde no Brasil, o
Ministério da Saúde lançou a Política Nacional de Humanização (HumanizaSUS) no
ano de 2004. No contexto dos SHE, com os principais propósitos de acolher os
usuários e priorizar o atendimento aos casos de maior gravidade, o HumanizaSUS
instituiu a diretriz Acolhimento com Classificação de Risco (ACCR). Na referida
diretriz, o Ministério da Saúde destaca que cabe ao profissional enfermeiro,
realizar, por meio da Consulta de Enfermagem, a Classificação de Risco a qual
resulta na distribuição dos usuários para o atendimento, de acordo com o grau
de prioridade de cada caso(3).
Sabe-se que, de modo geral, os SHE de outros países também apresentam
dificuldades no atendimento devido à alta demanda(5). No Brasil, esse problema
também ocorre com grande intensidade, mas a utilização do ACCR parece minimizar
os seus efeitos, pois estudos acerca do tema apontam que essa diretriz tem
produzido melhorias no fluxo de atendimento, mesmo em instituições cuja adesão
ocorreu em situações consideradas de difícil solução(4,6).
Devido às melhorias que o ACCR tem proporcionado nos SHE, considera-se que essa
diretriz seja uma das principais ferramentas de apoio à obtenção da qualidade
no atendimento "de porta" dos serviços de emergências dos hospitais brasileiros
(4).
Com relação à avaliação do ACCR, apesar de haver referências que relatam
melhorias no atendimento a partir da sua implantação(4,6), não foi encontrado,
nas principais bases de dados nacionais, estudo que aborde a existência de um
instrumento específico à sua avaliação. Identificou-se uma publicação, de 2011,
referindo-se a uma pesquisa exploratória descritiva de abordagem qualitativa
que objetivou conhecer e analisar como os trabalhadores de enfermagem avaliam o
ACCR em um SHE de um Hospital Público(7).
As justificativas para a realização deste estudo se pautam no fato de que, até
o momento, não se tem conhecimento da existência de algum instrumento que
avalie o ACCR em SHE e, dessa forma, a construção e a validação de uma
ferramenta que sirva a esse fim poderá contribuir para a organização desses
Serviços e, também, para a qualidade do atendimento.
Como questão que norteia a proposta desta investigação estabeleceu-se: Como se
apresenta um instrumento de avaliação da qualidade do ACCR, após ser submetido
ao processo de validação de conteúdo e de aparência? O objetivo foi o de
descrever os critérios de construção, validação de conteúdo e de aparência de
um instrumento de Acolhimento com Classificação de Risco.
CONSIDERAÇÕES SOBRE VALIDAÇÃO DE CONTEÚDO E VALIDAÇÃO DE APARÊNCIA DO
INSTRUMENTO
Em termos gerais, a validade de um instrumento está relacionada à "precisão do
instrumento em medir o que se propõe medir"(8). Em outras palavras, um
instrumento é válido quando sua construção e aplicabilidade permitem a fiel
mensuração daquilo que se pretende mensurar.
Quando se fala em validação de instrumentos de medidas, as técnicas mais
conhecidas são: validade de conteúdo; validade de aparência; validade de
critério e validade de constructo(9).
A validade de conteúdo, um dos tipos de validação utilizados nesta
investigação, é a determinação da representatividade de itens que expressam um
conteúdo, baseada no julgamento de especialistas em uma área específica(10).
Isso significa que a validação de conteúdo determina se o conteúdo de um
instrumento de medida explora, de maneira efetiva, os quesitos para mensuração
de um determinado fenômeno a ser investigado.
Neste estudo, juntamente com a análise de conteúdo, foi utilizada a técnica
Delphi que consiste no julgamento do instrumento por juízes com vasta
experiência no assunto em questão(11). Em outras palavras a técnica Delphi é
uma técnica pela qual se analisa e discute a avaliação de peritos sobre um
tópico especifico. Também foi utilizada a estratégia de Validação de Aparência,
mesmo sendo considerada como uma técnica subjetiva e não sofisticada, por
proporcionar apenas julgamento sobre a relevância e adequação dos itens(9).
MÉTODO
O presente estudo, de caráter metodológico, foi realizado no período de junho a
dezembro de 2010, e se desenvolveu por meio das seguintes etapas: Validação do
IA por meio da aplicação da estratégia de Validação de Conteúdo e Validação de
Aparência; Análise semântica dos itens; e Padronização de escores para
Classificação do ACCR.
Para guiar a construção do Instrumento de Avaliação (IA) do ACCR, os itens de
avaliação foram construídos e apresentados de acordo com as dimensões
donabedianas de avaliação em saúde ' estrutura, processo e resultado(12). Após
a construção da primeira versão, o instrumento foi submetido à validação de
conteúdo e de aparência, cujos processos serão descritos a seguir.
Etapa 1 - Validação do IA por meio da aplicação da estratégia de Validação de
Conteúdo, utilizando a técnica Delphi e Validação de Aparência
O procedimento de Validação de Conteúdo e de Aparência consistiu na análise
criteriosa das dimensões e dos itens do IA, por um painel de juízes, composto
por dez enfermeiros, com titulação de especialistas, mestres e doutores, que
atuavam na docência em Enfermagem e possuíam experiência superior a dois anos
no ACCR.
Em virtude da necessidade de profissionais com qualificação específica para
julgar o IA, os juízes foram escolhidos por meio da análise de currículos
existentes na base de dados do Conselho Nacional de Desenvolvimento Científico
(CNPq) e da experiência profissional com o ACCR.
Na estratégia de Validação de Conteúdo por meio da técnica Delphi, foram
efetuadas as seguintes fases(13):
Fase 1 - Ordenação do pedido: Nesta fase foram organizados e disponibilizados
os critérios para avaliação do IA. Os critérios que os juízes utilizaram para
avaliar os itens foram: objetividade, simplicidade, clareza, pertinência,
precisão, variedade, credibilidade e comportamental. Em relação ao julgamento
do conjunto dos itens (o instrumento como um todo), os critérios se
relacionaram ao equilíbrio e amplitude(11).
Fase 2 ' Coleta das informações: O material a ser analisado foi enviado por
correio e junto foi anexada a solicitação para que o devolvessem no prazo de
trinta dias.
Fase 3 - Tabulação dos dados: Na análise dos dados obtidos pela estratégia da
Validação de Conteúdo foi utilizado o Índice de Validade de Conteúdo (Content
Validity Index ' CVI) e o Índice de Fidedignidade (reliability) ou concordância
interavaliadores (Interrater Agreement - IRA)(10).
O CVI destinado a avaliar o conteúdo dos itens e do instrumento em relação à
representatividade da medida, é considerado válido se, ao computar as
avaliações de juízes, se obtiver índice de aprovação acima de 80% (0,8)(10,14).
Para se calcular o CVI dos itens e do IA, foi dividido o número total de juízes
que atribuiu escore de 3 ou 4 em uma escala ordinal de quatro pontos com
significância de "irrelevante" a "extrema relevância", pelo total de juízes que
avaliaram o item ou o IA(10).
O IRA é destinado a avaliar a extensão em que os juízes são confiáveis nas
avaliações dos itens frente ao contexto estudado. Para se calcular o IRA de
cada dimensão foi dividido o número de itens que obtiveram acima de 80% (0,8)
de concordância entre os avaliadores, pelo total de itens de cada dimensão(10).
Fase 4 - Avaliação das informações: Para análise das informações obtidas a
partir das avaliações dos juízes foram utilizados os dados dos testes CVI e
IRA.Os referidos dados proporcionaram avaliar a pertinência, relevância e
confiabilidade dos itens, das dimensões e do instrumento como um todo.
Na estratégia de Validação de Aparência, o IA foi avaliado de acordo com o que
reza a literatura(9), nos seguintes quesitos: apresentação, clareza das
afirmações, facilidade na leitura, interpretação e representatividade dos itens
nas dimensões locadas.
Efetuada a análise das respostas dos juízes e as readequações necessárias, o IA
foi submetido à análise semântica dos itens.
Etapa 2 - Análise Semântica dos Itens
A análise semântica tem duas funções: 1- verificar se os itens são inteligíveis
para o estrato da população-meta que apresenta menor grau de habilidade
(extrato mais baixo); 2- verificar a Validade de Aparência do IA por meio da
consulta ao estrato de maior habilidade (mais sofisticado) da população-meta
(11).
Para atingir o objetivo da Validação de Aparência foram utilizadas as
informações contidas nos instrumentos avaliados pelo painel de juízes.
Para verificar a inteligibilidade do IA, após a Validação de Conteúdo, o
referido instrumento foi aplicado na forma de teste piloto a dez Técnicos e
Auxiliares de Enfermagem os quais possuíam tempo de atuação superior a dois
anos em SHE que se utilizava do ACCR para atendimento ao usuário. A primeira
versão do IA foi aperfeiçoada com base nas respostas e sugestões levantadas no
teste piloto e, a seguir, reaplicada (segundo teste piloto) a cinco Técnicos de
Enfermagem.
Como critério de inclusão dos participantes nos dois testes piloto,
estabeleceu-se a atuação no Serviço de Enfermagem de um SHE, antes e depois da
implantação do ACCR.
Aos juízes participantes do julgamento do IA e aos trabalhadores do teste
piloto, foi solicitada a autorização formal para participar do estudo, por meio
da assinatura do Termo de Consentimento Livre e Esclarecido (TCLE), conforme
determina a Resolução 196/1996(15).
Os dados numéricos obtidos das avaliações dos juízes foram tabulados através do
programa Microsoft® Excel® 2002 e o tratamento dos dados foram realizados por
meio da estatística descritiva. Para a síntese dos dados se utilizou a soma, a
média e a porcentagem.
Etapa 3 - Padronização de Escores para Classificação do ACCR.
O IA final manteve 21 itens em forma de escala Likert, com apresentação
numérica de 1 a 5. Para a avaliação do ACCR como um todo, considerando o valor
mínimo de cada item, a pontuação mínima é 21, a máxima é 105 e a amplitude
total, 84 pontos.
Na análise, a pontuação geral do IA foi comparada à tabela construída a partir
dos escores utilizados no Instrumento de Avaliação para Centros e Postos de
Saúde(16).
Em relação à avaliação de cada dimensão (estrutura, processo e resultado), a
pontuação mínima a ser alcançada é sete e a máxima é 35, com amplitude total de
28 pontos, conforme consta na Tabela_1.
Na fase de tratamento dos dados as afirmações correspondentes à forma negativa
(Itens: três; quatro; cinco; sete; nove; 16; 18; 19 e 20) foram invertidas
(positivadas) e na análise dos dados, o valor três da escala, foi considerado
como "indiferente" ou "sem opinião". Semelhante conduta foi tomada nos casos em
que as opções de respostas estivessem em branco.
O projeto de pesquisa referente a esse estudo foi analisado pelo Comitê
Permanente de Ética em Pesquisas com Seres Humanos ' COPEP, da Universidade
Estadual de Maringá PR, e obteve aprovação mediante o Parecer nº 606/2010.
RESULTADOS
Construção do Instrumento para Avaliação da diretriz ACCR
Elaboração preliminar 'A partir de leituras e discussões do texto "Acolhimento
com Classificação e Avaliação de Risco"(3), publicado pelo Ministério da Saúde,
formularam-se, inicialmente, 21 itens dispostos em escala pontuada de um a
cinco (de "discordo totalmente" a "concordo totalmente"), estruturada de acordo
com as três dimensões de avaliação em saúde, estrutura, processo e resultado
(12). Nessa abordagem, a Estrutura se refere aos atributos da instalação onde é
prestado o atendimento, incluindo: Recursos humanos, materiais, financeiros e
estrutura organizacional; o Processo tem a ver com as atividades realizadas
para a prestação do atendimento e as relações estabelecidas entre os
profissionais e usuários; e, por fim, o Resultado,são os efeitos na saúde e as
mudanças de comportamento dos usuários, obtidos a partir da atenção recebida
(12).
A opção pelo texto "Acolhimento com Classificação e Avaliação de Risco"(3)como
documento base para a formulação dos itens de avaliação contidos no IA, se deu
pelo fato de que o referido documento ressalta a importância do usuário para o
sistema de saúde, associado ao estabelecimento de diretrizes fundamentais para
a implantação do ACCR em SHE.
Para a construção do IA foram utilizados os princípios de elaboração de escalas
psicológicas(11), os quais orientam sobre as técnicas de aplicação do teste
piloto e procedimentos à construção e validação do instrumento.
Com relação à pontuação dos itens do instrumento, foi utilizado a escala tipo
Likert porque de acordo com o referencial teórico adotado nesse estudo, esse
tipo de escala procura verificar se o indivíduo concorda; se está em dúvida ou
se discorda das sentenças relacionadas a um objeto psicológico(17). Vale
mencionar que os itens das escalas tipo Likert são construídos com base em
referenciais bibliográficos e na vivência/experiência dos pesquisadores(17).
Com base nos princípios mencionados, o questionário final representa uma escala
psicológica (tipo Likert) graduada em cinco pontos, em que o número cinco
representa concordância máxima e o número um, concordância mínima.
A versão preliminar do IA do ACCR se constituiu da seguinte forma: Estrutura:
seis itens; Processo: oito itens; e Resultado: sete itens. Destes, dez eram na
forma negativa (Estrutura: três itens; Processo: cinco itens; e Resultado: dois
itens).
Após a devolução do IA pelos juízes, todas as sugestões foram consideradas e as
respostas foram tratadas e analisadas quantitativamente, conforme consta no
Quadro a seguir:
Quadro_1
Em consonância com o referencial teórico adotado(11), o número suficiente de
juízes para o julgamento desse tipo de instrumento é de seis; no entanto, visto
que o critério de validade escolhido foi de 80%, optou-se em convidar um número
maior. Desse modo, de um total de 12 juízes, dez devolveram todo o material
enviado com preenchimento adequado.
Em relação às características sócio-demográficas dos juízes, a idade variou
entre 29 e 56 anos; a média de atuação profissional foi de 13 anos; três
atuavam na gerência de serviços de enfermagem; dois na assistência e cinco,
além de atuar na docência, também prestavam serviços na área hospitalar, ou
seja, agregavam, além dos conhecimentos teórico-prático, a vivência do
cotidiano da prática profissional.
De acordo com os resultados das respostas dos juízes em relação à concordância
e representatividade dos itens de avaliação do IA e do conjunto de itens de
cada dimensão, dispostos no Quadro_1, observa-se que a maior parte obteve CVI
acima de 0,8 (n=18).
Observa-se, também, CVI de 0,9 para o instrumento como um todo, o que significa
que o conteúdo do instrumento possibilita medir o que se propõe medir. Apesar
de os índices do CVI indicarem conteúdo válido, as sugestões dos juízes foram
acatadas e todos os itens que apresentaram CVI abaixo de 0,8 tiveram a sua
redação readequada.
O Índice de Fidedignidade (reliability) ou concordância interavaliadores
(Interrater Agreement) foi acima de 0,8 nas três dimensões. A utilização do IRA
na validação de conteúdo é importante porque determina a extensão em que os
peritos são confiáveis em suas avaliações(10). Em outras palavras, o IRA testa
a confiabilidade das avaliações feitas pelos juízes.
Após a realização do primeiro teste piloto, visando melhorar a inteligibilidade
do IA, as redações dos itens quatro, dez, 16 e 18 foram refeitas. No segundo
teste piloto não houve sugestões de readequações.
Na validação aparente do instrumento, quatro juízes referiram que as afirmações
redigidas na forma negativa deveriam ser transformadas em positivas. Cabe
ressaltar que, em escala tipo Likert é necessário que os itens se apresentem na
forma negativa e positiva em semelhante porcentagem, para que se evite a
tendência de o respondente concordar ou discordar dos itens de forma
indiscriminada(18). Dessa forma, os itens apresentados na forma negativa foram
mantidos.
O instrumento final de avaliação do ACCR, intitulado "Instrumento para
Avaliação do Acolhimento com Classificação de Risco", após validação de
conteúdo e de aparência, seguido de dois Testes Piloto, resultou em 21 itens,
estruturado em forma de escala que indica o nível de concordância ou de
discordância das declarações, com pontuação numérica de 1 a 5, conforme está
apresentado no Quadro a seguir.
Quadro_2
DISCUSSÃO
Na análise da dimensão Estrutura, correspondente aos itens de um a sete, o item
três apresentou baixo índice de concordância (0,75) entre os avaliadores. As
observações negativas desse item se concentraram nos atributos de pertinência
(0,6) e objetividade (0,5). Como resultado, optou-se pela substituição do
referido item por outro que refletisse a capacitação para o trabalho e a
integração entre gestores e trabalhadores do ACCR. A avaliação da capacitação
profissional e integração entre os membros da equipe de atendimento é
importante porque em SHE o ACCR é visto como uma estratégia que influencia o
processo de trabalho(7).
O item seis foi reformulado porque apesar de obter alto índice no CVI (0,96),
foi observada a existência de dificuldades nas interpretações dos juízes
relacionadas à falta de clareza na redação. De acordo com o referencial
metodológico utilizado para nortear esse estudo, o critério "Clareza" deve ser
inteligível para todos os estratos da população-meta porque a compreensão das
frases é mais importante do que sua elegância artística(11).
A dimensão Processo, constituída pelos itens de oito a 14, foi a que obteve
maior número de retificações. Apesar de o IRA ter sido 0,87, os juízes
forneceram sugestões em relação à objetividade dos itens oito e dez que foram
reformulados. O item nove apresentou índice de concordância de 0,72 e em
virtude das considerações negativas dos juízes, que se concentraram nos
atributos precisão (0,5) e simplicidade (0,6), também foi reformulado. Em se
tratando da avaliação da dimensão Processo em SHE, principalmente quando
atrelada a novas diretrizes implantadas, faz-se premente considerar a
importância de uma avaliação objetiva porque é nessa dimensão que são alocados
os procedimentos realizados(12).
Os itens 11 e 14 foram removidos dessa dimensão para as dimensões Estrutura e
Resultado respectivamente porque, de acordo com as opiniões dos juízes, não
possuíam representatividade avaliativa na dimensão Processo.
O Item 12 foi excluído visto que três juízes referiram que a interpretação do
item "número de profissionais para atuação no ACCR" é passível de viés quando
analisada sob a ótica dos trabalhadores.
Na dimensão Resultado,itens 15 a 21, o primeiro foi removido para a dimensão
Processo, conforme sugestão emitida por quatro juízes; o item 18 foi
reformulado e o item 19 obteve índices 0,7 na média das avaliações dos juízes
nos atributos: comportamental; objetividade e precisão. Em conseqüência, coube
reavaliação e substituição por outro item que expressasse a mesma intenção.
Em razão de a maior parte dos itens obterem CVI acima de 0,8 (Quadro_1), foram
considerados como tendo conteúdo válido porque contemplavam os índices
preconizados pelo referencial adotado neste estudo(10). Apesar de alguns itens
de avaliação necessitarem de correções na redação, o conjunto de itens das três
dimensões obteve IRA acima de 0,88, o que significa que são claros e
representativos para o contexto a ser avaliado(10).
Em nosso entender, além de o IA ser considerado válido em relação à aparência e
conteúdo, abrangeu também os atributos de cada dimensão de avaliação(12)
adotados nesse estudo. Ainda com relação ao IA, vale lembrar que a avaliação
dos profissionais quanto a qualidade do cuidado prestado é item indissociável à
humanização da assistência(19), e a utilização de instrumentos específicos a
este fim fundamenta tomadas de decisões pelos gestores. Nesse sentido, a
construção e validação de instrumentos que mensurem a qualidade do cuidado em
SHE é ferramenta fundamental para gestores e trabalhadores que primam por
melhorias no atendimento prestado nesses serviços.
Realizadas as adequações a partir das avaliações dos juízes, o instrumento foi
submetido a dois Testes Piloto para contemplar os quesitos da análise
semântica. Neste aspecto, verificou-se que não havia dificuldade na sua
utilização.
A avaliação realizada pelos juízes em relação aos itens, às dimensões e ao
instrumento como um todo, não interferiram na definição dos escores de
avaliação final do instrumento. Dessa maneira, considera-se que a pontuação
média em cada dimensão, obtida pela soma dos pontos atribuídos a cada item,
dividida pelo número total de itens, representa os escores de classificação
adotados.
CONSIDERAÇÕES FINAIS
A opção de construir e validar um instrumento para avaliar o ACCR por meio do
emprego de uma escala que indique o nível de concordância ou discordância dos
participantes fundamentou-se no fato de que, até o momento, não se tem
conhecimento da existência de um instrumento que possibilite quantificar as
opiniões e impressões dos trabalhadores em relação à qualidade que o ACCR tem
proporcionado ao atendimento nos SHE.
O instrumento elaborado com base nas dimensões Estrutura, Processo e Resultado,
em sua versão final, contem vinte e um itens e obteve índice de fidedignidade
acima de 0,8 nas três dimensões referidas. Além disso, com apenas dois Testes
Piloto, o instrumento se apresentou adequado quanto à clareza e/ou objetividade
nos itens.
Em virtude dos elevados valores obtidos no teste de fidedignidade (>0,8) é
previsível que, no contexto dos Serviços Hospitalares de Emergência os quais
utilizam o ACCR, o instrumento possa ser utilizado como ferramenta que mensura
o impacto que o ACCR produz na qualidade do atendimento.
Vale ressaltar que, apesar de o instrumento final ter sido avaliado por juízes
Enfermeiros e aplicado como teste piloto, também em trabalhadores da
enfermagem, por se tratar de uma escala que avalia de forma geral a Estrutura,
o Processo e o Resultado de um SHE que adota a diretriz ACCR, pode ser aplicado
aos diversos profissionais que atuam nesse local.
Não obstante os vinte e um itens terem sido submetidos à Validação de Conteúdo
e de Aparência se considera que os mesmos podem ser ajustados de acordo com as
particularidades de cada SHE e dessa maneira, promover maior confiabilidade aos
resultados. Para tanto, sugere-se a realização de pesquisas futuras ao derredor
da temática abordada neste estudo, no sentido de realizar outros tipos de
validação; melhorar a organização; o conteúdo e o tratamento dos dados do
Instrumento de Avaliação.
Como dificuldade na operacionalização deste estudo destaca-se a localização de
juízes que contemplassem os critérios de inclusão estabelecidos e também, a
morosidade para devolução do material enviado por alguns juízes.
Considera-se que o Instrumento de Avaliação construído, possui validade de
conteúdo e de aparência e no momento, é compatível ao fim a que se propõe qual
seja, avaliar a diretriz Acolhimento com Classificação de Risco em SHE.
