BrBRCVHe0034-71672012000500006

Construção e validação de instrumento para avaliação do Acolhimento com Classificação de Risco

INTRODUÇÃO Quando se pensa em qualidade nos serviços hospitalares, surge a necessidade de discutir estratégias de gestão que dêem suporte às instituições para que possam atender às necessidades e exigências do consumidor em todas as suas dimensões.

No Brasil, a partir da década de 1930, acentuaram-se debates a respeito da melhoria na qualidade dos serviços hospitalares. Desde então, a criação de fichas, protocolos, sistemas, programas e políticas têm ganhado espaço nas discussões sobre planejamento da gestão hospitalar(1).

Na atualidade, a formulação e execução de projetos para melhoria da qualidade, além de ser parte da rotina dos profissionais da saúde também é obrigação legal em vários países do mundo como os Estados Unidos da América e Canadá(2).

Dentre todos os setores de um hospital, é provável que o Serviço Hospitalar de Emergência (SHE) seja um dos mais complexos para a implantação de sistemas que visam à melhoria da qualidade, porque as dificuldades observadas nesse local são distintas dos outros setores hospitalares, pelo fato de, cotidianamente, estar superlotado; excluir o usuário na porta de entrada; atuar sob processos de trabalho fragmentados; apresentar conflitos e assimetria de poder, dentre outros(3).

Estudo recente, relacionado à avaliação do fluxo de atendimento em SHE, aponta que a elevada quantidade de pacientes que aguarda por atendimento nas filas de espera é uns dos principais fatores que influenciam de forma negativa a qualidade do atendimento(4).

Com vistas à melhoria da qualidade na assistência à saúde no Brasil, o Ministério da Saúde lançou a Política Nacional de Humanização (HumanizaSUS) no ano de 2004. No contexto dos SHE, com os principais propósitos de acolher os usuários e priorizar o atendimento aos casos de maior gravidade, o HumanizaSUS instituiu a diretriz Acolhimento com Classificação de Risco (ACCR). Na referida diretriz, o Ministério da Saúde destaca que cabe ao profissional enfermeiro, realizar, por meio da Consulta de Enfermagem, a Classificação de Risco a qual resulta na distribuição dos usuários para o atendimento, de acordo com o grau de prioridade de cada caso(3).

Sabe-se que, de modo geral, os SHE de outros países também apresentam dificuldades no atendimento devido à alta demanda(5). No Brasil, esse problema também ocorre com grande intensidade, mas a utilização do ACCR parece minimizar os seus efeitos, pois estudos acerca do tema apontam que essa diretriz tem produzido melhorias no fluxo de atendimento, mesmo em instituições cuja adesão ocorreu em situações consideradas de difícil solução(4,6).

Devido às melhorias que o ACCR tem proporcionado nos SHE, considera-se que essa diretriz seja uma das principais ferramentas de apoio à obtenção da qualidade no atendimento "de porta" dos serviços de emergências dos hospitais brasileiros (4).

Com relação à avaliação do ACCR, apesar de haver referências que relatam melhorias no atendimento a partir da sua implantação(4,6), não foi encontrado, nas principais bases de dados nacionais, estudo que aborde a existência de um instrumento específico à sua avaliação. Identificou-se uma publicação, de 2011, referindo-se a uma pesquisa exploratória descritiva de abordagem qualitativa que objetivou conhecer e analisar como os trabalhadores de enfermagem avaliam o ACCR em um SHE de um Hospital Público(7).

As justificativas para a realização deste estudo se pautam no fato de que, até o momento, não se tem conhecimento da existência de algum instrumento que avalie o ACCR em SHE e, dessa forma, a construção e a validação de uma ferramenta que sirva a esse fim poderá contribuir para a organização desses Serviços e, também, para a qualidade do atendimento.

Como questão que norteia a proposta desta investigação estabeleceu-se: Como se apresenta um instrumento de avaliação da qualidade do ACCR, após ser submetido ao processo de validação de conteúdo e de aparência? O objetivo foi o de descrever os critérios de construção, validação de conteúdo e de aparência de um instrumento de Acolhimento com Classificação de Risco.

CONSIDERAÇÕES SOBRE VALIDAÇÃO DE CONTEÚDO E VALIDAÇÃO DE APARÊNCIA DO INSTRUMENTO Em termos gerais, a validade de um instrumento está relacionada à "precisão do instrumento em medir o que se propõe medir"(8). Em outras palavras, um instrumento é válido quando sua construção e aplicabilidade permitem a fiel mensuração daquilo que se pretende mensurar.

Quando se fala em validação de instrumentos de medidas, as técnicas mais conhecidas são: validade de conteúdo; validade de aparência; validade de critério e validade de constructo(9).

A validade de conteúdo, um dos tipos de validação utilizados nesta investigação, é a determinação da representatividade de itens que expressam um conteúdo, baseada no julgamento de especialistas em uma área específica(10).

Isso significa que a validação de conteúdo determina se o conteúdo de um instrumento de medida explora, de maneira efetiva, os quesitos para mensuração de um determinado fenômeno a ser investigado.

Neste estudo, juntamente com a análise de conteúdo, foi utilizada a técnica Delphi que consiste no julgamento do instrumento por juízes com vasta experiência no assunto em questão(11). Em outras palavras a técnica Delphi é uma técnica pela qual se analisa e discute a avaliação de peritos sobre um tópico especifico. Também foi utilizada a estratégia de Validação de Aparência, mesmo sendo considerada como uma técnica subjetiva e não sofisticada, por proporcionar apenas julgamento sobre a relevância e adequação dos itens(9).

MÉTODO O presente estudo, de caráter metodológico, foi realizado no período de junho a dezembro de 2010, e se desenvolveu por meio das seguintes etapas: Validação do IA por meio da aplicação da estratégia de Validação de Conteúdo e Validação de Aparência; Análise semântica dos itens; e Padronização de escores para Classificação do ACCR.

Para guiar a construção do Instrumento de Avaliação (IA) do ACCR, os itens de avaliação foram construídos e apresentados de acordo com as dimensões donabedianas de avaliação em saúde ' estrutura, processo e resultado(12). Após a construção da primeira versão, o instrumento foi submetido à validação de conteúdo e de aparência, cujos processos serão descritos a seguir.

Etapa 1 - Validação do IA por meio da aplicação da estratégia de Validação de Conteúdo, utilizando a técnica Delphi e Validação de Aparência O procedimento de Validação de Conteúdo e de Aparência consistiu na análise criteriosa das dimensões e dos itens do IA, por um painel de juízes, composto por dez enfermeiros, com titulação de especialistas, mestres e doutores, que atuavam na docência em Enfermagem e possuíam experiência superior a dois anos no ACCR.

Em virtude da necessidade de profissionais com qualificação específica para julgar o IA, os juízes foram escolhidos por meio da análise de currículos existentes na base de dados do Conselho Nacional de Desenvolvimento Científico (CNPq) e da experiência profissional com o ACCR.

Na estratégia de Validação de Conteúdo por meio da técnica Delphi, foram efetuadas as seguintes fases(13): Fase 1 - Ordenação do pedido: Nesta fase foram organizados e disponibilizados os critérios para avaliação do IA. Os critérios que os juízes utilizaram para avaliar os itens foram: objetividade, simplicidade, clareza, pertinência, precisão, variedade, credibilidade e comportamental. Em relação ao julgamento do conjunto dos itens (o instrumento como um todo), os critérios se relacionaram ao equilíbrio e amplitude(11).

Fase 2 ' Coleta das informações: O material a ser analisado foi enviado por correio e junto foi anexada a solicitação para que o devolvessem no prazo de trinta dias.

Fase 3 - Tabulação dos dados: Na análise dos dados obtidos pela estratégia da Validação de Conteúdo foi utilizado o Índice de Validade de Conteúdo (Content Validity Index ' CVI) e o Índice de Fidedignidade (reliability) ou concordância interavaliadores (Interrater Agreement - IRA)(10).

O CVI destinado a avaliar o conteúdo dos itens e do instrumento em relação à representatividade da medida, é considerado válido se, ao computar as avaliações de juízes, se obtiver índice de aprovação acima de 80% (0,8)(10,14).

Para se calcular o CVI dos itens e do IA, foi dividido o número total de juízes que atribuiu escore de 3 ou 4 em uma escala ordinal de quatro pontos com significância de "irrelevante" a "extrema relevância", pelo total de juízes que avaliaram o item ou o IA(10).

O IRA é destinado a avaliar a extensão em que os juízes são confiáveis nas avaliações dos itens frente ao contexto estudado. Para se calcular o IRA de cada dimensão foi dividido o número de itens que obtiveram acima de 80% (0,8) de concordância entre os avaliadores, pelo total de itens de cada dimensão(10).

Fase 4 - Avaliação das informações: Para análise das informações obtidas a partir das avaliações dos juízes foram utilizados os dados dos testes CVI e IRA.Os referidos dados proporcionaram avaliar a pertinência, relevância e confiabilidade dos itens, das dimensões e do instrumento como um todo.

Na estratégia de Validação de Aparência, o IA foi avaliado de acordo com o que reza a literatura(9), nos seguintes quesitos: apresentação, clareza das afirmações, facilidade na leitura, interpretação e representatividade dos itens nas dimensões locadas.

Efetuada a análise das respostas dos juízes e as readequações necessárias, o IA foi submetido à análise semântica dos itens.

Etapa 2 - Análise Semântica dos Itens A análise semântica tem duas funções: 1- verificar se os itens são inteligíveis para o estrato da população-meta que apresenta menor grau de habilidade (extrato mais baixo); 2- verificar a Validade de Aparência do IA por meio da consulta ao estrato de maior habilidade (mais sofisticado) da população-meta (11).

Para atingir o objetivo da Validação de Aparência foram utilizadas as informações contidas nos instrumentos avaliados pelo painel de juízes.

Para verificar a inteligibilidade do IA, após a Validação de Conteúdo, o referido instrumento foi aplicado na forma de teste piloto a dez Técnicos e Auxiliares de Enfermagem os quais possuíam tempo de atuação superior a dois anos em SHE que se utilizava do ACCR para atendimento ao usuário.  A primeira versão do IA foi aperfeiçoada com base nas respostas e sugestões levantadas no teste piloto e, a seguir, reaplicada (segundo teste piloto) a cinco Técnicos de Enfermagem.

Como critério de inclusão dos participantes nos dois testes piloto, estabeleceu-se a atuação no Serviço de Enfermagem de um SHE, antes e depois da implantação do ACCR.

Aos juízes participantes do julgamento do IA e aos trabalhadores do teste piloto, foi solicitada a autorização formal para participar do estudo, por meio da assinatura do Termo de Consentimento Livre e Esclarecido (TCLE), conforme determina a Resolução 196/1996(15).

Os dados numéricos obtidos das avaliações dos juízes foram tabulados através do programa Microsoft® Excel® 2002 e o tratamento dos dados foram realizados por meio da estatística descritiva. Para a síntese dos dados se utilizou a soma, a média e a porcentagem.

Etapa 3 - Padronização de Escores para Classificação do ACCR.

O IA final manteve 21 itens em forma de escala Likert, com apresentação numérica de 1 a 5. Para a avaliação do ACCR como um todo, considerando o valor mínimo de cada item, a pontuação mínima é 21, a máxima é 105 e a amplitude total, 84 pontos.

Na análise, a pontuação geral do IA foi comparada à tabela construída a partir dos escores utilizados no Instrumento de Avaliação para Centros e Postos de Saúde(16).

Em relação à avaliação de cada dimensão (estrutura, processo e resultado), a pontuação mínima a ser alcançada é sete e a máxima é 35, com amplitude total de 28 pontos, conforme consta na Tabela_1.

Na fase de tratamento dos dados as afirmações correspondentes à forma negativa (Itens: três; quatro; cinco; sete; nove; 16; 18; 19 e 20) foram invertidas (positivadas) e na análise dos dados, o valor três da escala, foi considerado como "indiferente" ou "sem opinião". Semelhante conduta foi tomada nos casos em que as opções de respostas estivessem em branco.

O projeto de pesquisa referente a esse estudo foi analisado pelo Comitê Permanente de Ética em Pesquisas com Seres Humanos ' COPEP, da Universidade Estadual de Maringá PR, e obteve aprovação mediante o Parecer nº 606/2010.

RESULTADOS Construção do Instrumento para Avaliação da diretriz ACCR Elaboração preliminar 'A partir de leituras e discussões do texto "Acolhimento com Classificação e Avaliação de Risco"(3), publicado pelo Ministério da Saúde, formularam-se, inicialmente, 21 itens dispostos em escala pontuada de um a cinco (de "discordo totalmente" a "concordo totalmente"), estruturada de acordo com as três dimensões de avaliação em saúde, estrutura, processo e resultado (12). Nessa abordagem, a Estrutura se refere aos atributos da instalação onde é prestado o atendimento, incluindo: Recursos humanos, materiais, financeiros e estrutura organizacional; o Processo tem a ver com as atividades realizadas para a prestação do atendimento e as relações estabelecidas entre os profissionais e usuários; e, por fim, o Resultado,são os efeitos na saúde e as mudanças de comportamento dos usuários, obtidos a partir da atenção recebida (12).

A opção pelo texto "Acolhimento com Classificação e Avaliação de Risco"(3)como documento base para a formulação dos itens de avaliação contidos no IA, se deu pelo fato de que o referido documento ressalta a importância do usuário para o sistema de saúde, associado ao estabelecimento de diretrizes fundamentais para a implantação do ACCR em SHE.

Para a construção do IA foram utilizados os princípios de elaboração de escalas psicológicas(11), os quais orientam sobre as técnicas de aplicação do teste piloto e procedimentos à construção e validação do instrumento.

Com relação à pontuação dos itens do instrumento, foi utilizado a escala tipo Likert porque de acordo com o referencial teórico adotado nesse estudo, esse tipo de escala procura verificar se o indivíduo concorda; se está em dúvida ou se discorda das sentenças relacionadas a um objeto psicológico(17). Vale mencionar que os itens das escalas tipo Likert são construídos com base em referenciais bibliográficos e na vivência/experiência dos pesquisadores(17).

Com base nos princípios mencionados, o questionário final representa uma escala psicológica (tipo Likert) graduada em cinco pontos, em que o número cinco representa concordância máxima e o número um, concordância mínima.

A versão preliminar do IA do ACCR se constituiu da seguinte forma: Estrutura: seis itens; Processo: oito itens; e Resultado: sete itens. Destes, dez eram na forma negativa (Estrutura: três itens; Processo: cinco itens; e Resultado: dois itens).

Após a devolução do IA pelos juízes, todas as sugestões foram consideradas e as respostas foram tratadas e analisadas quantitativamente, conforme consta no Quadro a seguir:

Quadro_1

Em consonância com o referencial teórico adotado(11), o número suficiente de juízes para o julgamento desse tipo de instrumento é de seis; no entanto, visto que o critério de validade escolhido foi de 80%, optou-se em convidar um número maior. Desse modo, de um total de 12 juízes, dez devolveram todo o material enviado com preenchimento adequado.

Em relação às características sócio-demográficas dos juízes, a idade variou entre 29 e 56 anos; a média de atuação profissional foi de 13 anos; três atuavam na gerência de serviços de enfermagem; dois na assistência e cinco, além de atuar na docência, também prestavam serviços na área hospitalar, ou seja, agregavam, além dos conhecimentos teórico-prático, a vivência do cotidiano da prática profissional.

De acordo com os resultados das respostas dos juízes em relação à concordância e representatividade dos itens de avaliação do IA e do conjunto de itens de cada dimensão, dispostos no Quadro_1, observa-se que a maior parte obteve CVI acima de 0,8 (n=18).

Observa-se, também, CVI de 0,9 para o instrumento como um todo, o que significa que o conteúdo do instrumento possibilita medir o que se propõe medir. Apesar de os índices do CVI indicarem conteúdo válido, as sugestões dos juízes foram acatadas e todos os itens que apresentaram CVI abaixo de 0,8 tiveram a sua redação readequada.

O Índice de Fidedignidade (reliability) ou concordância interavaliadores (Interrater Agreement) foi acima de 0,8 nas três dimensões. A utilização do IRA na validação de conteúdo é importante porque determina a extensão em que os peritos são confiáveis em suas avaliações(10). Em outras palavras, o IRA testa a confiabilidade das avaliações feitas pelos juízes.

Após a realização do primeiro teste piloto, visando melhorar a inteligibilidade do IA, as redações dos itens quatro, dez, 16 e 18 foram refeitas. No segundo teste piloto não houve sugestões de readequações.

Na validação aparente do instrumento, quatro juízes referiram que as afirmações redigidas na forma negativa deveriam ser transformadas em positivas. Cabe ressaltar que, em escala tipo Likert é necessário que os itens se apresentem na forma negativa e positiva em semelhante porcentagem, para que se evite a tendência de o respondente concordar ou discordar dos itens de forma indiscriminada(18). Dessa forma, os itens apresentados na forma negativa foram mantidos.

O instrumento final de avaliação do ACCR, intitulado "Instrumento para Avaliação do Acolhimento com Classificação de Risco", após validação de conteúdo e de aparência, seguido de dois Testes Piloto, resultou em 21 itens, estruturado em forma de escala que indica o nível de concordância ou de discordância das declarações, com pontuação numérica de 1 a 5, conforme está apresentado no Quadro a seguir.

Quadro_2

DISCUSSÃO Na análise da dimensão Estrutura, correspondente aos itens de um a sete, o item três apresentou baixo índice de concordância (0,75) entre os avaliadores. As observações negativas desse item se concentraram nos atributos de pertinência (0,6) e objetividade (0,5). Como resultado, optou-se pela substituição do referido item por outro que refletisse a capacitação para o trabalho e a integração entre gestores e trabalhadores do ACCR. A avaliação da capacitação profissional e integração entre os membros da equipe de atendimento é importante porque em SHE o ACCR é visto como uma estratégia que influencia o processo de trabalho(7).

O item seis foi reformulado porque apesar de obter alto índice no CVI (0,96), foi observada a existência de dificuldades nas interpretações dos juízes relacionadas à falta de clareza na redação. De acordo com o referencial metodológico utilizado para nortear esse estudo, o critério "Clareza" deve ser inteligível para todos os estratos da população-meta porque a compreensão das frases é mais importante do que sua elegância artística(11).

A dimensão Processo, constituída pelos itens de oito a 14, foi a que obteve maior número de retificações. Apesar de o IRA ter sido 0,87, os juízes forneceram sugestões em relação à objetividade dos itens oito e dez que foram reformulados. O item nove apresentou índice de concordância de 0,72 e em virtude das considerações negativas dos juízes, que se concentraram nos atributos precisão (0,5) e simplicidade (0,6), também foi reformulado. Em se tratando da avaliação da dimensão Processo em SHE, principalmente quando atrelada a novas diretrizes implantadas, faz-se premente considerar a importância de uma avaliação objetiva porque é nessa dimensão que são alocados os procedimentos realizados(12).

Os itens 11 e 14 foram removidos dessa dimensão para as dimensões Estrutura e Resultado respectivamente porque, de acordo com as opiniões dos juízes, não possuíam representatividade avaliativa na dimensão Processo.

O Item 12 foi excluído visto que três juízes referiram que a interpretação do item "número de profissionais para atuação no ACCR" é passível de viés quando analisada sob a ótica dos trabalhadores.

Na dimensão Resultado,itens 15 a 21, o primeiro foi removido para a dimensão Processo, conforme sugestão emitida por quatro juízes; o item 18 foi reformulado e o item 19 obteve índices 0,7 na média das avaliações dos juízes nos atributos: comportamental; objetividade e precisão. Em conseqüência, coube reavaliação e substituição por outro item que expressasse a mesma intenção.

Em razão de a maior parte dos itens obterem CVI acima de 0,8 (Quadro_1), foram considerados como tendo conteúdo válido porque contemplavam os índices preconizados pelo referencial adotado neste estudo(10). Apesar de alguns itens de avaliação necessitarem de correções na redação, o conjunto de itens das três dimensões obteve IRA acima de 0,88, o que significa que são claros e representativos para o contexto a ser avaliado(10).

Em nosso entender, além de o IA ser considerado válido em relação à aparência e conteúdo, abrangeu também os atributos de cada dimensão de avaliação(12) adotados nesse estudo. Ainda com relação ao IA, vale lembrar que a avaliação dos profissionais quanto a qualidade do cuidado prestado é item indissociável à humanização da assistência(19), e a utilização de instrumentos específicos a este fim fundamenta tomadas de decisões pelos gestores. Nesse sentido, a construção e validação de instrumentos que mensurem a qualidade do cuidado em SHE é ferramenta fundamental para gestores e trabalhadores que primam por melhorias no atendimento prestado nesses serviços.

Realizadas as adequações a partir das avaliações dos juízes, o instrumento foi submetido a dois Testes Piloto para contemplar os quesitos da análise semântica. Neste aspecto, verificou-se que não havia dificuldade na sua utilização.

A avaliação realizada pelos juízes em relação aos itens, às dimensões e ao instrumento como um todo, não interferiram na definição dos escores de avaliação final do instrumento. Dessa maneira, considera-se que a pontuação média em cada dimensão, obtida pela soma dos pontos atribuídos a cada item, dividida pelo número total de itens, representa os escores de classificação adotados.

CONSIDERAÇÕES FINAIS A opção de construir e validar um instrumento para avaliar o ACCR por meio do emprego de uma escala que indique o nível de concordância ou discordância dos participantes fundamentou-se no fato de que, até o momento, não se tem conhecimento da existência de um instrumento que possibilite quantificar as opiniões e impressões dos trabalhadores em relação à qualidade que o ACCR tem proporcionado ao atendimento nos SHE.

O instrumento elaborado com base nas dimensões Estrutura, Processo e Resultado, em sua versão final, contem vinte e um itens e obteve índice de fidedignidade acima de 0,8 nas três dimensões referidas. Além disso, com apenas dois Testes Piloto, o instrumento se apresentou adequado quanto à clareza e/ou objetividade nos itens.

Em virtude dos elevados valores obtidos no teste de fidedignidade (>0,8) é previsível que, no contexto dos Serviços Hospitalares de Emergência os quais utilizam o ACCR, o instrumento possa ser utilizado como ferramenta que mensura o impacto que o ACCR produz na qualidade do atendimento.

Vale ressaltar que, apesar de o instrumento final ter sido avaliado por juízes Enfermeiros e aplicado como teste piloto, também em trabalhadores da enfermagem, por se tratar de uma escala que avalia de forma geral a Estrutura, o Processo e o Resultado de um SHE que adota a diretriz ACCR, pode ser aplicado aos diversos profissionais que atuam nesse local.

Não obstante os vinte e um itens terem sido submetidos à Validação de Conteúdo e de Aparência se considera que os mesmos podem ser ajustados de acordo com as particularidades de cada SHE e dessa maneira, promover maior confiabilidade aos resultados. Para tanto, sugere-se a realização de pesquisas futuras ao derredor da temática abordada neste estudo, no sentido de realizar outros tipos de validação; melhorar a organização; o conteúdo e o tratamento dos dados do Instrumento de Avaliação.

Como dificuldade na operacionalização deste estudo destaca-se a localização de juízes que contemplassem os critérios de inclusão estabelecidos e também, a morosidade para devolução do material enviado por alguns juízes.

Considera-se que o Instrumento de Avaliação construído, possui validade de conteúdo e de aparência e no momento, é compatível ao fim a que se propõe qual seja, avaliar a diretriz Acolhimento com Classificação de Risco em SHE.