Revisões sistemáticas em desporto e saúde: Orientações para o planeamento,
elaboração, redação e avaliação
INTRODUÇÃO
De acordo com a Fundação Cochrane (Higgins & Green, 2011), a revisão
sistemática é uma forma de executar sínteses da literatura abrangentes e de
forma não tendenciosa, ou seja, obedecendo a um método e critérios de seleção
explícitos. Trata-se de um estudo secundário, na medida em que os sujeitos da
investigação são estudos primários (unidades de análise).
Em oposição, por revisão narrativa, o tipo de revisões de literatura ditas
tradicionais, entende-se um trabalho de síntese que tende a ser de natureza
descritiva e informativa, e que não envolve uma pesquisa sistemática da
literatura (Uman, 2011). Por esta razão, às revisões narrativas podem apontar-
se questões como a existência de vieses de seleção, já que estas podem
restringir a sua amostra a estudos disponíveis numa determinada área, a
estudos com resultados dentro do expectável (já que estudos com resultados
contrários ao expectável têm tendência a não ser publicados), ou a estudos
selecionados de acordo com o critério/conveniência do autor (Dubben & Beck-
Bornholdt, 2005). Deste modo, as revisões narrativas poderão não ajudar a
clarificar a tendência dos resultados de forma a orientar a prática ou futuras
investigações, como seria de esperar.
As revisões sistemáticas destacam-se ainda das revisões narrativas pelo facto
de pretenderem ser exaustivas e replicáveis por outros investigadores e
permitirem a utilização de métodos estatísticos no processo de revisão com o
intuito de analisar e sumariar os resultados dos estudos (caso das revisões
sistemáticas com meta-análise).
De acordo com Bastian, Glasziou e Chalmers (2010), na área da saúde estima-se
que diariamente sejam publicados cerca de 75 ensaios e 11 revisões
sistemáticas. Assim, sumários da evidência disponível que sejam fiáveis e
precisos revelam-se, não só importantes, como fundamentais para a tomada de
decisão de investigadores e profissionais no desempenho do seu trabalho. Por
esta constante necessidade de atualização do conhecimento científico
disponível, as revisões sistemáticas são cada vez mais valorizadas pela
comunidade científica.
A qualidade do conhecimento disponível em revisões sistemáticas é da
responsabilidade dos investigadores, dos corpos editoriais, e ainda dos
profissionais que a elas recorrem como fonte de informação. Para Moher e
colegas (Moher, Liberati, Tetzlaff, & Altman, 2009) a qualidade de uma
revisão sistemática, não se resume ao produto final, mas exige que todas as
etapas de elaboração se revistam de preocupações que permitam, a cada passo,
ter certezas relativamente à qualidade do trabalho que se desenvolve.
Perante o exposto, o objetivo central do presente artigo é sintetizar
orientações e recomendações para o planeamento, elaboração e redação de
revisões sistemáticas no âmbito das ciências do desporto e da saúde. Como
destinatários desta informação estarão todos os investigadores que pretendam
realizar trabalhos de síntese de literatura de acordo com o método sistemático,
bem como os revisores que necessitam de apoio à melhor decisão de publicação de
revisões sistemáticas.
Mais especificamente, este documento pretende: i) Situar os trabalhos de
revisão sistemática no âmbito de outros trabalhos de síntese da literatura,
identificando as suas características distintivas; ii) Enumerar as etapas de
desenvolvimento de trabalhos de revisão sistemática, destacando as principais
preocupações e cuidados no cumprimento de cada uma delas; iii) Apresentar a
adaptação de uma checklist de redação de estudos, por forma a constituir
documentação de apoio que facilite a redação de futuros trabalhos desta
natureza.
Desenvolvimento
Nesta seção pretende-se, seguindo a lógica das etapas de desenvolvimento do
trabalho e a sequência dos itens a incluir na redação de uma revisão
sistemática, apresentar orientações e recomendações para o cumprimento das
mesmas.
Apesar de existirem outras entidades que descrevem as fases de elaboração de
uma revisão sistemática, como é o caso do National Health Service United
Kingdom (NHS UK), ou o Centre for Reviews and Dissemination (CRD), tomamos como
referência a sequência das etapas tal como preconizadas pelo método definido
por Cochrane (Higgins & Green, 2011), e que são as seguintes: 1. Formulação
da pergunta; 2. Localização e seleção dos estudos em bases de dados; 3.
Avaliação crítica dos estudos; 4. Recolha de dados; 5. Análise e apresentação
dos dados; 6. Interpretação dos dados; e, 7. Aperfeiçoamento e atualização da
revisão.
Teremos também em consideração as orientações da PRISMA (Moher et al., 2009)
para a redação das revisões sistemáticas, da qual, apresentamos uma versão
adaptada e comentada, no final do documento (Anexo I).
A - Planeamento da revisão
Avaliação da realização da revisão, definição do âmbito, enquadramento e
objetivos da revisão sistemática
Antes de iniciar um trabalho de revisão sistemática, deverá ser avaliada a
necessidade de realização da mesma. Esta tarefa implica a realização de uma
pesquisa exploratória sobre o assunto. Esta pesquisa exploratória, passa pela
identificação de revisões publicadas (sistemáticas ou não), e pela leitura
atenta das seções limitações e conclusões das mesmas. Se bem redigidos, os
trabalhos anteriores permitirão identificar que lacunas do conhecimento estão
por preencher, no que às revisões sistemáticas diz respeito, já que os autores
deverão referir-se às implicações para a prática e investigações futuras nos
seus trabalhos.
Da pesquisa exploratória, podem surgir resultados que nos indicam que não
existem trabalhos de revisão sobre o assunto, pelo que poderá ser pertinente a
sua realização. Neste caso, será fundamental avançar para a pesquisa do
manancial de estudos primários que justifiquem a elaboração do trabalho. Numa
outra perspetiva, poderão já existir trabalhos de revisão sobre o assunto, mas
que apresentam argumentos para a realização de uma atualização do conhecimento
na matéria de estudo.
Em qualquer uma das situações, a necessidade de realização de um trabalho de
síntese deve ser devidamente justificada, fundamentada e enquadrada no âmbito
das revisões já publicadas sobre o assunto, não sendo suficiente dizer da
necessidade de mais conhecimento sobre o mesmo, já que se tratam de situações
diferentes: uma a necessidade de saber mais, outra a necessidade de reunir a
informação disponível sobre o tema.
Será determinante, nesta altura, definir o âmbito, ou o alcance que se pretende
com o estudo. Definir se é intenção realizar a secção de Revisão ou
Enquadramento da uma tese, realizar um trabalho de cariz mais técnico, publicar
o trabalho numa revista de impacto internacional, ou outro. Esta definição do
âmbito irá, como veremos adiante, ser essencial para a definição da estratégia
de pesquisa, dos critérios de inclusão e exclusão, entre outros.
Noutras situações ainda, poderá verificar-se que, por iniciativa do corpo
editorial de uma revista, seja solicitada a um investigador (ou equipa de
investigadores) de reconhecido mérito científico numa área, a elaboração de um
trabalho de síntese sobre um tópico específico, onde é notória a necessidade da
mesma.
Definição da questão de pesquisa
À semelhança de um estudo empírico, o objetivo primordial da revisão
sistemática é levantar questões acerca de determinado tema, procurando a sua
resposta objetiva (Higgins & Green, 2011). Assim, será necessário definir,
de forma muito concreta, a questão que se pretende ver respondida com o
trabalho. Esta tarefa, que corresponderá à Etapa 1 ' Formulação da Pergunta,
segundo a Fundação Cochrane, implica que seja estruturada a questão como
resposta aos seguintes tópicos: Identificação da população em estudo (em
inglês: population); Tipo de intervenção (em inglês: intervention); Tipo de
análise (em inglês: comparison); Variáveis avaliadas, ou o resultado espectável
(em inglês: outcomes) e Desenho do estudo (em inglês: study design).
As questões acima descritas são muitas vezes designadas pelo acrónimo PICOS.
Este agrega as iniciais dos itens (em inglês): Population, Intervention,
Comparison, Outcome e Study design, resumindo os aspetos fundamentais
relacionados com o estudo.
Uma boa revisão dependerá assim, em grande medida, de uma questão inicial
pertinente e bem formulada. Esta definirá quais as estratégias a adotar para
identificação e seleção dos estudos, e quais os dados a recolher de cada um
destes. Indefinições na elaboração da pergunta de base do estudo poderão
comprometer a realização das etapas seguintes da elaboração da revisão
sistemática.
Protocolo e registo da revisão sistemática
É também importante que se defina o protocolo de revisão, a seguir. À
semelhança de um estudo empírico, o protocolo de revisão visa explicar em
detalhe as opções metodológicas do investigador, bem como a sequência e
procedimentos a implementar na realização do estudo, e poderá, por si só,
constituir trabalho a publicar como forma de validação da metodologia a
utilizar.
O recurso a um protocolo que se adeque ao tipo de estudos que estamos a
analisar poderá ajudar-nos a justificar alterações ao processo de pesquisa dos
artigos (desde que o protocolo o permita) sem que possam, essas alterações, ser
entendidas como inadequadas (Liberati et al., 2009). A título de exemplo:
podemos alargar o período de pesquisa para permitir a inclusão de estudos mais
antigos, ou mais recentes, alargar critérios de seleção que se tenham
verificado ser demasiado limitados, desde que devidamente justificados.
Em alguns casos, e à semelhança do que acontece com os Randomized Controlled
Trials (RCTs), o protocolo poderá exigir o registo da revisão sistemática
(Moher et al., 2009). No âmbito da saúde, e no sentido de reduzir os vieses de
publicação associados a estudos em que se exige elevada qualidade e rigor,
pelas implicações a que as suas conclusões podem conduzir como é o caso dos
RCTs, ou para evitar a duplicação de conhecimento, foi introduzido como
requisito de publicação, o registo do ensaio no International Commitee of
Medical Journal Editors (De Angelis et al., 2004), por revistas como a The
Lancet e a British Medical Journal. Também no âmbito das revisões
sistemáticas poderá ser exigido o seu registo, como requisito para publicação.
B ' Realização da revisão
Localização e seleção dos estudos (fontes de pesquisa, estratégias de pesquisa
e critérios de inclusão e exclusão)
As fontes de pesquisa podem incluir bases de dados eletrónicas, bibliotecas
pessoais ou públicas, repositórios científicos, entre outros. A sua
identificação é relevante na medida em que se pretende fornecer todo o detalhe
da pesquisa, que permita a replicação do estudo, bem como permitir esclarecer
opções tomadas.
Estão disponíveis bases de dados específicas de uma área de estudo, ou de tipos
de estudos, que podem ser utilizadas, como são exemplos: a) A Cochrane Central
Register of Controlled Trials (CENTRAL) da Cochrane, que se constitui como a
maior fonte de dados de ensaios clínicos. Esta base de dados, recolhe não só
referências do Grupo Cochrane mas também de bases de dados como a MEDLINE e
Embase; b) A PEDro Physiotherapy Evidence Database que conta com 16 000
referências de RCTs, revisões sistemáticas e outras guidelines de prática
clínica baseada na evidência, relevantes na área da fisioterapia e publicados
desde 1930; ou c) A International Clinical Trials Registry Plattform (ICTRP) da
Organização Mundial de Saúde.
Por outro lado, outros recursos como a OVID ou a Web of Knowledge, não sendo
específicas de um tipo ou desenho de estudo, permitem que uma única pesquisa
sintetize os resultados de várias bases de dados, evitando dados redundantes.
No entanto, na escolha por esta opção, será necessário conhecer em profundidade
todas as potencialidades dessa base de dados para garantir que o resultado aí
obtido seja equivalente a pesquisar em várias bases de dados.
No caso da utilização de várias bases de dados eletrónicas, estas devem ser
identificadas de acordo com o potencial de recolha de informação e relevância,
e os limites ou as características de cada pesquisa (em cada uma), como sendo:
a existência de opções de bloqueio de expressões (como as aspas - ), de
pesquisa de partes de expressões (como o asterisco - *), ou de termos
associados, devem ser identificadas como opção na descrição dos termos de
pesquisa.
A evolução tecnológica associada à pesquisa nas bases de dados e a utilização
de gestores de bibliografia (como é o exemplo do Endnote, Endnote Web, Procite,
Zotero, entre outros) permite, hoje em dia, uma pesquisa mais exaustiva e, ao
mesmo tempo, mais eficiente. Na realidade, a introdução de filtros de pesquisa
nas bases de dados, permitem selecionar a priori critérios básicos como: grupo
de idade, sexo, tipo de estudos, entre outros, evitando a repetição das
pesquisas com alteração das palavras-chave e das condições de busca. A
disponibilização da gravação das pesquisas e a importação automática das
referências bibliográficas permitem uma gestão mais eficiente da documentação e
das respetivas fontes.
De referir, ainda, que algumas bases de dados possuem a opção de pesquisa por
indexação de palavras - MESH terms (na Pubmed) ou EMTREE (na Embase). A
pesquisa por estes termos, conhecidos como universos de palavras, ou seja,
expressões que são agrupadas num mesmo âmbito ou área, permitirá alcançar
diferentes terminologias evitando a pesquisa por vários sinónimos de palavras.
No entanto, esta opção não permitirá alcançar, por exemplo, estudos que
aguardam indexação, ou estudos mais recentes, já que a afiliação a MESH terms,
se faz retrospetivamente. Assim, a opção por uma pesquisa combinada de MESH
terms e texto livre (free-text) será mais adequada, por ser mais sensível.
As listas de bibliografia dos estudos encontrados também devem ser utilizadas
como recursos de pesquisa. Desta forma, poderão ser identificados outros
estudos que não tenham sido obtidos nos recursos considerados anteriormente. O
contacto direto com os autores dos trabalhos para a obtenção dos manuscritos,
ou de dados omissos, pode ser também considerado como recurso de pesquisa e o
seu reporte é, normalmente, valorizado.
Os critérios de inclusão e exclusão dos estudos deverão ser definidos a priori.
Para o efeito, deve tomar-se como ponto de partida a questão inicial, e
considerar critérios de inclusão que sejam específicos do assunto em análise. A
título de exemplo, critérios de inclusão (ou exclusão) podem enumerar-se: a
idade, a condição de saúde dos indivíduos, o método (ou métodos) de avaliação
das variáveis principais e secundárias, os procedimentos utilizados para a
recolha de dados, o facto da investigação ter sido conduzida em humanos, o
tipo, ou o período de tempo da intervenção, entre outros.
Apesar de uma revisão sistemática dever ser o mais exaustiva possível na
identificação dos estudos realizados e publicados sobre determinado assunto,
poderão existir critérios definidos pelas revistas que lhes estabelece
limitações. Dois dos critérios mais comuns são a inclusão de estudos não
publicados, ou publicados em língua diferente da inglesa.
O primeiro critério relaciona-se com trabalhos designados como grey
literature, ou seja, documentos como relatórios ou teses, produzidos ao nível
governamental, académico, no âmbito dos negócios ou da indústria, distribuídos
fora dos canais convencionais, que não estão tão facilmente acessíveis, ou que
não estão sujeitos a uma avaliação por pares, e aos quais se levantam questões
de validade e qualidade.
Numa outra perspetiva desta discussão, a identificação de estudos não
publicados tem também sido apontada como relevante para a diminuição do
enviesamento dos resultados, uma vez que a não inclusão dos estudos não
publicados, reduzem a abrangência dos trabalhos de revisão (Smith &
Roberts, 1997). Neste sentido, várias ferramentas têm vindo a ser desenvolvidas
no sentido de tornar mais fácil o acesso a estes trabalhos, como é o caso do
Repositório Científico de Acesso Aberto de Portugal (RCAAP), onde se pretende
que estejam disponíveis todos os trabalhos de âmbito académico das
universidades e politécnicos portugueses; do Conference Papers Index,
Dissertation Abstracts ou o System for Information on Grey Literature in Europe
(SIGLE).
Relativamente à inclusão de estudos publicados noutra língua que não a inglesa,
os corpos editoriais tendem a apontar como fragilidades desses trabalhos, as
questões relacionadas com a necessidade de tradução, que podem implicar com a
interpretação do conteúdo original dos trabalhos.
Estes são dois exemplos em que a definição do âmbito do trabalho será
determinante. Ou seja, se pretendemos publicar um estudo de impacto
internacional, numa revista com arbitragem científica (peer-review), temos de
considerar estas duas situações como critérios de exclusão dos estudos. Em
alternativa, se pretendemos realizar um estudo de âmbito mais abrangente ou
mais técnico, então será pertinente a inclusão destes estudos já que de outra
forma poderia não ser sequer possível obter dados para o trabalho de síntese.
Finalmente, em relação ao período temporal (ou de recuo) de pesquisa, esta deve
ser definida tendo em conta a contextualização do assunto em estudo. Neste
âmbito, a tomada de decisão para o período temporal a definir deve ser
devidamente justificado, à semelhança de todas as restantes opções
metodológicas aqui enumeradas. Por outro lado, a janela temporal em que a
pesquisa nas bases de dados decorre também deve ser reportada. Assim, para
estas situações não existe uma regra estabelecida, devendo apenas o período ou
limites de tempo serem adequados aos propósitos da revisão sistemática.
No que diz respeito à definição da estratégia de pesquisa, a definição da PICOS
é determinante para a adequada escolha das palavras-chave, bem como do tipo de
estudos que se pretendem alcançar com a mesma.
É importante que as palavras-chave que sejam utilizadas na pesquisa dos
trabalhos sejam indicados, quer sejam pesquisadas de forma isolada, ou em
combinação com outras. Do mesmo modo, os prefixos utilizados nessa mesma
combinação (e.g., and, or, entre outros), as variantes de uma mesma palavra
(e.g., age, aging), ou a sequência dos termos da busca efetuada.
Não obstante estas preocupações, de acordo com Lefebvre, Glanville, Wieland,
Coles e Weightman (2013) a tendência e o desenvolvimento tecnológico tem sido
orientado no sentido de que, para a pesquisa, se utilize a PICOS combinada com
outros conceitos, de forma a atingir todo o potencial do assunto a ser
estudado, baseando a pesquisa no significado semântico da palavra e não,
apenas, na palavra por si só. Esta abordagem está ainda a ser desenvolvida.
Definidas todas as fontes de dados e devidamente justificados todos os
critérios de inclusão e exclusão, assim como as estratégias de pesquisa, poderá
avançar-se para o processo de seleção dos estudos. É recomendável que o mesmo
seja realizado por (pelo menos) dois investigadores independentes no sentido de
minimizar vieses de seleção. As discrepâncias encontradas deverão ser
resolvidas por reuniões de consenso ou através de procedimentos estatísticos
(de acordo com o protocolo escolhido), e devidamente reportadas na secção de
metodologia.
Avaliação da qualidade dos estudos
Como já foi referido, numa revisão sistemática é um dever garantir a qualidade
e a credibilidade dos resultados finais da síntese de estudos. Para tal, deve
considerar-se a avaliação da qualidade dos estudos primários que nela serão
incluídos, recorrendo-se a escalas de avaliação da qualidade metodológica ou a
checklists. A importância da utilização deste tipo de ferramentas está descrita
na literatura como um incentivo para a melhoria da qualidade da redação dos
manuscritos, bem como evidência do rigor associado às metodologias utilizadas
nos estudos (Moseley, Herbert, Maher, Sherrington, & Elkins, 2011).
A Fundação Cochrane tem, desde 1993, contribuído para o desenvolvimento de
materiais e ferramentas de avaliação da qualidade metodológica dos estudos, de
identificação de vieses dos mesmos, assinalando-se como marco histórico neste
âmbito, a criação da Cochrane Risk of Bias (RoB) Tool, em 2008. Outra
referência, considerada como um dos maiores contributos para a qualidade de
redação de ensaios clínicos aleatórios (RCTs), foi a publicação do CONSORT
Statement (Begg et al., 1996). Esta checklist inicialmente criada em 1996 por
um grupo de epidemiologistas, estatísticos, investigadores e médicos, enumera
os itens a serem considerados no relato dos dados de um estudo desta natureza
(Kenneth, Douglas, & David, 2010; Moher, Schulz, & Altman, 2001).
Assim, as primeiras escalas de avaliação da qualidade e checklists surgem da
necessidade de garantir a qualidade dos resultados das intervenções em RCTs
(Moher et al., 1995).
Será importante referir que checklists poderão não constituir escalas de
avaliação da qualidade metodológica dos trabalhos, já que, o propósito de uma
checklist é, normalmente, fornecer orientações para a redação dos trabalhos, no
sentido de indicar que informação (estrutura e conteúdo) determinado tipo de
estudo, ou trabalho, deverá conter. São designadas como reporting checklists.
Por outro lado, as escalas de avaliação da qualidade dão ao leitor um índice
quantitativo da probabilidade da metodologia e resultados reportados nos
estudos estarem isentos de vieses. No entanto, algumas das checklists de
reporting incorporam já preocupações das escalas de avaliação dos estudos.
Acerca deste assunto, e considerando as especificidades das áreas ou contextos
em que são realizadas as revisões sistemáticas (medicina, saúde pública,
reabilitação, desporto), e tomando por referência que, para além destas,
existem outras questões associadas ao tipo de estudo, e que destes podem
resultar diferentes resultados, vários autores têm vindo a analisar e comparar
resultados da aplicação das escalas (Bhogal, Teasell, Foley, & Speechley,
2005; Colle, Rannou, Revel, Fermanian, & Poiraudeau, 2002; Jüni, Witschi,
Bloch, & Egger, 1999; Moher et al., 1995), e a discutir a eventual
necessidade da utilização de várias escalas para a tarefa (Bhogal et al., 2005;
da Costa, Hilfiker, & Egger, 2013).
Tal como noutros momentos do trabalho de elaboração de uma revisão
sistemática, é fundamental ter em mente que tipo (ou tipos) de estudos, irão
ser incluídos na análise. Assim, descrevemos adiante algumas escalas de
avaliação e checklists de reporting, a título de exemplo.
Escalas de Avaliação
Escala PEDro
A Escala PEDro, da Physiotherapy Evidence Database (PEDro), foi desenhada para
a área da fisioterapia pelo Centre for Evidence-Based Physiotherapy (CEBP) com
base na Lista de Delphi. Pretende avaliar estudos aleatórios ou quasi-
aleatórios, e inclui 11 itens/critérios (dos quais apenas 10 são pontuáveis) e
que são avaliados em sim (se se verifica o cumprimento do critério na sua
totalidade), ou não (se não se verifica). A escala inclui esclarecimentos
sobre os requisitos de cada critério, e encontra-se traduzida em várias
línguas. Tal como informam os autores (Maher, Sherrington, Herbert, Moseley,
& Elkins, 2003), a escala PEDro constitui uma ferramenta que avalia a
qualidade das opções metodológicas tomadas pelos investigadores, mas o seu
resultado final não deve ser utilizado para avaliar a validade ou qualidade das
conclusões dos estudos.
Comparativamente a outras escalas (caso da Jadad, adiante descrita), a PEDro ao
apresentar vários itens relacionados com a cegueira (blinding) a vários
níveis (sujeito, avaliador e administrador do tratamento), demonstra o seu
entendimento para uma realidade que, por vezes, não é possível concretizar,
tornando-se por isso, mais flexível.
Escala de Downs & Black
Esta escala (Downs & Black, 1998) foi desenvolvida com o intuito de
colmatar a necessidade, à data, de avaliar estudos que não RCTs, já que em
algumas áreas do conhecimento poucos são os estudos disponíveis que seguem, ou
conseguem seguir, este desenho de estudo.
Esta escala inclui 5 subitens relacionados com: i) a forma de reportar os
resultados (se a informação apresentada no estudo permite ao leitor interpretar
os dados e resultados sem enviesamento), ii) a validade externa, iii) os
vieses, iv) os fatores de confusão, e a v) potência do estudo. Para
corresponder a estes subitens estão listados 27 critérios que, caso o avaliador
os identifique, serão pontuados com um valor. A ausência de critério
corresponde a avaliação de zero. Nestes critérios incluem-se aspetos como: se
as hipóteses e objetivos são descritos, se as variáveis a ser medidas estão
descritas na secção de introdução e métodos, se os indivíduos perdidos em
follow-up foram ou não reportados, se está garantida a aleatoriedade da
amostra, o anonimato dos sujeitos, se há referência aos procedimentos
estatísticos, entre outros.
Esta escala é reconhecida como metodologicamente forte e é mais flexível que
outras, já que permite avaliar de forma credível, um maior leque de tipos de
estudo. Tem também a vantagem de ser possível avaliar e destacar as potenciais
forças e fraquezas dos estudos em avaliação. Apresenta como desvantagem o facto
de ser extensa, ao incluir 27 itens de avaliação.
Jadad Scale and Allocation Concealment for Quality Assessment of RCTs
A Escala de Jadad (Jadad et al., 1996), originalmente criada para avaliar
estudos no âmbito da dor, é uma escala devidamente validada (Clark et al.,
1999) e baseia-se apenas em três critérios pontuáveis (até cinco pontos): um
ponto para a referência ao desenho de estudo como aleatório, um para a
indicação de estudo duplamente cego, e outro ponto para a descrição das
desistências do estudo. O estudo pode ainda pontuar, se o procedimento for
devidamente descrito ou considerado adequado. Foi advertido por alguns autores
que a Jadad não é conveniente ser utilizada para avaliar estudos que não sejam
duplamente cegos no seu desenho (Bhogal et al., 2005).
Cochrane Risk of Bias (RoB) Tool
A abordagem preconizada pela Fundação Cochrane para a avaliação a qualidade dos
estudos não se materializa numa checklist ou numa escala. A sua abordagem
constitui uma avaliação em vários domínios (domain-based evaluation), que
resultou na criação de uma ferramenta que, de acordo com o grupo que a
desenvolveu, garante que, para cada estudo incluído na revisão sistemática,
seja utilizada uma escala específica que permite avaliar a influência dos
potenciais vieses nos estudos (por tipos de vieses). Esta ferramenta,
amplamente utilizada na área da saúde foi, entretanto, integrada no Grading of
Recommendations Assessment, Development and Evaluation (GRADE) (Guyatt et al.,
2008).
Nesta perspetiva, cada potencial viés é avaliado e classificado em Baixo
risco, Alto risco e Risco indeterminado, de acordo com as orientações
descritas no Handbook da Fundação Cochrane (Higgins & Green, 2011), e
apresentados sob a forma de tabela. Foi também desenvolvido um software, i.e.,
o RevMan, que apoia a realização desta tarefa.
Avaliação da qualidade das revisões sistemáticas ' A measurement tool to assess
the methodological quality of systematic reviews AMSTAR (Shea et al., 2007)
Considerando que o presente manuscrito se debruça sobre o método de revisão
sistemático, apresentamos também esta ferramenta de avaliação das revisões
sistemáticas, que pode ser utilizada por qualquer pessoa que pretenda avaliar
um estudo desta natureza.
A AMSTAR foi desenvolvida para avaliar a qualidade metodológica de trabalhos de
revisão sistemática, sobretudo na área da saúde pública. É constituída por 11
itens cujo critério de avaliação está descrito, e que resulta em sim, não,
impossível responder ou não aplicável. Foi publicada em 2007 (Shea et al.,
2007), está devidamente validada (Shea et al., 2007, 2009) e tem já uma versão
revista por um painel de especialistas (Kung et al., 2010) que introduziu uma
forma de classificação quantitativa.
Dada a relevância desta etapa na garantia da qualidade do trabalho final, esta
avaliação deve ser efetuada por mais do que um avaliador/ revisor e as
discrepâncias encontradas entre ambos devem ser resolvidas por consenso, ou
através de métodos estatísticos, e devem ser reportados os resultados obtidos
em cada estudo.
Reporting Checklists
PRISMA Checklist
Relativamente a reporting checklists, a checklist da PRISMA (Moher et al.,
2009) pretende ser um documento orientador para todos aqueles que, não só na
área da saúde, pretendem efetuar um trabalho de revisão sistemática. Tem sido
adotada por várias revistas como orientação para a redação dos artigos de
revisão e pretende ser um instrumento que ajude à disseminação do conhecimento
existente na área da metodologia da investigação e das revisões sistemáticas.
Teve origem num documento anterior, o QUORUM, que foi revisto e melhorado para
atender às necessidades da evolução do conhecimento na área, e da ampla
utilização do método.
CONSORT checklist
A Consolidated Standards of Reporting Trials (CONSORT) checklist (Begg et al.,
1996) fornece linhas orientadoras para a redação de estudos aleatórios
controlados (RCTs). É composta por 25 itens e, apesar de não pretender dar
orientações sobre a forma como devem ser conduzidos os estudos, dá indicações
sobre como deve ser reportado o desenho, a análise e a interpretação do estudo.
Exige o recurso a um fluxograma que indique o progresso dos participantes no
ensaio e permite perceber das eventuais fragilidades dos estudos.
STROBE checklist
Finalmente, a STrengthening the Reporting of OBservational studies in
Epidemiology (STROBE) checklist (von Elm et al., 2008) é uma ferramenta que
pretende dar orientações para a condução e disseminação de estudos
observacionais (ou epidemiológicos). Tem disponíveis várias escalas, de acordo
com os tipos de estudos.
Extração dos dados
Dos estudos que cumpram os critérios de inclusão irão inicialmente extrair-se
dados que dizem respeito, quer aos estudos em si (autor, ano de publicação,
PICOS, métodos, características e efeitos das intervenções), quer às variáveis
e resultados dos mesmos. A criação de quadros onde se introduz a informação de
forma esquemática é recomendável pois orienta o tipo de análise a realizar, e
ajuda a listar os dados que irão posteriormente ser extraídos.
Apesar de existirem dados que são mais comumente reportados, não existe uma
regra rígida relativamente aos dados a extrair. Na verdade, estes podem estar
relacionados com a PICOS mas, para além disto, devem ser específicos e
associados ao tema em estudo, variando de trabalho para trabalho.
Um formulário de dados a extrair deverá estar previsto no planeamento da
revisão, mas poderá sofrer alterações à medida que formos avançando no
trabalho. Por vezes, esta tarefa decorre ao mesmo tempo que se realiza a
avaliação da qualidade dos estudos, já que é um dos itens a reportar na
caracterização dos estudos.
Para limitar a possibilidade de erros, é recomendável que a extração dos dados
seja feita por dois revisores, podendo as suas divergências ser resolvidas pela
mediação de um terceiro investigador, ou em alternativa, obtida por consenso.
De referir que existem já softwares que apoiam a realização do trabalho de
extração dos dados tal como o EPPI-Reviewer, o RevMan ou o TrialStat SRS.
Apresentação dos dados, análise e discussão dos resultados
Na apresentação dos dados, deverá ser exposto um perfil/esquema que sintetize o
processo de seleção dos estudos através de um fluxograma. Este esquema
apresenta, para cada fase do processo, o número de estudos elegíveis,
excluídos, e as respetivas justificações. Pode utilizar-se como referência, o
preconizado pela PRISMA - Preferred reporting items for systematic reviews and
meta-analyses (Moher et al., 2009).
A análise dos dados pressupõe a compilação, combinação e o resumo dos
resultados dos estudos. Poderá recorrer-se à utilização de métodos estatísticos
(meta-análise), ou optar por uma síntese narrativa para o fazer. A opção por
apenas uma destas situações poderá resultar numa análise pouco pormenorizada,
já que (entre outros) pode verificar-se uma grande heterogeneidade de estudos,
ou a falta de detalhe no reporte dos dados pelos autores. Nestes casos, poderá
optar-se por uma abordagem mista em que parte dos dados é analisada com
recurso aos procedimentos estatísticos e, noutros casos, analisados de forma
mais descritiva. Esta opção deverá estar prevista a priori e não obriga a
nenhuma ordem em particular, isto é, poderá iniciar-se com uma síntese
narrativa passando depois para a análise quantitativa dos dados disponíveis, ou
vice-versa.
Em qualquer uma das opções, a análise deve iniciar-se com a descrição das
características dos estudos incluídos. Nesta análise descritiva podem referir-
se informações como: tipo de estudo, intervenção, número de participantes e
respetivas características, variáveis e instrumentos usados para medir as
variáveis. Por norma, a apresentação destes dados é feita em forma de quadro, e
pretende facilitar a disponibilização de informações gerais dos dados,
possibilitando a sua fácil consulta.
O trabalho de síntese dos estudos e resultados, em especial a narrativa, não
deve cingir-se à descrição dos mesmos, e esta componente narrativa não deve
ser confundida com o método de revisão narrativa - não sistemática. Deve
adotar-se a componente textual para situar o assunto em termos teóricos seguido
de uma síntese preliminar dos estudos. Posteriormente, devem apresentar-se os
pontos de convergência e divergência entre estudos, e as eventuais
justificações para as mesmas, agrupando estudos ou resultados, tentando alertar
para a robustez da síntese efetuada. A robustez da síntese produzida pode
também relacionar-se com a qualidade dos estudos incluídos, com a quantidade de
evidências analisadas ou com a transparência metodológica que a revisão
sistemática apresenta (C.R.D., 2009). Finalmente, reforçar a ideia de que,
mesmo que se opte por uma análise quantitativa, esta não deve ser desprovida de
um enquadramento teórico que a oriente. A análise quantitativa remete-nos para
os pormenores que poderão ser noutras instâncias aprofundados, como a meta-
análise.
Após a apresentação dos dados, é altura para a realização da discussão. A
discussão pressupõe a exposição das principais conclusões, a apresentação das
forças e fragilidades da revisão e dos estudos nela incluídos (apreciação da
qualidade da revisão, identificação da relação com outras revisões, em
particular em relação às diferenças com as anteriores), significado das
conclusões da revisão (direção e magnitude dos efeitos observados nos estudos
selecionados, aplicabilidade dos resultados da revisão) e implicação para a
prática e ao nível de futuras investigações (Docherty & Smith, 1999).
C - Conclusões, recomendações e divulgação dos resultados
No caso da Fundação Cochrane, não sendo indicada como obrigatória, é
recomendada a apresentação do resumo dos resultados sob a forma de quadros,
designados por Summary of Findings Table (SoF Table). Estes pretendem dar a
conhecer, de forma concisa e de fácil interpretação, os principais resultados
obtidos com a RS. Para além destas SoF Tables, destinadas aos profissionais e à
comunidade científica, a Fundação Cochrane apresenta como solução de
apresentação, para melhor distribuição e acesso aos resultados de uma revisão
sistemática à comunidade em geral, resumos facilmente interpretáveis, os Plain
Language Summaries (PLS) onde, utilizando uma linguagem mais corrente, sem
recurso a expressões científicas, uma audiência ampla, que não específica da
área de estudo, consegue interpretar o resultado da investigação.
Considerando que muitos leitores irão ler diretamente as conclusões das
revisões sistemáticas, por falta de disponibilidade para ler todo o documento,
será conveniente que, apesar de descritas e analisadas na discussão, as
conclusões sejam apresentadas de forma objetiva e que sejam baseadas apenas na
evidência analisada no estudo.
Existem várias convenções para a apresentação das conclusões de uma revisão,
considerando o protocolo utilizado e, noutros casos, os objetivos ou
enquadramento da realização da mesma. No caso da Fundação Cochrane, por
exemplo, não são incluídas recomendações de políticas de ação nas conclusões.
Já a Database of Uncertainties about the Effects of Treatments (DUETS),
recomenda que sejam elaboradas as recomendações de forma estruturada com base
no seguinte acrónimo: EPICOT (Evidence ' evidência, Population(s) - população,
Intervention(s) - Intervenção, Comparison(s) - análise, Outcome(s) ' variáveis
ou desfechos, Time stamp ' limite temporal).
De uma forma geral, e na ausência de uma orientação, as recomendações do estudo
devem ser elaboradas considerando as implicações para a prática (e.g., se é
aconselhada, ou não a utilização de determinada intervenção); e das implicações
para a investigação (e.g., que outras pesquisas futuras poderão ser realizadas,
orientadas para a pergunta inicial do estudo da revisão sistemática), sempre
com base no exclusivo conhecimento adquirido pela revisão.
As recomendações devem ser objetivas e dar orientações para investigações
futuras. Devem ser enumeradas as lacunas do conhecimento e identificadas
eventuais questões de pesquisa que deverão ser futuramente estudadas e, se
foram levantadas questões metodológicas, devem ser enumeradas as estratégias
para futuras abordagens.
Considerações finais
O presente manuscrito teve como objetivo central orientar e descrever as
principais tarefas e preocupações em cada fase de trabalho de elaboração de
revisões sistemáticas, no sentido de contribuir para a uniformização da
estrutura dos trabalhos publicados.
Considerando que o manancial de publicação de estudos primários na área do
desporto e saúde justificam uma necessidade real e atual de sínteses
facilitadoras do conhecimento científico fundamentais para a tomada de decisão,
assim como a importância e implicação prática que os mesmos têm, pretendeu-se
contribuir para a qualidade e fiabilidade do conhecimento disponível em
sínteses da literatura futuras a realizar neste âmbito.