EuPTCVHe1646-107X2014000200012

Revisões sistemáticas em desporto e saúde: Orientações para o planeamento, elaboração, redação e avaliação

INTRODUÇÃO De acordo com a Fundação Cochrane (Higgins & Green, 2011), a revisão sistemática é uma forma de executar sínteses da literatura abrangentes e de forma não tendenciosa, ou seja, obedecendo a um método e critérios de seleção explícitos. Trata-se de um estudo secundário, na medida em que os sujeitos da investigação são estudos primários (unidades de análise).

Em oposição, por revisão narrativa, o tipo de revisões de literatura ditas tradicionais, entende-se um trabalho de síntese que tende a ser de natureza descritiva e informativa, e que não envolve uma pesquisa sistemática da literatura (Uman, 2011). Por esta razão, às revisões narrativas podem apontar- se questões como a existência de vieses de seleção, já que estas podem restringir a sua amostra a estudos disponíveis numa determinada área, a estudos com resultados dentro do expectável (já que estudos com resultados contrários ao expectável têm tendência a não ser publicados), ou a estudos selecionados de acordo com o critério/conveniência do autor (Dubben & Beck- Bornholdt, 2005). Deste modo, as revisões narrativas poderão não ajudar a clarificar a tendência dos resultados de forma a orientar a prática ou futuras investigações, como seria de esperar.

As revisões sistemáticas destacam-se ainda das revisões narrativas pelo facto de pretenderem ser exaustivas e replicáveis por outros investigadores e permitirem a utilização de métodos estatísticos no processo de revisão com o intuito de analisar e sumariar os resultados dos estudos (caso das revisões sistemáticas com meta-análise).

De acordo com Bastian, Glasziou e Chalmers (2010), na área da saúde estima-se que diariamente sejam publicados cerca de 75 ensaios e 11 revisões sistemáticas. Assim, sumários da evidência disponível que sejam fiáveis e precisos revelam-se, não só importantes, como fundamentais para a tomada de decisão de investigadores e profissionais no desempenho do seu trabalho. Por esta constante necessidade de atualização do conhecimento científico disponível, as revisões sistemáticas são cada vez mais valorizadas pela comunidade científica.

A qualidade do conhecimento disponível em revisões sistemáticas é da responsabilidade dos investigadores, dos corpos editoriais, e ainda dos profissionais que a elas recorrem como fonte de informação. Para Moher e colegas (Moher, Liberati, Tetzlaff, & Altman, 2009) a qualidade de uma revisão sistemática, não se resume ao produto final, mas exige que todas as etapas de elaboração se revistam de preocupações que permitam, a cada passo, ter certezas relativamente à qualidade do trabalho que se desenvolve.

Perante o exposto, o objetivo central do presente artigo é sintetizar orientações e recomendações para o planeamento, elaboração e redação de revisões sistemáticas no âmbito das ciências do desporto e da saúde. Como destinatários desta informação estarão todos os investigadores que pretendam realizar trabalhos de síntese de literatura de acordo com o método sistemático, bem como os revisores que necessitam de apoio à melhor decisão de publicação de revisões sistemáticas.

Mais especificamente, este documento pretende: i) Situar os trabalhos de revisão sistemática no âmbito de outros trabalhos de síntese da literatura, identificando as suas características distintivas; ii) Enumerar as etapas de desenvolvimento de trabalhos de revisão sistemática, destacando as principais preocupações e cuidados no cumprimento de cada uma delas; iii) Apresentar a adaptação de uma checklist de redação de estudos, por forma a constituir documentação de apoio que facilite a redação de futuros trabalhos desta natureza.

Desenvolvimento Nesta seção pretende-se, seguindo a lógica das etapas de desenvolvimento do trabalho e a sequência dos itens a incluir na redação de uma revisão sistemática, apresentar orientações e recomendações para o cumprimento das mesmas.

Apesar de existirem outras entidades que descrevem as fases de elaboração de uma revisão sistemática, como é o caso do National Health Service United Kingdom (NHS UK), ou o Centre for Reviews and Dissemination (CRD), tomamos como referência a sequência das etapas tal como preconizadas pelo método definido por Cochrane (Higgins & Green, 2011), e que são as seguintes: 1. Formulação da pergunta; 2. Localização e seleção dos estudos em bases de dados; 3.

Avaliação crítica dos estudos; 4. Recolha de dados; 5. Análise e apresentação dos dados; 6. Interpretação dos dados; e, 7. Aperfeiçoamento e atualização da revisão.

Teremos também em consideração as orientações da PRISMA (Moher et al., 2009) para a redação das revisões sistemáticas, da qual, apresentamos uma versão adaptada e comentada, no final do documento (Anexo I).

A - Planeamento da revisão Avaliação da realização da revisão, definição do âmbito, enquadramento e objetivos da revisão sistemática Antes de iniciar um trabalho de revisão sistemática, deverá ser avaliada a necessidade de realização da mesma. Esta tarefa implica a realização de uma pesquisa exploratória sobre o assunto. Esta pesquisa exploratória, passa pela identificação de revisões publicadas (sistemáticas ou não), e pela leitura atenta das seções limitações e conclusões das mesmas. Se bem redigidos, os trabalhos anteriores permitirão identificar que lacunas do conhecimento estão por preencher, no que às revisões sistemáticas diz respeito, já que os autores deverão referir-se às implicações para a prática e investigações futuras nos seus trabalhos.

Da pesquisa exploratória, podem surgir resultados que nos indicam que não existem trabalhos de revisão sobre o assunto, pelo que poderá ser pertinente a sua realização. Neste caso, será fundamental avançar para a pesquisa do manancial de estudos primários que justifiquem a elaboração do trabalho. Numa outra perspetiva, poderão já existir trabalhos de revisão sobre o assunto, mas que apresentam argumentos para a realização de uma atualização do conhecimento na matéria de estudo.

Em qualquer uma das situações, a necessidade de realização de um trabalho de síntese deve ser devidamente justificada, fundamentada e enquadrada no âmbito das revisões já publicadas sobre o assunto, não sendo suficiente dizer da necessidade de mais conhecimento sobre o mesmo, já que se tratam de situações diferentes: uma a necessidade de saber mais, outra a necessidade de reunir a informação disponível sobre o tema.

Será determinante, nesta altura, definir o âmbito, ou o alcance que se pretende com o estudo. Definir se é intenção realizar a secção de Revisão ou Enquadramento da uma tese, realizar um trabalho de cariz mais técnico, publicar o trabalho numa revista de impacto internacional, ou outro. Esta definição do âmbito irá, como veremos adiante, ser essencial para a definição da estratégia de pesquisa, dos critérios de inclusão e exclusão, entre outros.

Noutras situações ainda, poderá verificar-se que, por iniciativa do corpo editorial de uma revista, seja solicitada a um investigador (ou equipa de investigadores) de reconhecido mérito científico numa área, a elaboração de um trabalho de síntese sobre um tópico específico, onde é notória a necessidade da mesma.

Definição da questão de pesquisa À semelhança de um estudo empírico, o objetivo primordial da revisão sistemática é levantar questões acerca de determinado tema, procurando a sua resposta objetiva (Higgins & Green, 2011). Assim, será necessário definir, de forma muito concreta, a questão que se pretende ver respondida com o trabalho. Esta tarefa, que corresponderá à Etapa 1 ' Formulação da Pergunta, segundo a Fundação Cochrane, implica que seja estruturada a questão como resposta aos seguintes tópicos: Identificação da população em estudo (em inglês: population); Tipo de intervenção (em inglês: intervention); Tipo de análise (em inglês: comparison); Variáveis avaliadas, ou o resultado espectável (em inglês: outcomes) e Desenho do estudo (em inglês: study design).

As questões acima descritas são muitas vezes designadas pelo acrónimo PICOS.

Este agrega as iniciais dos itens (em inglês): Population, Intervention, Comparison, Outcome e Study design, resumindo os aspetos fundamentais relacionados com o estudo.

Uma boa revisão dependerá assim, em grande medida, de uma questão inicial pertinente e bem formulada. Esta definirá quais as estratégias a adotar para identificação e seleção dos estudos, e quais os dados a recolher de cada um destes. Indefinições na elaboração da pergunta de base do estudo poderão comprometer a realização das etapas seguintes da elaboração da revisão sistemática.

Protocolo e registo da revisão sistemática É também importante que se defina o protocolo de revisão, a seguir. À semelhança de um estudo empírico, o protocolo de revisão visa explicar em detalhe as opções metodológicas do investigador, bem como a sequência e procedimentos a implementar na realização do estudo, e poderá, por si só, constituir trabalho a publicar como forma de validação da metodologia a utilizar.

O recurso a um protocolo que se adeque ao tipo de estudos que estamos a analisar poderá ajudar-nos a justificar alterações ao processo de pesquisa dos artigos (desde que o protocolo o permita) sem que possam, essas alterações, ser entendidas como inadequadas (Liberati et al., 2009). A título de exemplo: podemos alargar o período de pesquisa para permitir a inclusão de estudos mais antigos, ou mais recentes, alargar critérios de seleção que se tenham verificado ser demasiado limitados, desde que devidamente justificados.

Em alguns casos, e à semelhança do que acontece com os Randomized Controlled Trials (RCTs), o protocolo poderá exigir o registo da revisão sistemática (Moher et al., 2009). No âmbito da saúde, e no sentido de reduzir os vieses de publicação associados a estudos em que se exige elevada qualidade e rigor, pelas implicações a que as suas conclusões podem conduzir como é o caso dos RCTs, ou para evitar a duplicação de conhecimento, foi introduzido como requisito de publicação, o registo do ensaio no International Commitee of Medical Journal Editors (De Angelis et al., 2004), por revistas como a The Lancet e a British Medical Journal. Também no âmbito das revisões sistemáticas poderá ser exigido o seu registo, como requisito para publicação.

B ' Realização da revisão Localização e seleção dos estudos (fontes de pesquisa, estratégias de pesquisa e critérios de inclusão e exclusão) As fontes de pesquisa podem incluir bases de dados eletrónicas, bibliotecas pessoais ou públicas, repositórios científicos, entre outros. A sua identificação é relevante na medida em que se pretende fornecer todo o detalhe da pesquisa, que permita a replicação do estudo, bem como permitir esclarecer opções tomadas.

Estão disponíveis bases de dados específicas de uma área de estudo, ou de tipos de estudos, que podem ser utilizadas, como são exemplos: a) A Cochrane Central Register of Controlled Trials (CENTRAL) da Cochrane, que se constitui como a maior fonte de dados de ensaios clínicos. Esta base de dados, recolhe não só referências do Grupo Cochrane mas também de bases de dados como a MEDLINE e Embase; b) A PEDro Physiotherapy Evidence Database que conta com 16 000 referências de RCTs, revisões sistemáticas e outras guidelines de prática clínica baseada na evidência, relevantes na área da fisioterapia e publicados desde 1930; ou c) A International Clinical Trials Registry Plattform (ICTRP) da Organização Mundial de Saúde.

Por outro lado, outros recursos como a OVID ou a Web of Knowledge, não sendo específicas de um tipo ou desenho de estudo, permitem que uma única pesquisa sintetize os resultados de várias bases de dados, evitando dados redundantes.

No entanto, na escolha por esta opção, será necessário conhecer em profundidade todas as potencialidades dessa base de dados para garantir que o resultado aí obtido seja equivalente a pesquisar em várias bases de dados.

No caso da utilização de várias bases de dados eletrónicas, estas devem ser identificadas de acordo com o potencial de recolha de informação e relevância, e os limites ou as características de cada pesquisa (em cada uma), como sendo: a existência de opções de bloqueio de expressões (como as aspas - ), de pesquisa de partes de expressões (como o asterisco - *), ou de termos associados, devem ser identificadas como opção na descrição dos termos de pesquisa.

A evolução tecnológica associada à pesquisa nas bases de dados e a utilização de gestores de bibliografia (como é o exemplo do Endnote, Endnote Web, Procite, Zotero, entre outros) permite, hoje em dia, uma pesquisa mais exaustiva e, ao mesmo tempo, mais eficiente. Na realidade, a introdução de filtros de pesquisa nas bases de dados, permitem selecionar a priori critérios básicos como: grupo de idade, sexo, tipo de estudos, entre outros, evitando a repetição das pesquisas com alteração das palavras-chave e das condições de busca. A disponibilização da gravação das pesquisas e a importação automática das referências bibliográficas permitem uma gestão mais eficiente da documentação e das respetivas fontes.

De referir, ainda, que algumas bases de dados possuem a opção de pesquisa por indexação de palavras - MESH terms (na Pubmed) ou EMTREE (na Embase). A pesquisa por estes termos, conhecidos como universos de palavras, ou seja, expressões que são agrupadas num mesmo âmbito ou área, permitirá alcançar diferentes terminologias evitando a pesquisa por vários sinónimos de palavras.

No entanto, esta opção não permitirá alcançar, por exemplo, estudos que aguardam indexação, ou estudos mais recentes, já que a afiliação a MESH terms, se faz retrospetivamente. Assim, a opção por uma pesquisa combinada de MESH terms e texto livre (free-text) será mais adequada, por ser mais sensível.

As listas de bibliografia dos estudos encontrados também devem ser utilizadas como recursos de pesquisa. Desta forma, poderão ser identificados outros estudos que não tenham sido obtidos nos recursos considerados anteriormente. O contacto direto com os autores dos trabalhos para a obtenção dos manuscritos, ou de dados omissos, pode ser também considerado como recurso de pesquisa e o seu reporte é, normalmente, valorizado.

Os critérios de inclusão e exclusão dos estudos deverão ser definidos a priori.

Para o efeito, deve tomar-se como ponto de partida a questão inicial, e considerar critérios de inclusão que sejam específicos do assunto em análise. A título de exemplo, critérios de inclusão (ou exclusão) podem enumerar-se: a idade, a condição de saúde dos indivíduos, o método (ou métodos) de avaliação das variáveis principais e secundárias, os procedimentos utilizados para a recolha de dados, o facto da investigação ter sido conduzida em humanos, o tipo, ou o período de tempo da intervenção, entre outros.

Apesar de uma revisão sistemática dever ser o mais exaustiva possível na identificação dos estudos realizados e publicados sobre determinado assunto, poderão existir critérios definidos pelas revistas que lhes estabelece limitações. Dois dos critérios mais comuns são a inclusão de estudos não publicados, ou publicados em língua diferente da inglesa.

O primeiro critério relaciona-se com trabalhos designados como grey literature, ou seja, documentos como relatórios ou teses, produzidos ao nível governamental, académico, no âmbito dos negócios ou da indústria, distribuídos fora dos canais convencionais, que não estão tão facilmente acessíveis, ou que não estão sujeitos a uma avaliação por pares, e aos quais se levantam questões de validade e qualidade.

Numa outra perspetiva desta discussão, a identificação de estudos não publicados tem também sido apontada como relevante para a diminuição do enviesamento dos resultados, uma vez que a não inclusão dos estudos não publicados, reduzem a abrangência dos trabalhos de revisão (Smith & Roberts, 1997). Neste sentido, várias ferramentas têm vindo a ser desenvolvidas no sentido de tornar mais fácil o acesso a estes trabalhos, como é o caso do Repositório Científico de Acesso Aberto de Portugal (RCAAP), onde se pretende que estejam disponíveis todos os trabalhos de âmbito académico das universidades e politécnicos portugueses; do Conference Papers Index, Dissertation Abstracts ou o System for Information on Grey Literature in Europe (SIGLE).

Relativamente à inclusão de estudos publicados noutra língua que não a inglesa, os corpos editoriais tendem a apontar como fragilidades desses trabalhos, as questões relacionadas com a necessidade de tradução, que podem implicar com a interpretação do conteúdo original dos trabalhos.

Estes são dois exemplos em que a definição do âmbito do trabalho será determinante. Ou seja, se pretendemos publicar um estudo de impacto internacional, numa revista com arbitragem científica (peer-review), temos de considerar estas duas situações como critérios de exclusão dos estudos. Em alternativa, se pretendemos realizar um estudo de âmbito mais abrangente ou mais técnico, então será pertinente a inclusão destes estudos já que de outra forma poderia não ser sequer possível obter dados para o trabalho de síntese.

Finalmente, em relação ao período temporal (ou de recuo) de pesquisa, esta deve ser definida tendo em conta a contextualização do assunto em estudo. Neste âmbito, a tomada de decisão para o período temporal a definir deve ser devidamente justificado, à semelhança de todas as restantes opções metodológicas aqui enumeradas. Por outro lado, a janela temporal em que a pesquisa nas bases de dados decorre também deve ser reportada. Assim, para estas situações não existe uma regra estabelecida, devendo apenas o período ou limites de tempo serem adequados aos propósitos da revisão sistemática.

No que diz respeito à definição da estratégia de pesquisa, a definição da PICOS é determinante para a adequada escolha das palavras-chave, bem como do tipo de estudos que se pretendem alcançar com a mesma.

É importante que as palavras-chave que sejam utilizadas na pesquisa dos trabalhos sejam indicados, quer sejam pesquisadas de forma isolada, ou em combinação com outras. Do mesmo modo, os prefixos utilizados nessa mesma combinação (e.g., and, or, entre outros), as variantes de uma mesma palavra (e.g., age, aging), ou a sequência dos termos da busca efetuada.

Não obstante estas preocupações, de acordo com Lefebvre, Glanville, Wieland, Coles e Weightman (2013) a tendência e o desenvolvimento tecnológico tem sido orientado no sentido de que, para a pesquisa, se utilize a PICOS combinada com outros conceitos, de forma a atingir todo o potencial do assunto a ser estudado, baseando a pesquisa no significado semântico da palavra e não, apenas, na palavra por si só. Esta abordagem está ainda a ser desenvolvida.

Definidas todas as fontes de dados e devidamente justificados todos os critérios de inclusão e exclusão, assim como as estratégias de pesquisa, poderá avançar-se para o processo de seleção dos estudos. É recomendável que o mesmo seja realizado por (pelo menos) dois investigadores independentes no sentido de minimizar vieses de seleção. As discrepâncias encontradas deverão ser resolvidas por reuniões de consenso ou através de procedimentos estatísticos (de acordo com o protocolo escolhido), e devidamente reportadas na secção de metodologia.

Avaliação da qualidade dos estudos Como já foi referido, numa revisão sistemática é um dever garantir a qualidade e a credibilidade dos resultados finais da síntese de estudos. Para tal, deve considerar-se a avaliação da qualidade dos estudos primários que nela serão incluídos, recorrendo-se a escalas de avaliação da qualidade metodológica ou a checklists. A importância da utilização deste tipo de ferramentas está descrita na literatura como um incentivo para a melhoria da qualidade da redação dos manuscritos, bem como evidência do rigor associado às metodologias utilizadas nos estudos (Moseley, Herbert, Maher, Sherrington, & Elkins, 2011).

A Fundação Cochrane tem, desde 1993, contribuído para o desenvolvimento de materiais e ferramentas de avaliação da qualidade metodológica dos estudos, de identificação de vieses dos mesmos, assinalando-se como marco histórico neste âmbito, a criação da Cochrane Risk of Bias (RoB) Tool, em 2008. Outra referência, considerada como um dos maiores contributos para a qualidade de redação de ensaios clínicos aleatórios (RCTs), foi a publicação do CONSORT Statement (Begg et al., 1996). Esta checklist inicialmente criada em 1996 por um grupo de epidemiologistas, estatísticos, investigadores e médicos, enumera os itens a serem considerados no relato dos dados de um estudo desta natureza (Kenneth, Douglas, & David, 2010; Moher, Schulz, & Altman, 2001).

Assim, as primeiras escalas de avaliação da qualidade e checklists surgem da necessidade de garantir a qualidade dos resultados das intervenções em RCTs (Moher et al., 1995).

Será importante referir que checklists poderão não constituir escalas de avaliação da qualidade metodológica dos trabalhos, já que, o propósito de uma checklist é, normalmente, fornecer orientações para a redação dos trabalhos, no sentido de indicar que informação (estrutura e conteúdo) determinado tipo de estudo, ou trabalho, deverá conter. São designadas como reporting checklists.

Por outro lado, as escalas de avaliação da qualidade dão ao leitor um índice quantitativo da probabilidade da metodologia e resultados reportados nos estudos estarem isentos de vieses. No entanto, algumas das checklists de reporting incorporam já preocupações das escalas de avaliação dos estudos.

Acerca deste assunto, e considerando as especificidades das áreas ou contextos em que são realizadas as revisões sistemáticas (medicina, saúde pública, reabilitação, desporto), e tomando por referência que, para além destas, existem outras questões associadas ao tipo de estudo, e que destes podem resultar diferentes resultados, vários autores têm vindo a analisar e comparar resultados da aplicação das escalas (Bhogal, Teasell, Foley, & Speechley, 2005; Colle, Rannou, Revel, Fermanian, & Poiraudeau, 2002; Jüni, Witschi, Bloch, & Egger, 1999; Moher et al., 1995), e a discutir a eventual necessidade da utilização de várias escalas para a tarefa (Bhogal et al., 2005; da Costa, Hilfiker, & Egger, 2013).

Tal como noutros momentos do trabalho de elaboração de uma revisão sistemática, é fundamental ter em mente que tipo (ou tipos) de estudos, irão ser incluídos na análise. Assim, descrevemos adiante algumas escalas de avaliação e checklists de reporting, a título de exemplo.

Escalas de Avaliação Escala PEDro A Escala PEDro, da Physiotherapy Evidence Database (PEDro), foi desenhada para a área da fisioterapia pelo Centre for Evidence-Based Physiotherapy (CEBP) com base na Lista de Delphi. Pretende avaliar estudos aleatórios ou quasi- aleatórios, e inclui 11 itens/critérios (dos quais apenas 10 são pontuáveis) e que são avaliados em sim (se se verifica o cumprimento do critério na sua totalidade), ou não (se não se verifica). A escala inclui esclarecimentos sobre os requisitos de cada critério, e encontra-se traduzida em várias línguas. Tal como informam os autores (Maher, Sherrington, Herbert, Moseley, & Elkins, 2003), a escala PEDro constitui uma ferramenta que avalia a qualidade das opções metodológicas tomadas pelos investigadores, mas o seu resultado final não deve ser utilizado para avaliar a validade ou qualidade das conclusões dos estudos.

Comparativamente a outras escalas (caso da Jadad, adiante descrita), a PEDro ao apresentar vários itens relacionados com a cegueira (blinding) a vários níveis (sujeito, avaliador e administrador do tratamento), demonstra o seu entendimento para uma realidade que, por vezes, não é possível concretizar, tornando-se por isso, mais flexível.

Escala de Downs & Black Esta escala (Downs & Black, 1998) foi desenvolvida com o intuito de colmatar a necessidade, à data, de avaliar estudos que não RCTs, já que em algumas áreas do conhecimento poucos são os estudos disponíveis que seguem, ou conseguem seguir, este desenho de estudo.

Esta escala inclui 5 subitens relacionados com: i) a forma de reportar os resultados (se a informação apresentada no estudo permite ao leitor interpretar os dados e resultados sem enviesamento), ii) a validade externa, iii) os vieses, iv) os fatores de confusão, e a v) potência do estudo. Para corresponder a estes subitens estão listados 27 critérios que, caso o avaliador os identifique, serão pontuados com um valor. A ausência de critério corresponde a avaliação de zero. Nestes critérios incluem-se aspetos como: se as hipóteses e objetivos são descritos, se as variáveis a ser medidas estão descritas na secção de introdução e métodos, se os indivíduos perdidos em follow-up foram ou não reportados, se está garantida a aleatoriedade da amostra, o anonimato dos sujeitos, se há referência aos procedimentos estatísticos, entre outros.

Esta escala é reconhecida como metodologicamente forte e é mais flexível que outras, já que permite avaliar de forma credível, um maior leque de tipos de estudo. Tem também a vantagem de ser possível avaliar e destacar as potenciais forças e fraquezas dos estudos em avaliação. Apresenta como desvantagem o facto de ser extensa, ao incluir 27 itens de avaliação.

Jadad Scale and Allocation Concealment for Quality Assessment of RCTs A Escala de Jadad (Jadad et al., 1996), originalmente criada para avaliar estudos no âmbito da dor, é uma escala devidamente validada (Clark et al., 1999) e baseia-se apenas em três critérios pontuáveis (até cinco pontos): um ponto para a referência ao desenho de estudo como aleatório, um para a indicação de estudo duplamente cego, e outro ponto para a descrição das desistências do estudo. O estudo pode ainda pontuar, se o procedimento for devidamente descrito ou considerado adequado. Foi advertido por alguns autores que a Jadad não é conveniente ser utilizada para avaliar estudos que não sejam duplamente cegos no seu desenho (Bhogal et al., 2005).

Cochrane Risk of Bias (RoB) Tool A abordagem preconizada pela Fundação Cochrane para a avaliação a qualidade dos estudos não se materializa numa checklist ou numa escala. A sua abordagem constitui uma avaliação em vários domínios (domain-based evaluation), que resultou na criação de uma ferramenta que, de acordo com o grupo que a desenvolveu, garante que, para cada estudo incluído na revisão sistemática, seja utilizada uma escala específica que permite avaliar a influência dos potenciais vieses nos estudos (por tipos de vieses). Esta ferramenta, amplamente utilizada na área da saúde foi, entretanto, integrada no Grading of Recommendations Assessment, Development and Evaluation (GRADE) (Guyatt et al., 2008).

Nesta perspetiva, cada potencial viés é avaliado e classificado em Baixo risco, Alto risco e Risco indeterminado, de acordo com as orientações descritas no Handbook da Fundação Cochrane (Higgins & Green, 2011), e apresentados sob a forma de tabela. Foi também desenvolvido um software, i.e., o RevMan, que apoia a realização desta tarefa.

Avaliação da qualidade das revisões sistemáticas ' A measurement tool to assess the methodological quality of systematic reviews AMSTAR (Shea et al., 2007) Considerando que o presente manuscrito se debruça sobre o método de revisão sistemático, apresentamos também esta ferramenta de avaliação das revisões sistemáticas, que pode ser utilizada por qualquer pessoa que pretenda avaliar um estudo desta natureza.

A AMSTAR foi desenvolvida para avaliar a qualidade metodológica de trabalhos de revisão sistemática, sobretudo na área da saúde pública. É constituída por 11 itens cujo critério de avaliação está descrito, e que resulta em sim, não, impossível responder ou não aplicável. Foi publicada em 2007 (Shea et al., 2007), está devidamente validada (Shea et al., 2007, 2009) e tem já uma versão revista por um painel de especialistas (Kung et al., 2010) que introduziu uma forma de classificação quantitativa.

Dada a relevância desta etapa na garantia da qualidade do trabalho final, esta avaliação deve ser efetuada por mais do que um avaliador/ revisor e as discrepâncias encontradas entre ambos devem ser resolvidas por consenso, ou através de métodos estatísticos, e devem ser reportados os resultados obtidos em cada estudo.

Reporting Checklists PRISMA Checklist Relativamente a reporting checklists, a checklist da PRISMA (Moher et al., 2009) pretende ser um documento orientador para todos aqueles que, não só na área da saúde, pretendem efetuar um trabalho de revisão sistemática. Tem sido adotada por várias revistas como orientação para a redação dos artigos de revisão e pretende ser um instrumento que ajude à disseminação do conhecimento existente na área da metodologia da investigação e das revisões sistemáticas.

Teve origem num documento anterior, o QUORUM, que foi revisto e melhorado para atender às necessidades da evolução do conhecimento na área, e da ampla utilização do método.

CONSORT checklist A Consolidated Standards of Reporting Trials (CONSORT) checklist (Begg et al., 1996) fornece linhas orientadoras para a redação de estudos aleatórios controlados (RCTs). É composta por 25 itens e, apesar de não pretender dar orientações sobre a forma como devem ser conduzidos os estudos, dá indicações sobre como deve ser reportado o desenho, a análise e a interpretação do estudo.

Exige o recurso a um fluxograma que indique o progresso dos participantes no ensaio e permite perceber das eventuais fragilidades dos estudos.

STROBE checklist Finalmente, a STrengthening the Reporting of OBservational studies in Epidemiology (STROBE) checklist (von Elm et al., 2008) é uma ferramenta que pretende dar orientações para a condução e disseminação de estudos observacionais (ou epidemiológicos). Tem disponíveis várias escalas, de acordo com os tipos de estudos.

Extração dos dados Dos estudos que cumpram os critérios de inclusão irão inicialmente extrair-se dados que dizem respeito, quer aos estudos em si (autor, ano de publicação, PICOS, métodos, características e efeitos das intervenções), quer às variáveis e resultados dos mesmos. A criação de quadros onde se introduz a informação de forma esquemática é recomendável pois orienta o tipo de análise a realizar, e ajuda a listar os dados que irão posteriormente ser extraídos.

Apesar de existirem dados que são mais comumente reportados, não existe uma regra rígida relativamente aos dados a extrair. Na verdade, estes podem estar relacionados com a PICOS mas, para além disto, devem ser específicos e associados ao tema em estudo, variando de trabalho para trabalho.

Um formulário de dados a extrair deverá estar previsto no planeamento da revisão, mas poderá sofrer alterações à medida que formos avançando no trabalho. Por vezes, esta tarefa decorre ao mesmo tempo que se realiza a avaliação da qualidade dos estudos, já que é um dos itens a reportar na caracterização dos estudos.

Para limitar a possibilidade de erros, é recomendável que a extração dos dados seja feita por dois revisores, podendo as suas divergências ser resolvidas pela mediação de um terceiro investigador, ou em alternativa, obtida por consenso.

De referir que existem já softwares que apoiam a realização do trabalho de extração dos dados tal como o EPPI-Reviewer, o RevMan ou o TrialStat SRS.

Apresentação dos dados, análise e discussão dos resultados Na apresentação dos dados, deverá ser exposto um perfil/esquema que sintetize o processo de seleção dos estudos através de um fluxograma. Este esquema apresenta, para cada fase do processo, o número de estudos elegíveis, excluídos, e as respetivas justificações. Pode utilizar-se como referência, o preconizado pela PRISMA - Preferred reporting items for systematic reviews and meta-analyses (Moher et al., 2009).

A análise dos dados pressupõe a compilação, combinação e o resumo dos resultados dos estudos. Poderá recorrer-se à utilização de métodos estatísticos (meta-análise), ou optar por uma síntese narrativa para o fazer. A opção por apenas uma destas situações poderá resultar numa análise pouco pormenorizada, já que (entre outros) pode verificar-se uma grande heterogeneidade de estudos, ou a falta de detalhe no reporte dos dados pelos autores. Nestes casos, poderá optar-se por uma abordagem mista em que parte dos dados é analisada com recurso aos procedimentos estatísticos e, noutros casos, analisados de forma mais descritiva. Esta opção deverá estar prevista a priori e não obriga a nenhuma ordem em particular, isto é, poderá iniciar-se com uma síntese narrativa passando depois para a análise quantitativa dos dados disponíveis, ou vice-versa.

Em qualquer uma das opções, a análise deve iniciar-se com a descrição das características dos estudos incluídos. Nesta análise descritiva podem referir- se informações como: tipo de estudo, intervenção, número de participantes e respetivas características, variáveis e instrumentos usados para medir as variáveis. Por norma, a apresentação destes dados é feita em forma de quadro, e pretende facilitar a disponibilização de informações gerais dos dados, possibilitando a sua fácil consulta.

O trabalho de síntese dos estudos e resultados, em especial a narrativa, não deve cingir-se à descrição dos mesmos, e esta componente narrativa não deve ser confundida com o método de revisão narrativa - não sistemática. Deve adotar-se a componente textual para situar o assunto em termos teóricos seguido de uma síntese preliminar dos estudos. Posteriormente, devem apresentar-se os pontos de convergência e divergência entre estudos, e as eventuais justificações para as mesmas, agrupando estudos ou resultados, tentando alertar para a robustez da síntese efetuada. A robustez da síntese produzida pode também relacionar-se com a qualidade dos estudos incluídos, com a quantidade de evidências analisadas ou com a transparência metodológica que a revisão sistemática apresenta (C.R.D., 2009). Finalmente, reforçar a ideia de que, mesmo que se opte por uma análise quantitativa, esta não deve ser desprovida de um enquadramento teórico que a oriente. A análise quantitativa remete-nos para os pormenores que poderão ser noutras instâncias aprofundados, como a meta- análise.

Após a apresentação dos dados, é altura para a realização da discussão. A discussão pressupõe a exposição das principais conclusões, a apresentação das forças e fragilidades da revisão e dos estudos nela incluídos (apreciação da qualidade da revisão, identificação da relação com outras revisões, em particular em relação às diferenças com as anteriores), significado das conclusões da revisão (direção e magnitude dos efeitos observados nos estudos selecionados, aplicabilidade dos resultados da revisão) e implicação para a prática e ao nível de futuras investigações (Docherty & Smith, 1999).

C - Conclusões, recomendações e divulgação dos resultados No caso da Fundação Cochrane, não sendo indicada como obrigatória, é recomendada a apresentação do resumo dos resultados sob a forma de quadros, designados por Summary of Findings Table (SoF Table). Estes pretendem dar a conhecer, de forma concisa e de fácil interpretação, os principais resultados obtidos com a RS. Para além destas SoF Tables, destinadas aos profissionais e à comunidade científica, a Fundação Cochrane apresenta como solução de apresentação, para melhor distribuição e acesso aos resultados de uma revisão sistemática à comunidade em geral, resumos facilmente interpretáveis, os Plain Language Summaries (PLS) onde, utilizando uma linguagem mais corrente, sem recurso a expressões científicas, uma audiência ampla, que não específica da área de estudo, consegue interpretar o resultado da investigação.

Considerando que muitos leitores irão ler diretamente as conclusões das revisões sistemáticas, por falta de disponibilidade para ler todo o documento, será conveniente que, apesar de descritas e analisadas na discussão, as conclusões sejam apresentadas de forma objetiva e que sejam baseadas apenas na evidência analisada no estudo.

Existem várias convenções para a apresentação das conclusões de uma revisão, considerando o protocolo utilizado e, noutros casos, os objetivos ou enquadramento da realização da mesma. No caso da Fundação Cochrane, por exemplo, não são incluídas recomendações de políticas de ação nas conclusões.

Já a Database of Uncertainties about the Effects of Treatments (DUETS), recomenda que sejam elaboradas as recomendações de forma estruturada com base no seguinte acrónimo: EPICOT (Evidence ' evidência, Population(s) - população, Intervention(s) - Intervenção, Comparison(s) - análise, Outcome(s) ' variáveis ou desfechos, Time stamp ' limite temporal).

De uma forma geral, e na ausência de uma orientação, as recomendações do estudo devem ser elaboradas considerando as implicações para a prática (e.g., se é aconselhada, ou não a utilização de determinada intervenção); e das implicações para a investigação (e.g., que outras pesquisas futuras poderão ser realizadas, orientadas para a pergunta inicial do estudo da revisão sistemática), sempre com base no exclusivo conhecimento adquirido pela revisão.