Avaliação pelos pares nas revistas de comunicação: visão dos editores, autores
e avaliadores
1 Introdução
Os periódicos ou revistas científicas são o mais importante veículo de
divulgação da ciência. Para os pesquisadores, especialmente das áreas de
Ciências Exatas e Biológicas, é o meio mais apropriado para se comunicar as
descobertas e as observações para outros investigadores, assegurando ao autor a
propriedade da invenção e/ou da idéia. Também para as áreas de Ciências
Sociais e Humanidades, em que novas descobertas não ocorrem com freqüência, nos
últimos tempos as publicações periódicas assumiram um papel importante como
arquivo do conhecimento novo produzido e das reflexões mais atuais,
contribuindo de forma eficiente para o registro da produção científica.
Na Comunicação brasileira, só agora a importância dos periódicos está sendo
reconhecida como forma de veicular os resultados de pesquisa, como pode ser
comprovado pelo aumento do número de títulos nos últimos anos (em 1998, eram
26, e hoje temos registrados no Catálogo de Revistas Acadêmicas de Comunicação
56 títulos) (STUMPF, 2007). Mesmo desconhecendo os motivos dos pesquisadores
para utilizar revistas como meio de divulgação da produção científica, estudos
de citações de teses e dissertações mostram que é escasso o uso de artigos de
periódicos como insumo para o desenvolvimento de novas investigações (VANZ,
2003; MESQUITA, 2006).
O que pôde ser observado nos últimos tempos é que houve avanços na qualidade
das revistas de Comunicação, tanto nos aspectos intrínsecos quanto nos
extrínsecos, haja vista a preocupação dos editores em seguir algumas normas de
apresentação formal e de controle de conteúdo dos artigos. Mediante observação
das mudanças ocorridas nos fascículos, pudemos constatar que o avanço no último
aspecto se deu pela incorporação de um número maior e mais diversificado de
membros consultores para a avaliação dos originais submetidos aos periódicos.
No sentido de avançar na avaliação das revistas de Comunicação, passamos,
então, a estudar o processo de avaliação de originais pelos pares, por ser o
que, até o momento, confere credibilidade ao conhecimento científico divulgado.
Primeiramente, estudamos a visão desse processo pelos editores e depois
incorporamos o olhar dos autores e consultores, completando o estudo proposto.
2 Metodologia
Trata-se de um estudo empírico quanti-qualitativo, que utilizou como
instrumento de coleta de dados um formulário eletrônico, com perguntas abertas
e fechadas, acrescido do exame das revistas para verificar a composição do
conselho consultivo e das instruções aos autores, com a finalidade de recolher
elementos para análise. O formulário foi enviado para 26 editores das revistas
de Comunicação mais conceituadas, retornando 13 respostas (50%). Como
representação do total, o número foi considerado suficiente para realizar uma
reflexão crítica sobre os dados.
Posteriormente, foram questionados os avaliadores e os autores, também por meio
de um formulário eletrônico. Foram escolhidos sete títulos de revistas
classificadas com conceito Qualis A Nacional na época. As questões foram
diferenciadas para cada tipo de formulário, que incluiu tanto perguntas
fechadas quanto abertas. O incidente crítico foi o ano de 2004, e a coleta de
dados ocorreu entre os meses de maio e julho de 2005.
Nessa etapa, foram enviados formulários a 84 autores, com um retorno de 39
respostas, após duas investidas. Dos 180 membros do conselho consultivo das
revistas selecionadas, foram escolhidos cinco membros de cada uma, totalizando
uma amostra de 35 sujeitos, dos quais foram validados 16 formulários de
respostas, também após duas tentativas. O baixo retorno das respostas fez com
que, num terceiro momento, lançássemos mão de uma entrevista em profundidade
com dois elementos de cada tipo, ou seja, dois editores, dois autores e dois
avaliadores, totalizando seis entrevistas. As opiniões dessas pessoas serão
apresentadas como Edit1, Edit2, Aut1, Aut2, Ava1 e Ava2 na análise dos dados.
3 Referencial Teórico
A Comissão Internacional de Editores de Revistas Médicas (ICMJE) define o
processo de avaliação pelos pares como "... a avaliação crítica de manuscritos
submetidos às revistas por especialistas que não fazem parte da comissão
editorial." (HAMES, 2007, p. 01). A literatura internacional e todos os
produtores de conhecimento científico consideram fundamental a etapa da
avaliação de originais na produção de revistas científicas para a manutenção
dos padrões de qualidade da ciência. O sistema de avaliação da produção
científica pelos membros da comunidade de referência é também conhecido como
revisão pelos pares, ou sistema de arbitragem. Em inglês, denomina-se referee
system ou peer reviewe envolve o uso sistemático de árbitros para assessorar na
aceitação de manuscritos submetidos para publicação (PESSANHA, 1998). É um
sistema complexo que reúne pessoas e atividades diferenciadas, mas
complementares, para atingir um objetivo comum: julgar os originais submetidos
para publicação. As pessoas envolvidas nesse processo são os autores, o editor
e os avaliadores (HAMES, 2007). Cada componente do processo realiza suas
atividades para que o editor possa chegar a um veredicto final, que pode ser:
publique-se, publique-se após revisão, ou não publique-se.
O autor é o produtor do trabalho submetido à avaliação. Antes de escrever um
artigo, ele já sabe para que revista quer enviá-lo. Essa seleção leva em
consideração não só a reputação do periódico, como também a qualidade do seu
próprio trabalho. O autor conhece a qualidade do que escreve e é capaz de
selecionar um periódico pelas chances de sua aprovação. A leitura das
instruções para os autores, publicadas sempre no final dos fascículos das
revistas, serve para alertá-los sobre os procedimentos e normas que devem ser
seguidos antes de submeterem os artigos; se os pesquisadores não os observarem,
poderão ter seus trabalhos recusados pelo editor antes mesmo da avaliação pelos
consultores. Geralmente as instruções indicam também por quantos avaliadores o
trabalho deverá passar.
O editor é "a pessoa responsável pela revista e responde por ela em todas as
instâncias" (STUMPF, 2005, p.107). Ele coordena todo o trabalho de publicação:
recebe e examina preliminarmente os originais enviados pelos autores e faz a
primeira seleção, verificando se a temática está de acordo com os assuntos
aceitos para publicação e se seguem as normas de apresentação. Ao editor cabe
também coordenar a seleção dos avaliadores e manter os autores informados de
cada etapa do processo. O editor deve manter contato com os avaliadores,
controlando o envio de originais e os prazos para recebimento dos pareceres.
Também é o editor quem decide se o trabalho precisa de nova avaliação. Com
respeito aos autores, ao editor cabe comunicar-lhes o recebimento do trabalho,
informar que o trabalho seguiu para avaliação e, posteriormente, o resultado da
avaliação, informando também em qual fascículo será publicado o artigo, no caso
de trabalho aceito sem reformulação.
O editor é auxiliado por uma comissão editorial, geralmente formada por pessoas
da própria instituição que publica a revista e que são comprometidas com a
revista. Elas ajudam e assessoram o editor na tomada de decisões sobre a
publicação. Especificamente sobre a avaliação dos originais, elas auxiliam o
editor na seleção dos avaliadores, indicando as pessoas mais capacitadas para
realizar esse trabalho, pela afinidade com a temática do artigo, e colaboram na
decisão final quanto aos trabalhos a serem publicados.
Os avaliadores, também chamados consultores, pareceristas ou árbitros (em
inglês, referees), são as pessoas que julgam os originais enviados pelos
editores. Embora exerçam uma atividade que pode estar carregada de
subjetividade, espera-se deles que realizem comentários justos que apontem o
valor e a contribuição daquele trabalho para o desenvolvimento da Ciência.
Espera-se também que indiquem as possíveis falhas, auxiliem os autores a
melhorar seus escritos e cumpram os prazos para não interferir no fluxo da
edição. São considerados os pares, ou seja, "[...] os colegas daquele que está
em julgamento [...] e que, por sua formação e experiência, são capazes de
emitir opinião formada e confiável" (DAVYT; VELHO, 2000, p.94). São, portanto,
aquelas pessoas que opinam sobre um trabalho antes de ele ser publicado. Seu
papel tem sido intensamente discutido na área da comunicação científica, tanto
pelas controvérsias que apresenta, quanto pelos perigos que os árbitros
representam como censores das novas idéias. Eles agem como filtros que removem
as contribuições indesejáveis, mas são eles também os encarregados de avaliar
quem deve receber as recompensas baseadas no desempenho das atividades
científicas. Na prática, a situação é complicada, pois se sabe que, pela
condição humana, os avaliadores cometem erros, permitindo que trabalhos não tão
valiosos sejam publicados, enquanto outros que poderiam representar uma
inovação são rejeitados. O processo é, portanto, passível de subjetividade.
A avaliação e seleção dos originais científicos antes da publicação dos
manuscritos, como com os artigos nas revistas científicas, não são práticas
novas. Meadows (1999) calcula que há mais de dois séculos elas se fazem
presentes, mas o uso de avaliadores externos só se tornou uma prática comum nos
últimos 50 anos. A razão disso, segundo Hames (2007), é que o número de
artigos para publicar aumentou muito nos últimos tempos e os editores tiveram
que se tornar mais seletivos. Outro argumento apresentado pela autora é o de
que as áreas científicas se expandiram e se tornaram altamente especializadas,
sendo impossível ao editor ser especialista em todas elas. As previsões são de
que esta situação continue a existir, mesmo que a tendência de transformação
das revistas impressas em eletrônicas permaneça. Costa (1996, p.235), estudando
a questão do julgamento pelos pares em periódicos eletrônicos, diz que a
avaliação persiste "[...] como exigência para sua consideração como científico
e conseqüente aceitação e respeito pela comunidade científica".
Muitas críticas têm sido feitas ao processo tradicional de avaliação de
originais pelos pares, mas nenhuma sugeriu sua extinção, pois é por meio dessa
mão invisível, como a denomina Harnad (2000), que a ciência mantém sua
qualidade.
A vantagem em não usar a apreciação dos consultores seria a rapidez com que o
processo de publicação poderia ser realizado, mas a desvantagem seria o risco
de decisões mais erradas do que o sistema já apresenta. Apesar de conter
deficiências, é pelo processo de avaliação que o artigo aceito para publicação
recebe o "imprimatur" de autenticidade científica, fornecido pelo editor e
pelos avaliadores que foram consultados (ZIMAN, 1979). Contudo, já no século
passado, autores mais críticos, como O'Connor (1978), julgavam que o sistema de
avaliação pelos pares não tem uma prova assegurada de sua eficácia. Só
recentemente as fraquezas do sistema começaram a ser examinadas, e o próprio
sistema passou a ser submetido a uma avaliação.
Na literatura internacional, autores como Abelson (1990), Crawford e Stucki
(1990), Madden (2000), Via (1996) e muitos outros, relatam problemas que
ocorrem com a avaliação pelos pares, mostrando sua fragilidade. Entre eles,
podem ser citados o atraso na publicação, a retenção de trabalhos importantes
pelos pareceristas e o uso dos dados pelos avaliadores antes da publicação.
No Brasil, Mueller (1997) realizou um estudo sobre as práticas e os
procedimentos adotados pelas revistas científicas financiadas pelo Conselho
Nacional de Desenvolvimento Científico e Tecnológico - CNPq e Financiadora de
Estudos e Projetos - FINEP, com respeito à seleção de artigos científicos,
entre os anos de 1995 e 1996. O trabalho revelou que, em geral, as práticas
científicas estão presentes nesses periódicos, sugerindo que a realização de
estudos em áreas especializadas poderá revelar diferenças mais marcantes entre
elas.
As críticas mais comuns destacam a demora que tal avaliação causa à publicação,
seguidas do elitismo, conservadorismo e também da possibilidade de plágio pelos
avaliadores. O'Connor (1978) e Meadows (1999), entre tantos outros autores que
escreveram sobre o processo de avaliação de originais, explicando as críticas
que são feitas, dizem que os árbitros são escolhidos pela sua especialidade em
determinado assunto, mas isso pode acarretar a aceitação de determinadas
teorias e procedimentos que fecham as portas para contribuições mais
inovadoras, especialmente nas áreas das Ciências Sociais. Para os autores,
porém, o plágio é uma das críticas mais severas feitas aos árbitros. Eles são
acusados de prolongar a avaliação enquanto incorporam em sua pesquisa ou em
suas publicações os resultados ou métodos dos trabalhos que avaliam. Para que
isso não ocorra, o editor deve insistir na rapidez da avaliação. Os autores
sugerem que o prazo de avaliação não exceda três semanas.
Em muitos casos, o sistema de avaliação de originais é visto simplesmente como
um sistema de aceitação ou rejeição de trabalhos. Todavia, o processo de
apreciação é mais do que isso: ele visa a educar os autores, sugerindo
correções na forma e na apresentação das contribuições submetidas. As críticas
devem auxiliá-los, sobretudo na elaboração ou redação dos trabalhos seguintes
que desejarem publicar.
A avaliação criteriosa demanda tempo para ser realizada. Além disso, não traz
reconhecimento público e, muito menos, remuneração para os avaliadores. Mas
muitos cientistas consideram a tarefa como parte de suas obrigações com a
ciência. Alguns julgam sua indicação como uma honraria, enquanto que outros a
vêem como um trabalho potencialmente útil para sua carreira, ou mesmo
educativo, já que eles terão acesso à informação mais atualizada na sua área de
conhecimento antes mesmo de ela ser publicada. Meadows (1999, p.183) pensa que
os mais velhos vêem a avaliação como "[...] uma atividade que em geral assumem
devido a um sentido de dever [...]", enquanto que para os mais jovens ela pode
significar "[...] um reconhecimento gratificante de sua competência".
A escolha dos avaliadores é um ponto sensível. Deve obedecer a critérios e,
sempre que possível, envolver a comissão editorial, que divide a tarefa com o
editor. Entre os critérios para a escolha dos árbitros, deve pesar seu
conhecimento especializado, sua competência como pesquisador e sua
representatividade na área. Mas não só isto. A justiça e o equilíbrio nos
comentários, o cumprimento dos prazos estipulados e as críticas construtivas
também são importantes para o desempenho das funções de avaliação (GORDON,
1983; MEADOWS, 1999).
Os árbitros geralmente fazem seus comentários de maneira confidencial, e suas
críticas só estão disponíveis para o editor e o autor. O anonimato deve ser
facultado ao avaliador para evitar constrangimentos e protegê-lo da reação dos
autores, quando se tratar de trabalhos rejeitados. Da mesma forma, o nome do
autor do trabalho a ser avaliado e a identificação de sua instituição de origem
devem ser omitidos. Esse procedimento, também conhecido como avaliação cega ou
blind review, evita influenciar a decisão do árbitro na apreciação do trabalho.
A avaliação que não revela o nome do autor para o avaliador nem o nome do
avaliador para o autor é chamada de double blind review.
Grande parte das revistas envia instruções aos avaliadores sobre os itens a
serem avaliados. De acordo com Meadows (1999), em geral o editor pede
comentários sobre três pontos básicos: originalidade, correção e importância da
pesquisa relatada. O autor acrescenta também que o estilo editorial e a
apresentação podem fazer parte dos itens a serem observados.
A quantidade de avaliadores varia de revista para revista, sendo mais comum a
inclusão de dois avaliadores. É preciso notar que, quanto maior o número de
pessoas envolvidas no processo de avaliação, menor a probabilidade de o editor
atingir seus prazos. No caso de haver discordância de opinião, é solicitado o
parecer de uma terceira pessoa para eliminar divergências. Esses procedimentos
são importantes porque, consultando mais de um avaliador, o editor se defende
contra problemas que os autores podem criar quando seu trabalho é rejeitado
(GORDON, 1983; O'CONNOR, 1978).
Embora tenha funcionado por muitas décadas da mesma maneira, o sistema de
avaliação pelos pares está sendo cada vez mais questionado. Umas das idéias
seria sua extinção, mas os cientistas vêem essa solução como extrema, e grande
parte deles se nega a discuti-la. Afirmam que acabar com a avaliação só traria
como vantagem maior rapidez no processo de publicação. Em contrapartida, deixar
que todos os artigos sejam publicados e que os leitores decidam o que é de
valor só resultaria, como diz Berezin (1996), em mergulharmos em megatons de
lixo. Campanário (2002) afirma que deixar somente para a própria comunidade
científica atuar como um gigantesco jurado também é uma proposta muito
radical. No entanto, referindo-se a uma pesquisa feita no final da década de
90, pela Association of Learned and Professional Society Publishers - ALPSP,
Rowland (2002) destaca que 45% dos respondentes esperavam ver algumas mudanças
no sistema de avaliação pelos pares nos cinco anos seguintes. Williamson
(2003) é um dos autores que apresentam sugestões para a melhoria do sistema.
Entre elas, indica a revisão aberta ou open review, que consiste em identificar
os avaliadores, pedindo-lhes que assinem seus pareceres. Segundo o autor, esse
procedimento levaria a revisões mais criteriosas, permitiria algum
reconhecimento do trabalho dos avaliadores e até mesmo atuaria na prevenção do
roubo de idéias ou plágio dos autores. Essa forma de avaliação eliminaria o
anonimato, que, para autores como Rovner (2006), é o principal problema da
revisão tradicional pelos pares.
4 Análise dos dados
Todas as revistas de Comunicação investigadas realizam a avaliação dos
originais submetidos, variando um pouco na maneira de realizá-la.
Um fato marcante que tem caracterizado o processo avaliativo dessas revistas é
a existência de um conselho consultivo permanente em todas elas. Esse
conselho, chamado também de conselho científico ou mesmo de corpo ou comissão
editorial (erroneamente), é composto por membros locais, nacionais e
estrangeiros, dando um caráter internacional ao periódico ou assegurando que os
idiomas das contribuições aceitas para submissão sejam avaliados por quem os
domina. Outra razão de um conselho consultivo permanente e diversificado é a
exigência, já disseminada pelos órgãos de avaliação e financiamento, da
presença de um grupo de pareceristas mais estável e constituído por
pesquisadores de renome, o que oferece aos autores e leitores mais certeza de
seriedade no processo de publicação. Esse conselho estável (60% deles
participam há quatro anos ou mais, e 25% de dois a três anos) e diversificado
(todas as revistas possuem avaliadores pertencentes a instituições brasileiras
diferenciadas e avaliadores estrangeiros) parece dar conta dos trabalhos
submetidos, uma vez que apenas dois editores informaram utilizar avaliadores ad
hocquando a temática do artigo foge à especialidade de seus membros. Na
entrevista com os editores, um deles disse que "os avaliadores dão conta da
avaliação" (Edi1), enquanto que o outro revelou: "às vezes, eu tenho que pedir
para outros professores de fora avaliarem os artigos, mas não é comum" (Edi2).
Em relação a uma pré-seleção, todos os editores dizem fazer um exame prévio dos
artigos, verificando, principalmente, se ele está dentro das temáticas aceitas
para publicação. No entanto, alguns avaliadores informaram que já negaram
artigos submetidos à sua avaliação por considerarem sua temática não pertinente
ao periódico (33%). Este dado mostra que nem sempre os editores fazem esta
pré-seleção com acuidade, deixando para os avaliadores decidirem se o artigo é
ou não pertinente às temáticas aceitas pela revista. Os editores ainda
revelaram que só não é feita a pré-seleção para os artigos encomendados ou
produzidos por pesquisadores convidados que, uma vez recebidos, são aceitos
incondicionalmente. Às vezes essa pré-seleção é feita pelo editor em conjunto
com a comissão editorial. Esse procedimento ocorre nos periódicos que têm esse
tipo de comissão formada por membros da própria instituição e que
verdadeiramente auxiliam o editor na tomada de decisões sobre a revista.
Passando pela etapa de pré-seleção, os originais seguem para a avaliação. É
interessante notar que 50% dos avaliadores que responderam ao formulário não
receberam nenhum artigo para avaliar no ano base de 2004, e 25% receberam
apenas um artigo. Essa situação também foi verificada na entrevista quando um
dos dois entrevistados (Ava1) disse não ter recebido artigo do título a que
estávamos nos referindo para avaliar no ano anterior, e o outro (Ava2) afirmou
ter recebido apenas um artigo. Segundo os avaliadores, essa situação não é
constante, é apenas pontual, e teria como razão a possível pressa para que a
revista possa cumprir os prazos de publicação. Apesar de permanecer a suspeita
de que muitos artigos só passam por uma pré-seleção, quando passam, pode-se
também atribuir a resposta ao pequeno número de respondentes. Preferimos
acreditar nos editores, que se referem a essa etapa como prévia, e não como
única na avaliação. Mesmo porque esse é um aspecto da avaliação de originais
que é difícil de comprovar, uma vez que os arquivos das revistas não são
disponibilizados para pesquisadores por mais de 70% dos editores.
Segundo os editores, o número oficial de avaliadores é dois, às vezes três,
quando há discordância de opinião. Esse procedimento muitas vezes fica apenas
na intenção, como revelaram 55% deles, pois, na prática, freqüentemente a
avaliação se restringe apenas a um parecerista e ao editor, tendo-se em vista o
cumprimento dos prazos da periodicidade. Os editores entrevistados confirmaram
isso ao relatar: "Quando dá tempo, eu envio para dois, mas às vezes fico com o
parecer de um só" (Edi1); "Desde que eu sou o editor da revista (dois anos),
sempre houve concordância dos avaliadores, mas, se precisar, eu envio para um
terceiro" (Edi2).
Os autores (92%) sabem que seus trabalhos passam por uma avaliação, mas 71%
deles não sabem por quantos avaliadores passa seu artigo. Tanto autores quanto
pareceristas presumem que seja por dois, tal como ocorre na maioria das
revistas. Os entrevistados presenciais assim se pronunciaram: "Eu penso que meu
artigo passou por dois avaliadores, como é em todas as revistas" (Aut1); "Acho
que foram dois, mas não tenho certeza" (Aut2).
Em relação aos prazos da avaliação, o tempo dado pelos editores aos avaliadores
varia, sendo o prazo mais comum de um mês (56% deles dizem ter 30 dias ou um
pouco mais, e 44% menos de 30 dias para enviar seu parecer). Esses dados foram
confirmados pelos avaliadores, mas as revistas que dão um prazo menor
apresentam mais problemas com o não-cumprimento. A necessidade de cobrança
existe esporadicamente, mostrando que, em geral, os avaliadores das revistas de
Comunicação são conscientes de suas responsabilidades junto ao periódico em que
atuam, embora 100% dos avaliadores digam cumprir sempre os prazos. Isso foi
confirmado pelos entrevistados presenciais, que assim se pronunciaram: "Eu
sempre cumpro os prazos porque sei que o editor conta comigo" (Ava1); ou:
"Quando me enviam artigo para avaliar, eu sempre cumpro o prazo" (Ava2).
O prazo entre a submissão e a publicação dos trabalhos parece ser bastante
reduzido, uma vez que 41% dos autores, quando questionados sobre isso, disseram
ser o prazo de até três meses, e 48% referiram-se a um prazo de quatro a seis
meses. A pressa dos editores para que a publicação se mantenha em dia e
regular agrada aos autores, conforme mostram as falas dos entrevistados
presenciais: "O tempo entre o envio do trabalho e a publicação foi de três
meses e meio. Para mim, foi ótimo, porque pude contar na produção do ano"
(Aut1); "O meu artigo foi publicado quatro meses e um pouquinho depois que eu
mandei. É muito bom quando as revistas publicam logo" (Aut2).
São poucos os periódicos que enviam um formulário junto com o(s) trabalho(s)
para os avaliadores, indicando os itens a serem observados. Das 13 revistas da
primeira etapa, apenas cinco utilizam esse procedimento e apenas três enviaram
cópia de seus formulários para exame. Mesmo solicitando um parecer descritivo
fundamentado e uma conclusão sobre aceitar, indicar reformulações ou rejeitar,
os periódicos que indicam os itens a serem avaliados pedem que o parecerista
atribua valores aos seguintes aspectos: relevância da contribuição para a área,
valor científico, originalidade, parâmetros teórico-conceituais, organização do
texto (coerência e clareza) e aplicação de normas de apresentação. No entanto,
37% dos pareceristas disseram não receber instruções dos editores sobre o que
avaliar nos originais que recebem, e 72% dos autores não sabem que aspectos do
seu texto são avaliados. Com esses dados, deduz-se que os editores confiam nos
critérios próprios dos avaliadores para a emissão de pareceres e que os autores
confiam na qualidade do seu texto quando submetem um original para avaliação,
considerando que os parâmetros são os mesmos para todas as revistas. Os
editores consultados dizem enviar um formulário aos avaliadores para preencher,
mas que preferem o parecer descritivo: "Junto com o pedido [da avaliação], eu
envio um formulário para eles preencherem, mas eu prefiro a avaliação
descritiva" (Edi1); "Alguns só preenchem o formulário e são muito lacônicos na
avaliação. Seria melhor se fizessem uma avaliação mais consubstanciada"
(Edi2). Os avaliadores consultados nas entrevistas presenciais informaram o
seguinte: "Quando fui convidado pelo editor para fazer parte do conselho
consultivo da revista, me foi dito que precisavam de um parecer descritivo, mas
sem dizer que itens deveria avaliar. Talvez confiem na minha prática de
avaliação" (Ava2); "O editor me enviou o artigo e pediu uma avaliação sobre
ele. Eu bem que gostaria de saber por qual ótica deveria avaliar, mas não é
comum este tipo de orientação nas revistas de Comunicação" (Ava1).
Um procedimento comum a todas as revistas é o anonimato dos avaliadores para os
autores, assegurando-se com isso uma avaliação mais livre (97% dos autores não
sabem quem avaliou seu artigo). O mesmo não acontece com relação ao
conhecimento dos autores pelos avaliadores (67% dos pareceristas sabem a
autoria dos trabalhos que estão avaliando). Assim, em algumas revistas, o nome
dos autores não é omitido quando o trabalho é submetido à avaliação, podendo
influenciar na decisão do avaliador. Para completar, 77% dos autores não sabem
se a avaliação é cega. Os autores entrevistados assim se pronunciaram: "Eu
não tenho certeza de quem avaliou meu artigo, mas acho que foi Fulano porque
ele entende do assunto. Como o artigo foi aprovado, eu me sinto honrado que
tenha sido ele. Se outro avaliou, não sei, mas, pelo jeito, aprovou" (Aut1);
"Não faço idéia se, quem e quantos avaliaram meu trabalho, só sei que foi
aprovado e em tempo recorde" (Aut 2). Os pareceristas disseram: "O trabalho
veio com o nome do autor. Eu preferia não saber de quem é. Deve haver um jeito
de fazer isto, mas, para todas as revistas de Comunicação que já avaliei, é
sempre assim" (Ava2); "No ano anterior, quando me enviaram trabalho para
avaliar, o nome do autor não foi retirado" (Ava1).
Outro procedimento bastante comum dos editores é a comunicação com os autores
para informar o aceite ou não de seu trabalho. Como todos os editores são
também professores de cursos de pós-graduação, sabem da importância dessa
comunicação para que os autores possam planejar melhor a divulgação de sua
produção, uma vez que são avaliados pelo volume e qualidade do que publicam.
Embora todos os editores digam informar aos autores o resultado da avaliação,
74% dos autores não recebem o parecer detalhado do resultado da avaliação, e
56% dos avaliadores desconhecem se o autor recebe seu parecer. Esses dados
foram comprovados pelos entrevistados: "Eu só soube que o artigo foi aprovado.
Só isso" (Aut1); "Recebi um e-mail dizendo que o artigo foi aceito e fiquei
surpreso quando recebi o próximo número da revista e vi que já havia sido
publicado" (Aut2); "Não sei se o autor recebeu minha avaliação, mas acho que
não é comum nas revistas da área fazer isso" (Ava2); "Como não recebi artigo
para avaliar no ano de 2004, não sei se o editor manda a avaliação para o
autor" (Ava1); "Eu envio um e-mail dizendo que o artigo foi aprovado e que será
publicado em tal número. O autor só quer saber isso mesmo" (Edi1); "Hoje em
dia, eu comunico o autor que seu artigo foi aprovado, mas confesso que só agora
eu percebo a importância disso. Antes, só dizia quando o autor me perguntava.
Difícil mesmo é dizer por que não foi aprovado" (Edi2).
O número anual de originais recebidos pelos periódicos de Comunicação varia
entre 15 e 70. Uma grande variação também existe no número de trabalhos
aceitos, aceitos com reformulações e rejeitados. Segundo os editores, as taxas
variam entre 30% a 80% para os trabalhos aceitos; entre 10% e 30% para os
trabalhos que precisam de reformulação; e entre 5% a 50% para os trabalhos
rejeitados. As variações são, portanto, grandes entre os vários periódicos e
merecem um estudo mais aprofundado, mas 71% dos autores revelaram que seus
artigos foram aceitos sem correções, o que confirma as taxas acima descritas.
Os autores entrevistados disseram que não precisaram reformular nada em seus
artigos.
A confiança dos editores nas avaliações dos originais parece ser bastante
significativa. Tanto que são poucos os editores (quatro) que admitiram a
existência de conflitos entre avaliadores e autores; mesmo assim, com rara
freqüência, segundo eles. Da mesma forma, 69% dos avaliadores informaram não
haver conflito entre eles e os editores ou os autores, e 31% se omitiram, o que
pode ser interpretado como uma negativa de ocorrência. Quando existem
conflitos, os editores assumem a solução, enviando o trabalho a outro
parecerista para nova avaliação ou devolvendo o trabalho para ajustes, mas
sempre intermediando o diálogo para proteger os avaliadores. Tanto os autores
quanto os avaliadores entrevistados presencialmente informaram nunca terem tido
conflito com os editores, nem com autores ou membros da coordenação da revista.
Na finalização do processo de avaliação, percebemos que os editores reservam
para si e/ou para a comissão editorial a decisão final de quais trabalhos serão
publicados. Os pareceres dos avaliadores subsidiam sua decisão, mas outros
critérios podem ser acrescentados, como a vinculação do artigo com a temática
do fascículo, a escolha por procedência (regional e/ou institucional) ou
categorias dos autores (docentes, discentes com orientadores, discentes de
doutorado, mestrado, profissionais, entre outros). Apenas um editor informou
que todos os trabalhos aprovados são publicados, acrescentando que isso ocorre
porque a revista não é monotemática, nem tem um número máximo de artigos em
cada fascículo. Os autores e pareceristas que prestaram entrevista presencial
dizem ignorar essa parte do processo.
A percepção dos autores sobre o processo de avaliação dos originais em relação
a outras revistas em que já publicaram, em geral, foi positiva, pois eles assim
se manifestaram: "adequado", "correto", "profissional", "sério", "efetivo",
"preciso", "minucioso", "responsável", "mais transparente do que em outras",
"melhores procedimentos", "mais bem organizado", "melhor feedback". No
entanto, alguns autores assumiram uma posição mais neutra, informando: "não
sei", "regular", "igual às outras", "semelhante", "acho difícil de responder",
"suponho ser rígido, dado seu conceito", "tem pontos positivos e pontos
negativos". Houve, ainda, opiniões mais críticas, como: "Os critérios poderiam
ser mais rigorosos"; "Não há transparência e comunicação no processo"; "Há
muita demora na avaliação e na comunicação com o autor". Na percepção dos
avaliadores, também o processo é bem visto pela maioria: "Parece-me adequado e
correto"; "Excelente";"Considero o processo de avaliação adequado"; "É uma
revista séria e respeitada na área";"O processo de avaliação é equilibrado,
pois os itens a serem avaliados permitem ao avaliador dar parecer científico e
sensato"; "É extremamente cuidadoso. O formulário fornece uma plataforma sólida
para o avaliador exercer sua função". Como cada um apresentou opinião sobre uma
determinada revista, alguns avaliadores disseram achar o processo "muito
informal"; ou: "Os critérios me parecem normais, usuais em todas as revistas
científicas. No entanto, podem ser melhorados quanto ao rigor temático e o
cumprimento das normas da ABNT". Mas o mais preocupante foi a expressão de
três avaliadores, que disseram: "Minha avaliação restringe-se ao fato de não
receber muitos originais";"Não posso emitir parecer, por não ter recebido
solicitações para avaliação"; e "Como tem algum tempo que não recebo os
originais, não posso emitir nenhuma opinião". Isso mostra a diferença de
percepção e de condução do processo em diferentes revistas.
5 Conclusão
O estudo forneceu evidências de como é realizado o processo de avaliação dos
originais pelos pares nas revistas brasileiras da área de Comunicação. A
finalidade não foi apontar os procedimentos certos ou errados, nem nomear as
revistas que agem desta ou daquela forma, mas verificar se estavam sendo
seguidas as normas mais comuns adotadas pela Ciência. Nesse sentido, o
objetivo foi alcançado. De qualquer forma, talvez seja a hora de alguns
editores repensarem a maneira como as contribuições são avaliadas,
especialmente aqueles que não quiseram expor os procedimentos de avaliação dos
originais das revistas que editam.
Entre as verificações que o trabalho nos permitiu fazer, uma delas é a de que
os procedimentos de avaliação estão fortemente vinculados à maneira como a
produção da revista está organizada. Isso diz respeito a todas as etapas de
avaliação, da pré-seleção dos trabalhos até a decisão das contribuições a serem
publicadas em cada fascículo. A existência da fase de pré-seleção em todas as
revistas é importante para que os avaliadores não tenham que se pronunciar
sobre adequação temática ou pertinência de acordo com a política traçada para
as revistas, ficando apenas com os critérios de consistência, correção e
organização do texto.
A existência de uma comissão editorial formada por membros da própria
instituição, como forma de organização da produção da revista, é importante
porque a comissão divide as tarefas e as responsabilidades com o editor. Como
todos os editores são professores e pesquisadores, assumir sozinhos a produção
de um periódico toma-lhes muito tempo, com pouco retorno para sua vida
acadêmica.
Essa comissão, quando existe, auxilia o editor na escolha dos avaliadores. A
tarefa é facilitada quando a organização da revista prevê um conselho
consultivo estável e diversificado, contando também com a indicação de
pareceristas ad hoc. A existência de um conselho consultivo qualificado é
motivo de orgulho do editor e também fator de qualidade para a revista. Além
disso, em geral, esse conselho parece estar atuando adequadamente, produzindo
pareceres em tempo hábil que subsidiam a decisão de quais trabalhos merecem ser
publicados.
Como a coleta de dados foi feita principalmente mediante um formulário enviado
por meio eletrônico aos editores, avaliadores e autores, e o retorno foi abaixo
do esperado, consideramos difícil descrever de forma mais consistente a
avaliação dos originais das revistas de Comunicação. Talvez pelo medo de expor
sua opinião ou mesmo pela má formulação das questões, os atores se omitiram em
relação a aspectos mais esclarecedores da avaliação dos originais. Nesse
sentido, as seis entrevistas feitas na forma presencial foram mais
esclarecedoras. Caso a pesquisa seja feita com outros títulos ou em outras
áreas do conhecimento, fica a sugestão de quem passou pelo processo de coleta
de dados e pôde avaliar os resultados a partir das duas opções.
