BrBRHUAp0080-21072015000300325

Avaliação do impacto da produção científica de programas selecionados de pós- graduação em Administração por meio do índice H 1. INTRODUÇÃO A produção científica brasileira tem, de forma geral, evoluído e ganhado espaço junto à comunidade científica internacional. Em 2009, o Brasil ocupava a 13ª posição no ranking de produção científica no mundo e continua evoluindo em ritmo acelerado (Brasil,_2012). Estima-se que a evolução experimentada pela comunidade científica no país como um todo tenha também ocorrido no campo específico da Administração, cuja produção tem sido cada vez maior. Por exemplo, em 2012, o Encontro da Associação Nacional de Pós-Graduação e Pesquisa em Administração (EnANPAD), um bom termômetro da produção científica brasileira nesse campo, recebeu 2.940 submissões de trabalhos. Em 1997, o número de trabalhos recebidos havia sido 787 (ANPAD,_2012).

No entanto, embora a produção científica no País tenha crescido, a qualidade dessa produção, expressa pela quantidade de trabalhos publicados em periódicos de alto impacto e pelo número de citações que os artigos recebem, ainda se encontra em uma posição distante das referências mundiais (Zago,_2011).

Situação similar é verificada no campo da Administração, cuja produção tem crescido em quantidade, porém, segundo avaliações, não em qualidade (Spink &_Alves,_2011 ; Bertero,_Vasconcelos,_Binder_&_Wood_Jr.,_2013 ; Bertero, Caldas_&_Wood_Jr.,_2005).

Tal contexto tem estimulado reflexões críticas sobre o sistema de medição da produção científica e de avaliação da pós-graduação no Brasil (Horta,_2006; Alcadipani,_2011a; Alcadipani,_2011b; Bertero_et_al.,_2013; Marques,_2013).

Dentre as críticas ao sistema de avaliação, destaca-se aquela referente à orientação para a produção - medida pelo número de artigos publicados em periódicos qualificados - e não para o impacto - medido pela citação dos artigos em outros artigos. Conforme apontaram Bertero_et_al._(2005) há dez anos, o sis tema vigente provoca distorções, na medida em que estimula os pesquisadores a aumentarem o número de publicações para garantir maior pontuação, fazendo assim com que a quantidade avance em detrimento da qualidade.

Essas distorções, estimuladas pelo sistema de avaliação vigente no Brasil, têm gerado debates acerca de um fenômeno que se convencionou chamar de produtivismo, geralmente asso ciado à má qualidade da produção cientifica (Alcadipani,_2011a; 2011b; Machado_&_Bianchetti,_2011 ; Mattos,_2012).

Críticos do modelo de avaliação advogam que tal sistema estimula a quantidade, em detrimento da qualidade. Em estudo recente, realizado sobre uma base de 168 professores pesquisadores que recebem a bolsa produtividade do Conselho Nacional de De senvolvimento Científico e Tecnológico (CNPq), constatou-se a média de um artigo publicado por trimestre, o que significa uma produção alta.

Entretanto, os mesmos pesquisadores levam em média dez anos para publicar um artigo em periódico de alta qualidade (Pegino,_2014).

Por outro lado, pode-se advogar que o aumento da quan tidade da produção científica na área levará ao aumento da qualidade. Adicionalmente, pode-se argumentar que o aumento da produção de trabalhos científicos viabiliza um processo mais acirrado de acesso aos periódicos, especialmente aqueles de maior fator de impacto, garantindo, assim, maior qualidade do que é veiculado.

Entretanto, qualquer que seja a perspectiva ou a posição sobre o sistema de avaliação em vigor no País, pode-se arguir que o uso de indicadores de impacto poderia estimular os pesquisadores a realizarem trabalhos mais orientados para o desenvolvimento de contribuições científicas substantivas. Além disso, ajudaria a identificar e reconhecer pesquisadores que construíram trajetó rias sólidas, o que facilitaria decisões sobre alocação de recursos para pesquisa (veja Bornmann_&_Daniel,_2009).

Entre os indicadores de impacto, o índice H é sugerido em diversos estudos (e.g., Hirsch,_2005; Van_Eck_&_Waltman,_2008 ; Adler,_Ewing_&_Taylor, 2009 ; Franceschini_&_Maisano,_2010 ; Marcelino,_2010; Sandes-Guimarães_& Costa,_2012). De fato, tal indicador tem sido adotado por agências de fomento de diversos países, tais como Reino Unido, Austrália e Nova Zelândia (Lima, Velho_&_Faria,_2012).

Este estudo representa um esforço inicial de mensuração e reflexão sobre o impacto da produção científica dos programas de pós-graduação em Administração no Brasil, por meio de uma métrica distinta daquelas utilizadas atualmente no País. O objetivo nesse trabalho é avaliar o impacto da produção dos Núcleos Docentes Permanentes (NDPs) de programas selecionados da área de Administração por meio do índice H.

Para cumprir esse objetivo, foi analisada a produção científica de seis programas nacionais de pós-graduação. Para estabe lecer uma referência externa, foi também analisada a produção científica de quatro programas estrangeiros de pós-graduação. Considerou-se toda a produção científica dos pesquisadores dos respectivos NDPs ou equivalentes, disponível na base de dados do Google Scholar.

Este artigo está estruturado em cinco seções, incluindo esta introdução: na segunda seção, trata-se da questão da medição do impacto da produção científica; na terceira, explica-se o método utilizado na pesquisa; na quarta seção, apresentam-se e discutem-se os resultados da pesquisa; e na quinta, apresenta-se uma síntese do estudo e explicitam-se suas contribuições; além disso, indicam-se as limitações do trabalho, sugerindo possibilidades para futuros estudos.

2. MEDIÇÃO DO IMPACTO DA PRODUÇÃO CIENTÍFICA O impacto da produção científica tem sido fonte de reflexão na academia desde o trabalho pioneiro de Gross_e_Gross_(1927). Com o tempo, as citações foram adotadas como uma proxy do impacto e, consequentemente, da qualidade dos trabalhos científicos. A questão ganhou relevância a partir das contribui ções de Eugene Garfield, considerado um dos fundadores da bibliometria e da cientometria e criador do Institute for Scien tific Information (ISI). Criado em 1960, o ISI passou a oferecer serviços de base de dados, com destaque para a indexação de citações em milhares de periódicos. Desde 1992, o ISI faz parte de uma divisão da Thomson Reuters Corporation, empresa multinacional do setor de mídia e informações.

2.1. Citações As citações passaram, a partir dos anos 1960, a ser a princi pal forma de medir a dimensão qualitativa da produção científi ca. O argumento é simples: quanto mais um trabalho científico é citado, maior sua influência sobre os pares e também maior sua qualidade, já que é aceito e validado por maior número de membros da comunidade acadêmica (Glänzel,_2008). A publicação de um trabalho serve para divulgar os resultados de uma pesquisa e estimular os outros pesquisadores a discutirem seus achados. Quando esses resultados são considerados em outros trabalhos, os autores fazem menção formal a essa utilização por meio das citações (McClellan,_2003; Bornmann,_Mutz,_Neuhaus &_Hanz-Dieter,_2008). A citação pode ser então considerada como um reconhecimento que um trabalho recebe a partir de outro (Nicholas_& Ritchie,_1978).

As citações dependem de alguns fatores discutidos por Bornmann_et_al._(2008): a localização do autor e seu prestigio, a língua da publicação e a disponibilidade do veículo influenciam o total de citações do trabalho. Se o artigo é de revisão, seu posicionamento na edição e o número de coautores também influenciam o impacto da produção. Cabe notar que a adoção de índices de citação não está livre de distorções e problemas (veja Motta,_1983).

Entretanto, as citações ainda se configu ram como a principal forma para medição da qualidade e da influência da produção científica.

2.2. Fator de impacto Na prática, as citações subsidiam outros indicadores, como o fator de impacto (FI), que tem origem no trabalho de Eugene Garfield (Ruiz,_Greco_&_Braile, 2009). Com o tempo, o FI consolidou-se como a principal métrica de avaliação do impacto da produção científica.

Seu uso mais corriqueiro refere-se aos periódicos cientí ficos (veja Garfield, 1999). O FI de determinado periódico é uma medida da frequência com a qual um artigo médio nesse periódico é citado em determinado período de tempo. Os FIs são calculados anualmente para os periódicos indexados no Journal of Citation Reports.

A identificação do FI de periódicos atende a diversos grupos de interesse.

Segundo Strehl_(2005), os autores levam em conta o FI para identificar os periódicos que podem trazer maior prestígio e visibilidade a seu trabalho; os bibliotecários, por sua vez, analisam o FI para selecionar os títulos de maior interesse para seu acervo; e os editores de periódicos analisam a evolução desse indicador e procuram elevá-lo, para atrair trabalhos relevantes e fomentar a reputação de suas revistas.

No Brasil, o FI foi adotado pelo Sistema Qualis, da Coordena ção de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), para classificar os periódicos científicos, o que, supostamente, permite avaliar a qualidade da produção científica gerada pelos programas de pós-graduação. Apesar da ampla aceitação, o FI é alvo de críticas, frequentemente relacionadas à definição da base de dados e ao método de apuração (Ruiz_et_al.,_2009).

Autilização do fator de impacto, com base nos artigos inde xados pelo ISI, é permeada por alguns problemas, podendo-se destacar a limitação da cobertura e a não inclusão de livros, anais e documentos de trabalho, além de serem poucos os documentos em línguas diferentes do inglês (Harzing_&_Van_der_Wal,_2008 ; Sanderson,_2008).

Além do ISI, outras bases de dados, tais como aquelas com preendidas pelo sistema Scientific Electronic Library Online (SciELO) e pelo Google Scholar (ou Google Acadêmico), reali zam a indexação de citações. Com isso, elas permitem a geração de indicadores de impacto distintos daqueles indexados pelo ISI.

Harzing_e_Van_der_Wal_(2008) argumentam que o Google Scholar é uma fonte alternativa interessante de dados de citação, em particular nas Ciências Sociais e de Informação, devido a sua grande cobertura. Entretanto, essa base apresenta algumas desvantagens, como a inclusão de citações não acadêmicas e uma cobertura pouco abrangente de publicações mais antigas.

2.3. Índice H Uma alternativa ao FI que está se tornando cada vez mais popular é o índice H, proposto por Hirsch_(2005) como uma medida para avaliação da produção de um único pesquisador (Bornmann_&_Daniel,_2007). No entanto, sua utilização pode ir além dessa aplicação e ser realizada em um nível mais amplo de análise, como, por exemplo, o impacto da produção de grupos de pesquisa (Van_Raan,_2006) e de periódicos (Braun,_Glänzel_&_Schubert,_2006). De fato, o índice H é apontado como uma medida que incorpora medidas de quantidade e de qualidade das publicações (Egghe,_2006; Van_Raan,_2006; Bornmann_&_Daniel,_2007).

De acordo com Hirsch_(2005) e Glänzel_(2008), o índice H é um indicador de apuração relativamente simples e que estima a importância, o significado e o impacto da produção científica. O fato de utilizar somente os trabalhos mais citados também é considerado uma vantagem. Hirsch_(2005)argumenta que o índice H pode fornecer um ponto de referência útil, que permite comparar, de uma maneira imparcial, diferentes indivíduos, quando um dos critérios importantes é a realização científica. Harzing_e_Van_der_Wal_(2008) argumentam que o índice H apresenta diversas vantagens: a falta de um horizonte temporal fixo e o fato de não se basear em pontuações médias, atenuando assim o impacto de um artigo altamente citado.

O índice H é calculado tomando-se o número de artigos publicados e o número de citações recebidas pelo pesquisador, pelo periódico ou pelo grupo de pesquisa.

Assim, um pesquisador tem índice N se N de seus artigos possuem no mínimo N citações cada um. Por exemplo, um pesquisador com índice H igual a 10 possui ao menos 10 artigos que foram citados pelo menos 10 vezes cada um. (Sandes- Guimarães_&_Costa,_2012).

Apesar de suas vantagens, o índice H também apresenta algumas características que podem ser consideradas como desvantagens. Primeiro, ele é diretamente proporcional à duração da carreira e, dessa forma, gera uma desvantagem comparativa para pesquisadores mais jovens (Burrell,_2007) ou para grupos mais jovens de pesquisadores. Segundo, ele não é muito influenciado por artigos com um número muito alto de citações, o que pode desvalorizar trabalhos de altíssimo impacto (Egghe,_2006). Terceiro, ele apresenta uma medida simples, que não reconhece questões relacionadas à coautoria e pode não refletir o impacto científico de forma mais ampla (Baptista,_Campiteli,_Kinouchi,_& Martinez,_2006 ; Van_Raan,_2006. Ainda assim, pode-se afirmar que o índice Hproporciona uma solução de compromisso entre a capacidade de refletir o impacto da produção científica e a possibilidade de ser apurado de forma relativamente simples, podendo, naturalmente, ser utilizado em composição com outros indicadores.

2.4. Consistência e referências para o índice H A consistência do índice H foi testada por diferentes pes quisadores, em distintas áreas. Bornmann_e_Daniel_(2005) compararam os resultados do índice H de determinados pes quisadores com a avaliação feita por um grupo de renomados cientistas quando da avaliação para a concessão de bolsas de pós-doutorado. Os autores verificaram que, em média, os pesquisadores selecionados por meio da avaliação do grupo de cientistas apresentavam índice H maior do que o índice H daqueles que foram rejeitados.

No campo da Química, a consistência da utilização do índice H foi comprovada pelo estudo de Van_Raan_(2006), que analisou 147 grupos de pesquisadores em universidades da Holanda, constatando que os valores calculados para o índice H se as semelham a análises realizadas por pesquisadores renomados. Resultado similar foi encontrado por Cronin_e_Meho_(2006), que analisaram pesquisadores da área das Ciências da Informação.

Diversas pesquisas foram conduzidas focando o índice H como medida de relevância da produção científica, para pesquisadores individuais e para grupos de pesquisa. Hirsch_(2005) destaca que, no campo da Física, um índice H igual a 20, para um cientista cujo período de atividade científica é de 20 anos, caracteriza um profissional bem-sucedido. Para o mesmo período, um índice H igual a 40 caracteriza um profis sional de destaque; e um índice H igual a 60 após 20 anos de atividade ou igual a 90 após 30 anos de atividade caracteriza profissionais verdadeiramente únicos. No caso das Ciências Sociais, Mingers_ (2008) aponta que um índice H igual a 20 é bastante elevado.

Na Tabela_1, apresenta-se, a título de ilustração, o índice H para 12 pesquisadores em seis campos da Administração de Empresas. Os nomes foram identificados por meio de busca no Google Scholar, a partir dos seguintes critérios: que fossem pesquisadores de destaque nos respectivos campos, que fossem experientes e que não fossem exclusivamente norte-americanos. Nota-se que o índice H varia entre 31 e 109, apresentando, portanto, valores coerentes com aqueles apontados por Hirsch_(2005) e Mingers_(2008) para outros campos científicos. Por outro lado, é importante registrar que os índices H identificados para esses pesquisadores constituem uma referência relativa, pois foram obtidos em ambientes institucionais distintos do brasileiro, no qual foi realizado o presente estudo.

Tabela 1 Índice H de Pesquisadores Estrangeiros de Referência em Diferentes Áreas da Administração  Campo Nome Instituição Índice H Estratégia Henry Mintzberg McGill University 91 Michael Porter Harvard Business School 109 Estudos Organizacionais David Knights Bristol Business School 53 James March Stanford University 53 Finanças Michael C. Jansen Harvard Business School 54 Ross Levine University of California 81 Marketing Philip Kotler Kellog School of Management 98 Christian GrönroosHanken School of Economics 54 Recursos Humanos Michael B. Arthur Suffolk University 34 Scott Snell University of Virginia 41 Operações e LogísticaRobert Johnston Warwick Business School 37 Gerard Cachon University of Pennsylvania 31 3. MÉTODOS Neste estudo, tratou-se da mensuração, por meio do índi ce H, do impacto da produção científica de professores que compõem os NDPs de seis programas de pós-graduação em Administração no Brasil. A escolha dos programas baseou-se na avaliação da CAPES para o triênio 2007-2009, da área de Administração, Ciências Contábeis e Turismo. Foram identifi cados inicialmente programas que obtiveram notas seis e sete na avaliação disponível na época em que o estudo foi realizado. Optou-se por não atualizar os dados, quando houve a divulgação dos resultados da avaliação para o triênio 2010-2012, por eles serem, naquele momento, ainda sujeitos a alteração.

Dessa forma, foram analisados os programas de mestrado e doutorado em Administração de Empresas: da Escola de Administração de Empresas de São Paulo, da Fundação Ge tulio Vargas (FGV-EAESP-AE); da Faculdade de Economia, Administração e Contabilidade, da Universidade de São Paulo (FEA-USP); da Universidade Federal do Rio Grande do Sul (PPGA-UFRGS); e da Universidade Federal de Minas Gerais (CEPEAD-UFMG).

Foram incluídos na análise o programa de mestrado e doutorado em Administração Pública e Governo da FGV -EAESP (FGV-EAESP-APG), por tratar-se do único programa de doutorado nessa modalidade no Brasil, e o programa de Administração de Empresas da Escola Brasileira de Adminis tração Pública e Empresas (FGV- EBAPE), programa que foi identificado como um dos cinco mais produtivos na edição de 2013 do EnANPAD.

Na Tabela_2, indicam-se as notas da avaliação realizada pela CAPES, disponível na época de realização do estudo (triênio 2007-2009), as notas mais atuais (triênio 2010-2012) e o número de professores de cada programa (em 2013).

Observa-se que há diferenças substantivas de porte entre eles: o maior programa (FEA-USP) é mais de três vezes maior, em termos de números de professores, do que o menor programa (FGV-EAESP-APG).

Tabela 2 Programas Brasileiros Analisados  Instituição / Nota CAPES Nota CAPES Número de Professores Programa (Triênio 2007-2009) (Triênio 2010-2012) (2013) FGV-EAESP-AE 6 7 33 FEA-USP 7 7 56 PPGA-UFRGS 7 5 39 CEPEAD-UFMG 6 6 28 FGV-EAESP-APG 5 5 16 FGV-EBAPE 5 6 21 Fontes: Websites da CAPES e dos programas analisados.

Além desses programas brasileiros, foram identificados quatro programas estrangeiros nas áreas de Administração de Empresas e de Administração Pública.

Em Administração de Empresas foram escolhidos: o programa de doutorado de Wharton, por ser reconhecido como referência em produção científica, sendo o primeiro colocado no ranking The UTD Top 100 Business School Research Rankings (UT_Dallas,_2013); e o programa de doutorado da I.E. Business School, por ter sido uma instituição europeia, que realizou um trabalho reconhecido de crescimento e internacionalização de sua produção científica. Em Administração Pública foram escolhidos os programas de doutorado da Lyndon B. Johnson School of Public Affairs e da Harvard Kennedy School, duas referências mundiais nesse campo.

Para a coleta de informações desses programas, foram tomadas as linhas ou grupos de pesquisa próximos daqueles encontrados nas instituições brasileiras.

Foram considerados apenas os professores identificados como faculty members, com atuação nos respectivos programas de doutorado. Não foram considerados os professores identificados como associate, assistant e emeritus. Na Tabela_3, apresenta-se o número de professores de cada programa analisado. Notam-se, também entre esses programas, diferenças substantivas de porte. O maior programa (The Wharton School) é quase sete vezes maior, em termos de número de professores, do que o menor programa (I.E. Business School).

Tabela 3 Programas Estrangeiros Analisados  Instituição / Programa País Número de Professores (2013) The Wharton School Estados Unidos 101 I.E. Business School Espanha 15 Lyndon B. Johnson School of Public Estados Unidos 27 Affairs Harvard Kennedy School Estados Unidos 34 Fontes: Websites dos programas analisados.

As informações dos programas e dos NDPs (ou faculty, para os programas estrangeiros) foram levantadas nos websites das instituições e dos respectivos programas, em junho de 2013. O levantamento do impacto da produção científica ocorreu entre os meses de setembro e outubro de 2013, e foi realizado por meio do software Publish or Perish (PoP). A escolha do PoP justifica-se pela utilização da base do Google Scholar. Conforme Harzing_e_Van_der_Wal_(2008), essa base é mais indicada para o cálculo do impacto, por ser a mais abrangente e por considerar, além de revistas, livros e trabalhos apresentados em congressos.

4. RESULTADOS Com a utilização do PoP, mapeou-se a produção científica de cada pesquisador, não se distinguindo a posição da autoria. Assim, conferiu-se a mesma importância a trabalhos nos quais o pesquisador avaliado é autor ou coautor.

Além disso, foi considerado todo o período de atividade de cada pesquisador, desde a primeira publicação.

Com o intuito de verificar e eliminar erros inerentes ao uso do Google Scholar e do PoP, foi realizada uma revisão manual de todos os resultados apresentados pelo software. Assim, foram eliminados artigos de homônimos, textos que não poderiam ser considerados como trabalhos científicos (por exemplo, ementas de disciplinas) e textos duplicados. Nos casos em que um mesmo texto foi publicado em veículos diferentes (anais e periódico, por exemplo) foram mantidos os dois resultados.

Tendo em vista que a base do Google Scholar é dinâmica, foi feito um estudo específico para avaliar o efeito do momento da coleta sobre os resultados.

Constatou-se que uma diferença de duas semanas entre as coletas não afeta significativamente os resultados.

A métrica principal escolhida para a análise do impacto foi o índice H. No entanto, foram também levantados outros indicadores relevantes: o número de citações por trabalho, o número de citações por ano e o tempo médio de atividade de cada pesquisador. Tais indicadores complementam a visão proporcionada pelo índice H.

O processo ocorreu em três etapas. Primeiro, foram cal culados os indicadores de produção e do índice H de cada pesquisador. Segundo, foi realizada uma filtragem, com o objetivo de excluir eventuais textos repetidos, realizados em coautoria por pesquisadores de uma mesma instituição. Ter ceiro, com base nas publicações individuais e na indexação de citação delas, efetuou-se o cálculo do índice H dos programas, considerando-se toda a produção de seu respectivo NDP ou equivalente.

Nesta seção, são apresentados os resultados dos levanta mentos realizados.

Primeiro, serão mostrados os resultados referentes ao índice H e aos demais indicadores para todos os programas analisados, brasileiros e estrangeiros.

Segundo, serão apresentados os resultados relacionados à distribuição do índice H entre os pesquisadores de cada programa analisado. Terceiro, serão mostrados os resultados referentes ao índice H relacionado ao tempo de experiência dos pesquisadores.

4.1. Índice H e outros indicadores de impacto dos programas brasileiros e estrangeiros Na Tabela_4, apresentam-se os resultados para cada um dos programas brasileiros e estrangeiros analisados. Entre os programas brasileiros, os resultados sugerem a existência de dois grupos: de um lado, os programas da FEA-USP, da FGV-EAESP-APG, da FGV-EAESP-AE e da FGV-EBAPE com índices H mais altos; e, de outro lado, os programas do PPGA -UFRGS e do CEPEAD-UFMG com índices H mais baixos. É relevante observar que os programas da FGV-EAESP-AE e da FEA-USP são os mais antigos do Brasil e os que apresentam maior tempo médio de atividade dos pesquisadores, especial mente o da FEA-USP. Conforme aponta Burrell_(2007), o índice H favorece pesquisadores com mais tempo de atividade, já que aumenta à medida que aumenta o tempo de atividade dos pesquisadores.

Tabela 4 Indicadores de Impacto dos Programas Brasileiros e Estrangeiros Analisados  Programa Índice HCitações/ Média de Citações da PrincipaTempo Médio de Trabalho Publicação Atividade FGV-EAESP- 60 7 166 22 AE FEA-USP 63 5 113 26 PPGA-UFRGS 37 4 72 19 CEPEAD- 25 3 44 20 UFMG FGV-EAESP- 61 8 153 27 APG FGV-EBAPE 55 10 333 23 The Wharton 386 67 1.352 32 School I.E.

Business 41 10 113 21 School Lyndon B.

Johnson School of 68 9 136 32 Public Affairs Harvard Kennedy 282 46 890 32 School Três outros fatores devem ser considerados na análise dessa tabela. Primeiro, o efeito localização. Os programas da FEA -USP, da FGV-EAESP-AE e da FGV-EAESP- APG localizam -se na região com maior concentração de pesquisadores do País, o que favorece as redes de cooperação (Capobiango,_Silveira,_Zerbato_& Mendes,_2011), o que, por sua vez, fa vorece o impacto. Segundo, o fato de essas duas instituições sediarem periódicos tradicionais e renomados: a Revista de Administração (RAUSP), a Revista de Administração Públi ca (RAP) e a Revista de Administração de Empresas (RAE). Tal condição também pode contribuir para o impacto dos respectivos programas, mesmo que medidas contra práticas endógenas tenham sido adotadas (Wood_Jr._&_Chueke,_2008). Terceiro, o fato de esses programas terem um papel histórico na formação de pesquisadores. Com isso, foram criadas redes de relacionamento que também contribuem para a elevação de sua produção científica.

É relevante ainda registrar o efeito representado por pesquisadores com índice H excepcionalmente alto. No programa da FGV-EAESP-APG constatou-se que um caso dessa natureza teve efeito substantivo. Mediante simulação, foi possível constatar que, caso sua produção fosse retirada da avaliação, o índice H do programa cairia de 61 para 40. Tal caso representa sem dúvida um outlier.

Verificou-se que outras instituições têm pesquisadores com índice H alto, mas em nenhum caso se pode afirmar que sejam também outliers, como no caso citado, pois seu índice H não é tão excepcional, nem tão distante dos índices H de outros pesquisadores. Ana logamente, não se pode afirmar que haja outlierscom índice H muito baixo, porque o número de pesquisadores em tal condição é apreciável em todas as instituições.

Conforme esperado, alguns dos programas estrangeiros escolhidos apresentam índices H consideravelmente mais al tos do que aqueles apresentados pelos programas brasileiros. Destacam-se os programas de Wharton, em Administração de Empresas, e Harvard, em Administração Pública. De fato, esses são programas tidos como referência mundial em termos de pesquisa científica, reputação e capacidade de influência e impacto. O grande número de citações verificadas na produção dos pesquisadores desses dois programas, aliado ao grande número de professores que os compõe, contribui para o alto valor apurado para o índice H dos programas. Se na avaliação individual dos pesquisadores uma única produção com grande número de citações não se torna relevante, quando da análise dos indicadores dos programas essa mesma produção pode ter uma participação importante. Por outro lado, os programas da Lyndon B. Johnson School of Public Affairs e da I.E. Business School apresentaram índices H comparáveis aos dos programas brasileiros.

Naturalmente, não se podem comparar diretamente tais valores, por terem sido gerados em ambientes diferentes e por áreas diferentes - Administração de Empresas e Administração Pública (Hirsch,_2005). Embora o ambiente científico seja aberto e internacionalizado, o histórico do desenvolvimento das comunidades científicas privilegia, em termos de impacto, as instituições anglo-saxônicas e, no caso da Administração, especialmente as instituições estadunidenses.

O campo científico da Administração estadunidense está consolidado, com grande número de instituições de pesquisa de topo, eventos de grande porte e periódicos importantes. Além disso, tem influência mundial, atraindo pesquisadores de todos os países. Comparativamente, o campo científico brasi leiro no caso da Administração é menor, ainda insular e com pequena capacidade de atração de pesquisadores estrangeiros. Consequentemente, a publicação de um artigo em um periódico de topo estadunidense gera potencialmente maior impacto do que a publicação de um artigo em um periódico de topo brasileiro.

Por isso, comparações entre os indicadores de instituições brasileiras e estrangeiras devem ser feitas com cautela. Uma forma mais consistente para fazer comparações é a distribuição relativa dos índices H dos pesquisadores nos diversos progra mas, brasileiros e estrangeiros, como se verá a seguir.

4.2. Distribuição dos índices H dos programas brasileiros e estrangeiros Além das diferenças em termos de índice H dos programas, procurou-se avaliar a dispersão interna dentro de cada pro grama, ou seja, como varia o índice H dentro de cada um dos NDPs ou equivalentes analisados. Na Tabela_5, apresentam- se os resultados da distribuição do índice H para cada um dos seis programas brasileiros e quatro programas estrangeiros analisa dos. A escala foi construída de forma exploratória, chegando -se a variações de cinco pontos no índice H como o valor que permite melhor visualização das diferenças. Com isso, foram definidas cinco faixas. O valor superior, correspondente a um índice H de 20, foi definido com base na literatura existente, que sugere ser esse um valor alto, e na observação dos índices H dos pesquisadores individuais. Para facilitar a visualização, foram marcados os percentuais superiores a um terço do total, que indicam concentrações importantes em determinadas faixas.

Analisando-se primeiramente os programas brasileiros, conforme esperado aqueles que apresentam maiores índices H são aqueles que também apresentam o maior percentual de pesquisadores nos estratos superiores, com índice H igual ou superior a 15. Além disso, constatou-se que apenas o programa da FGV-EAESP-APG apresenta percentual significativo de pesquisadores com índice H igual ou superior a 20 (18,80%). É oportuno observar que pesquisadores de alto impacto são importantes porque tendem a consolidar em torno deles grupos de pesquisa, são capazes de conduzir trabalhos que contribuem para o avanço do conhecimento e servem de modelo para pes quisadores iniciantes.

Tabela 5 Distribuição do Índice H dos Pesquisadores dos Programas Brasileiros e Estrangeiros Analisados  H<5 H>=5 H>=10 H>=15 H>=20 Programa   H<10 H<15 H<20   % % % % % FGV-EAESP-AE 18,18 42,42 27,27 6,06 6,06 FEA-USP 32,14 37,50 19,64 8,93 1,79 PPGA-UFRGS 28,21 43,59 25,64 2,56 - CEPEAD-UFMG 25,00 64,29 10,71 - - FGV-EAESP-APG - 50,00 25,00 6,25 18,80 FGV-EBAPE 4,76 42,86 33,33 14,29 4,76 The Wharton School - 2,97 7,92 16,83 72,28 I.E. Business School 31,25 43,75 18,75 6,25 - Lyndon B. Johnson School of Public Affairs 14,81 48,15 18,52 - 18,52 Harvard Kennedy School - 8,82 2,94 8,82 79,41 Por outro lado, deve-se registrar como ponto de atenção o alto percentual de pesquisadores com índice H inferior a 5, o que, vale lembrar, significa que parte considerável dos pesquisa dores do NDP dos programas mais bem avaliados pela CAPES no Brasil tem cinco ou menos artigos com cinco citações.

Quanto aos programas estrangeiros, chamam mais uma vez a atenção os resultados dos programas de Wharton e de Harvard, com mais de 70% dos corpos de pesquisadores, que têm grande porte, apresentando índice H maior ou igual a 20.

Por outro lado, em Administração Pública, a Lyndon B. Johnson School of Public Affairs apresenta um perfil de distribuição muito similar ao da FGV-EAESP-APG; e, em Administração de Empresas, o I.E. Business School apresenta um perfil de distribuição similar ao da FEA-USP e do PPGA-UFRGS. Isso não significa dizer que essas instituições tenham impacto similar na ciência. Con tudo, pode-se especular que elas exercem influências similares em seus respectivos domínios geográficos. Tal hipótese deverá, naturalmente, ser testada em futuros estudos.

4.3. Produção individual de pesquisadores dos NDPs ao longo do tempo Além das análises coletivas, foi também realizada uma análise da variação do índice H por tempo de atuação dos pesquisadores, tanto para os programas brasileiros quanto para os programas estrangeiros. Nas Figuras_1 e 2, mostram- se tais resultados.

Figura 1 Variação do Índice H com os Anos de Atividade de Pesquisadores dos Programas Brasileiros Analisados  [/img/revistas/rausp/v50n3//0080-2107-rausp-50-03-0325-gf02.jpg] Figura 2 Variação do Índice H com os Anos de Atividade de Pesquisadores dos Programas Estrangeiros Analisados  Obviamente, deve-se esperar que, quanto maior o tempo de atividade, maior o índice H. Entretanto, entre os programas brasileiros não parece haver um incremento significativo ao longo dos anos: muitos pesquisadores parecem manter índices H abaixo de 10, ou até mesmo abaixo de 5, apesar de contarem com 20 anos de experiência ou mais.

Mingers_(2008) argumenta que um índice H abaixo de 10 pode significar uma produção científica de baixo impacto. Se tomar-se tal patamar como referência, constata-se que, entre os pesquisadores analisados neste estudo, e que atuam nos principais programas de pós-graduação do Brasil, a expres siva maioria apresenta produção científica de baixo impacto. Significativamente, ao analisar as listas de artigos identificados pelo PoP, chama a atenção o número de artigos sem nenhuma citação, ou com apenas uma ou duas citações.

Por outro lado, entre os pesquisadores dos programas estrangeiros, constata-se considerável dispersão, havendo um grupo representativo de pesquisadores com 20 ou mais anos de atividade e índices H abaixo de 10. Isso pode significar, como no caso brasileiro, tanto uma baixa orientação para a produção científica, quanto a existência de uma produção científica de baixo impacto, em termos de índice H.

5. CONCLUSÃO Neste trabalho, o objetivo foi avaliar o impacto da produ ção dos NDPs de programas brasileiros de pós-graduação em Administração. Foram avaliados seis programas, por meio do índice H. Complementarmente, foram avaliados quatro programas estrangeiros, também por meio do mesmo índice.

Constataram-se diferenças significativas entre os programas e uma diversidade significativa entre pesquisadores dentro de cada programa brasileiro, em termos de impacto, conforme medido pelo índice H. Constatou-se também que parte con siderável dos pesquisadores brasileiros apresenta produção científica com baixo índice H, o que significa baixo impacto; e que apenas um número restrito de pesquisadores apresenta produção científica com índice H da mesma ordem de grandeza de pesquisadores estrangeiros de destaque. Deve-se, entretanto, mais uma vez, frisar que comparações devem ser feitas com cautela, pois pesquisadores brasileiros e estrangeiros atuam em ambientes institucionais distintos. Conforme observado anteriormente, não se pode fazer uma transposição simples de patamares de índice H do ambiente institucional de pesquisa anglo- saxão, ou estadunidense, para o ambiente institucional de pesquisa brasileiro.

Eles diferem em termos de nível de maturidade, cultura de pesquisa, número e perfil dos periódicos, ação de órgãos reguladores e certificadores, e diversos outros fatores. Além disso, existem barreiras de acesso para pesquisadores brasileiros interessados em publicar em periódicos estrangeiros de alto impacto, representados pela própria língua inglesa e por diferenças nas agendas de pesquisa. Ainda assim, os resultados encontrados neste estudo, tanto aqueles relacionados ao impacto dos NDPs dos programas avaliados quanto aqueles relacionados ao impacto dos pesqui sadores, devem ser vistos como um alerta.

Para aumentar o impacto da pesquisa científica em Admi nistração no Brasil, é preciso, entre outras medidas, aperfeiçoar o ambiente institucional no qual a atividade é realizada. Os resultados reforçam, portanto, os argumentos críticos expressos por diversos autores a respeito do estado das coisas no campo da Administração no Brasil (por exemplo, Alcadipani,_2011a; 2011b; Bertero_et_al., 2013).

5.1. Contribuição A principal contribuição deste estudo é chamar a atenção para a questão do impacto da produção científica e operacio nalizar critérios de mensuração que possam representar um avanço em relação aos critérios atualmente dominantes no Brasil, focados na contabilização de publicações qualificadas. Tal sistema, embora tenha representado um avanço em outro momento, tornou-se alvo frequente de críticas, por estimular uma mentalidade produtivista, que distorce a missão da ciência e prejudica a qualidade e o impacto dos trabalhos científicos (Alcadipani,_2011a; 2011b; Faria,_2011; Freitas,_2011; Machado_& Bianchetti,_2011 ; Godoi_&_Xavier,_2012 ; Mattos,_2012).

A operacionalização de sistemas baseados no índice H é relativamente simples.

Eles podem ser utilizados por pesqui sadores, interessados em monitorar o impacto de sua produção científica; por programas, interessados em monitorar o desem penho de seus NDPs; e por órgãos de regulação e controle, para avaliar grupos de pesquisa e programas.

Adicionalmente, contribuiu-se com este estudo provendo referências de programas de pós-graduação localizados fora do Brasil. Embora, conforme ressaltado, não se possam fazer comparações diretas, as informações coletadas e apresentadas sobre programas estrangeiros oferecem referências sobre o índice H de pesquisadores consagrados no campo da Administração, sobre a distribuição dos índices H nos quadros de pesquisadores, sobre a evolução do índice H ao longo do tempo, e até mesmo sobre a variação dos índices H entre os programas estrangeiros analisados.

5.2. Limitações do estudo e futuras pesquisas Esta pesquisa teve caráter preliminar, apresentando algu mas limitações, que poderão ser tratadas em futuros trabalhos. A primeira limitação relaciona-se ao número de programas avaliados. Futuros trabalhos poderão expandir tal número, o que resultará em um retrato mais representativo da realidade brasileira. De forma complementar, poderão ser avaliados, para fins de comparação, o fator H e outros indicadores de impacto de um maior número de programas selecionados no exterior. Tal esforço poderá incluir programas de países desenvolvidos, reconhecidos pela tradição e pela excelência em pesquisa, e programas de países emergentes, mais recentes e que estão passando por processos de evolução similares ao que ocorre no Brasil. De forma similar, novos estudos poderão incluir outros campos das Ciências Humanas, como, por exemplo, a Economia. A expansão da amplitude do estudo provavelmente permitiria compreender melhor o potencial e os limites de cada campo em termos de impacto.

A segunda limitação refere-se a restrições inerentes aos indicadores utilizados, especialmente o índice H. Acredita-se que tais indicadores possam representar um avanço em relação ao sistema de medição em uso no Brasil. No entanto, eles também não são capazes de capturar de forma ampla o impacto de trabalhos científicos, de pesquisadores individuais e de programas de pós- graduação. Nesse sentido, futuros es tudos poderão identificar, avaliar e desenvolver modelos mais completos de medição de impacto, que considerem aspectos relacionados à disseminação do conhecimento e a sua aplicação para transformação da realidade.

A terceira limitação relaciona-se à dificuldade para comparar os indicadores de programas estrangeiros com os indicadores de programas brasileiros. Futuros estudos poderão explorar tal restrição, aprofundando o conhecimento sobre os respectivos ambientes institucionais, as diferenças entre eles, e como tais ambientes se alteram, facilitando ou dificultando o impacto da produção científica.

A quarta limitação refere-se às diferenças entre os NDPs dos programas, em termos de tempo de experiência, o que potencialmente afeta o índice H. Nesse sentido, futuras pesquisas poderão avaliar, de forma aprofundada, o efeito de tal variável sobre o índice H de pesquisadores que atuam no Brasil e no exterior.

A Academia Brasileira de Administração ainda é um campo relativamente jovem.