Proposta de um modelo de gestão de programas de pós-graduação na área de
Administração a partir dos sistemas de avaliação do Brasil (CAPES) e dos
Estados Unidos (AACSB)
1. INTRODUÇÃO
Nas últimas décadas, o monitoramento do desempenho de instituições de ensino
superior (IES), por intermédio de sistemas de avaliação específicos, tornou-se
um mecanismo importante para o desenvolvimento e o aprimoramento dos sistemas
educacionais dos países. Isso é fato, principalmente, para as nações que
apostam no domínio tecnológico como meio para promover o progresso e o bem-
estar social. Assim, a elaboração de indicadores de desempenho e o
desenvolvimento de sistemas de análise no campo da avaliação tornam-se
prioritários para os países que desejam melhorar sua competitividade (El-
Khawas, DePietro-Jurand & Holm-Nielsen, 1998).
A temática da avaliação das IES, apesar de ser uma tradição antiga na América
do Norte, ainda é recente nos contextos latino-americano e europeu
(Schwartzman, 1990). Na Europa, Schwartzman (1990) cita o surgimento do Estado
Avaliador, expressão cunhada por Guy Neave (1988) e definida como uma
modalidade de governo que procura substituir os tipos mais tradicionais de
controle burocrático ou planejamento de atividades a priori por mecanismos de
avaliação a posteriori (Dias Sobrinho, 2003). Dessa forma, o Estado Avaliador
supervisiona o sistema, que possui autonomia, em vez de controlá-lo, atendo-se
somente aos "produtos da avaliação" (Barreyro, 2004). Exemplo disso ocorre na
França e na Holanda que, por possuírem tradição na administração burocrática
centralizada nas universidades, consideram o Estado Avaliador como uma forma de
descentralização que procura livrar as universidades do controle formal e
burocrático do governo (Durham, 1992).
Diferentemente, o sistema de avaliação da Inglaterra - altamente
descentralizado, como o dos Estados Unidos - orienta a distribuição
diferenciada de recursos por meio de uma política educacional que favorece a
relação com o sistema produtivo (Schwartzman, 1990). Nessa linha, encontra-se o
sistema japonês, que vem evoluindo e aprimorando-se rapidamente nos últimos
anos. Ele caracteriza-se pelo emprego da meritocracia das pesquisas ao
utilizar, em larga escala, a prática de peer review para a avaliação e a
concessão de financiamento para as pesquisas (Kneller, 2007).
A rigor, observa-se a tendência de os países adotarem e/ou aprimorarem cada vez
mais os mecanismos de controle e a avaliação com critérios e objetivos
inequívocos, previamente definidos. Isso é necessário para permitir melhor
distribuição dos recursos em áreas que o Estado deseja desenvolver (Afonso,
2000). Corroborando Afonso (2000), Kai (2009) afirma que a avaliação está
relacionada com a efetividade de as IES atingirem seus objetivos propostos.
Isso é particularmente importante em uma época marcada, notadamente, tanto pela
exigência de acompanhamento dos níveis educacionais de um país quanto pela
necessidade de manter e criar altos padrões de inovação científica e
tecnológica para enfrentar a competitividade em nível global.
Stecher e Davis (1987) e Kai (2009) afirmam que o processo de avaliação é
tarefa complexa e envolve negociação entre os atores. Ocorre que, muitas vezes,
os envolvidos na avaliação não compartilham das mesmas ideias e atitudes e não
possuem as mesmas informações sobre os tópicos discutidos. Essa disparidade de
entendimento culmina, muitas vezes, em discrepância na atribuição dos valores e
dos pesos para os quesitos e itens avaliados. Nessa direção, Schwartzman (1990)
e Durham (1992; 2006) discorrem sobre a necessidade de criar um processo de
avaliação transparente que utilize critérios legítimos, que visem identificar
problemas decorrentes da avaliação, e vislumbre as oportunidades de melhorias.
1.1. Problema
De acordo com Thayer e Whelan (1987), o dilema para realizar a avaliação é,
justamente, como medir a qualidade de um programa, de um curso ou das IES de
forma justa, sem tolher as iniciativas inovadoras dos avaliados. Esses autores
citam vários problemas encontrados em um processo de avaliação das IES e
recomendam que sua metodologia seja bem definida para não ocorrerem falhas e
questionamentos sobre a validade de todo o processo. Para eles, há dois tipos
genéricos de avaliação: um, com ênfase quantitativa; outro, com ênfase
qualitativa. Os autores afirmam que, dependendo do modelo de avaliação
utilizado, os resultados podem ser bem diferentes.
Thayer e Whelan (1987) consideram que a avaliação com ênfase quantitativa
incorpora, por conceito, um viés de massificação, embora tenha a vantagem de
ser econômica e de obter resultados considerados consistentes. Esse viés parte
da suposição de que os avaliados possuem constituição e propósitos semelhantes
e, assim, são julgados indistintamente sob os mesmos indicadores e métricas.
Desse modo, o resultado pode sobrecarregar, com padrões acima de seus
propósitos, os avaliados novos, pequenos e em consolidação, assim como
restringir o aprimoramento de avaliados tradicionais, grandes e consolidados.
Em outras palavras, ao longo do tempo, esse sistema padronizado produz
avaliados parecidos. Nesse tipo de avaliação, os avaliados pequenos podem
concentrar esforços somente para atender aos requisitos exigidos para obtenção
e manutenção do credenciamento. Já os programas maiores, em vez de ampliar seu
campo de atuação, podem limitar-se estritamente a cumprir os requisitos de
avaliação que o sistema determina. Nesse contexto, o sistema de avaliação
precisa permitir certa flexibilidade para poder captar as diferenças entre os
programas e possibilitar que cada um se desenvolva e cumpra sua missão de forma
mais efetiva.
A avaliação com ênfase qualitativa está baseada na reputação do avaliado e é
uma abordagem mais flexível que a quantitativa. Essa modalidade utiliza a
análise subjetiva e parte do pressuposto de que o avaliado tenha a qualidade ou
a excelência exigida. Isso requer que a análise seja feita com base em
instrumentos confiáveis, para evitar a armadilha da excelência presumida, o que
exige um constante aprimoramento do instrumento de avaliação por parte do
avaliador e do avaliado (Morgan, Meier, Kearney, Hays & Birch, 1981).
O dilema da avaliação (quantitativa e/ou qualitativa) é especialmente percebido
no sistema de avaliação da pós-graduação do Brasil. Enquanto uma ala dos
pesquisadores defende que o sistema deva privilegiar os quesitos da avaliação
quantitativa, com pouca margem para a interpretação subjetiva, outra sustenta
que o sistema deva ser flexibilizado para permitir uma avaliação mais ajustada
à realidade e à missão de cada programa.
A partir dessa problemática, foi formulada a seguinte pergunta de pesquisa:
Como aprimorar a gestão dos programas de pós-graduação em Administração do
Brasil com base na experiência de programas avaliados no Brasil e nos Estados
Unidos? Para respondê-la, o seguinte objetivo foi estabelecido: propor um
modelo de gestão dos programas de pós-graduação em Administração com base no
sistema de avaliação brasileiro da Coordenação de Aperfeiçoamento de Pessoal de
Nível Superior (CAPES) e no sistema de acreditação norte-americano da
Association to Advance Collegiate School of Business (AACSB).
2. SISTEMA DE AVALIAÇÃO DA PÓS-GRADUAÇÃO BRASILEIRA
O sistema brasileiro de avaliação da pós-graduação stricto sensu vem sendo
desenvolvido e aprimorado pela CAPES desde 1976. Um marco importante em sua
evolução ocorreu no final da década de 1990, quando houve sua informatização e
a adoção de critérios mais rígidos para atribuição de notas aos programas.
Desde então, o sistema vem mantendo-se estável, com avanços incrementais em
seus quesitos e itens de avaliação.
Uma peculariedade do sistema é seu caráter quantitativo, haja vista que
aproximadamente 80% dos itens da avaliação são quantificados e os 20%
restantes, de caráter qualititativo, também podem ser quantificados. Essa
exigência quantitativa do sistema ocorre devido ao fato de o Estado utilizá-lo
como ferramenta para subsidiar sua política de financiamento e de expansão da
pós-graduação. Adicionalmente, o Estado, por meio da CAPES, utiliza o sistema
de avaliação para classificar os programas em uma escala que varia de 1 a 7
(Maccari, 2008).
Os programas novos que alcançam nota mínima, igual ou superior a 3, são
autorizados ou credenciados para funcionamento; aqueles que obtêm nota inferior
a 3 não são autorizados. Já os programas em funcionamento que não alcançam a
nota mínima na avaliação trienal ficam impedidos de abrir nova seleção de
alunos até que a nota 3 seja atingida. Contudo, aos alunos que compõem o corpo
discente desses programas é assegurado o direito de concluir o curso e obter o
título em outro programa devidamente credenciado no sistema da CAPES.
Nesse contexto, os adeptos da avaliação quantitativa da CAPES salientam que o
uso de critérios que privilegiem a quantificação dos itens permite a aplicação
de uma mesma regra para todos os programas em todas as áreas, o que possibilita
fazer comparações entre os programas de uma mesma área ou até entre as áreas.
Isso deixa pouco espaço para subjetividade, comumente encontrada em avaliação
qualitativa baseada na reputação do avaliado. No limite, a recíproca é
verdadeira, pois os partidários da avaliação qualitativa acreditam que o
sistema de avaliação da CAPES possua pouco espaço para inovações, o que, em
última análise, prejudica o desenvolvimento desse sistema e, consequentemente,
dos próprios avaliados.
Discussões à parte, é fato que a CAPES possui um sistema de avaliação moderno e
eficiente. Nesse sentido, Gazzola (2008), em artigo para a Sociedade Brasileira
para o Progresso da Ciência (SBPC), afirma que na América Latina, no Caribe e
até no restante do mundo, é difícil encontrar um sistema de avaliação
comparável ao adotado no Brasil. Esse autor compara o sistema de pós-graduação
do Brasil com o do México e observa que ambos possuem basicamente o mesmo
número de IES: porém, no Brasil, são formados aproximadamente dez mil doutores
por ano, enquanto no México esse número não ultrapassa cinco mil. Gazzola
(2008) atribui essa diferença à maior eficiência indutiva do sistema de
avaliação da CAPES. Schwartzman (2010) afirma que a pós-graduação brasileira
atingiu um tamanho considerável, aproximando-se, em termos absolutos, de países
de grande porte econômico. Adicionalmente, o número de publicações científicas
de autores brasileiros vem aumentando de forma considerável.
2.1. Parâmetros do sistema de avaliação brasileiro - CAPES
Até o mês de maio de 2014 existiam 145 programas de pós--graduação credenciados
pela CAPES na área de Administração, Ciências Contábeis e Turismo. São 190
cursos: 86 de mestrado, 47 de doutorado, e 57 de mestrado profissional (CAPES,
2014).
De acordo com Maccari (2008), o sistema de avaliação da pós-graduação
brasileira é o mesmo para todas as áreas. No entanto, os comitês de avaliação
têm autonomia para mudar o peso dos quesitos em 5% para mais ou para menos.
Quanto aos pesos dos itens internos a cada quesito, cada área é livre para
mudá-los ou até mesmo suprimi-los se eles não se aplicarem às necessidades da
área em questão. Os quesitos de avaliação são: proposta do programa; corpo
docente; corpo discente; produção intelectual; e inserção social. Os itens e os
valores que compõem cada quesito do sistema de avaliação da CAPES estão
apresentados na Figura_1.
Na Figura_1, observa-se que a Proposta do Programa é avaliada de forma
qualitativa, ou seja, não possui peso na avaliação, sendo classificada como
"Adequada" ou "Inadequada". Contudo, a proposta é um quesito essencial na
avaliação, pois é nela que os programas descrevem: seu desenvolvimento ao longo
dos anos; o planejamento e as perspectivas futuras; as inovações nas atividades
de ensino, pesquisa e extensão; e como estão realizando as atividades de
solidariedade e nucleação de outros programas. Adicionalmente, são descritas as
informações do quesito Insersão Social, que equivale a 10% da avaliação global.
A avaliação desse quesito, também qualitativa, é um dos principais requisitos
para que os programas alcancem as notas 5, 6 e 7 no ranking da CAPES.
Destaca-se que existe uma contradição na Figura_1, no Quesito Produção
Intelectual item 4.3 Produção técnica/tecnológica. No "Documento de Área"
(CAPES, 2013a) é mencionado que a avaliação é qualitativa e no documento
"Relatório da Avaliação Trienal" (CAPES, 2013b) são indicados 10 produtos e o
percentual de professores do corpo docente permanente que precisam atingir esse
número para o item ser classificado como Muito bom, Bom, Regular, Fraco ou
Deficiente.
Observa-se ainda que os demais quesitos de avaliação são de caráter
quantitativo, o que facilita a comparação entre os programas. Fica evidente
que, ao estabelecer os indicadores e as métricas, o sistema de avaliação da
CAPES sinaliza para os programas os valores que devem ser obtidos em cada um
dos itens para cada nível de nota. Na Figura_2 ilustram-se, de forma resumida,
essas exigências.
Para a obtenção das notas 6 e 7, os programas precisam cumprir, além dos
requisitos da nota 5, as seguintes exigências (CAPES, 2011):
•terem titulado doutores nos últimos cinco anos;
•participarem em convênios internacionais com resultados
evidenciados;
•possuírem professores visitantes de universidades estrangeiras
reputadas;
•ofertarem intercâmbio de alunos em ambos os sentidos;
•organizarem eventos internacionais;
•terem participação dos docentes em comitês e diretorias de
associações científicas internacionais;
•ofertarem mestrado e doutorado interinstitucionais, especialmente em
regiões prioritárias.
3. SISTEMA DE AVALIAÇÃO E CREDENCIAMENTO DAS ESCOLAS DE ADMINISTRAÇÃO NOS
ESTADOS UNIDOS
De acordo com Larry (2002), nos Estados Unidos o processo de credenciamento de
escolas e programas de pós-graduação é realizado por organizações não
governamentais, por meio de um processo de peer review. Essas organizações
efetuam periodicamente a avaliação com o intuito de orientar seus avaliados a
cumprirem os requisitos mínimos de qualidade, sendo um processo de avaliação
com características mais qualitativas.
Uma instituição que é referência no cenário norte-americano é a Association to
Advance Collegiate Schools of Business (AACSB), entidade sem fins lucrativos
que congrega instituições educacionais e outras dedicadas à promoção e ao
desenvolvimento da educação superior na área de Administração e Negócios.
Fundada em 1916, a AACSB foi concebida com o objetivo de assegurar o padrão de
qualidade para as escolas de negócios dos Estados Unidos. O processo de
avaliação e credenciamento propriamente dito começou a ser realizado em 1919,
com a adoção dos primeiros padrões de qualidade. Somente em 1980 foram
adicionados ao sistema de avaliação os critérios de qualidade para a área de
Ciências Contábeis. Em 1991, foi introduzida a avaliação por pares (peer
review), o que proporcionou maior credibilidade a todo o processo de avaliação
(AACSB, 2012a).
No ano de 2003, o sistema de avaliação da AACSB foi novamente revisado com o
propósito de ampliar sua atuação e sua avaliação em nível global. Dessa feita,
foram consideradas as novas demandas e tendências das escolas de negócio em
todo o mundo. Essa evolução do sistema de avaliação proporcionou à AACSB
liderança mundial na área de acreditação das escolas de negócio. Isso fica
evidente ao se observarem os números da AACSB, que, em abril de 2012, contava
com 648 instituições credenciadas em 43 países. Das instituições credenciadas,
42 possuíam apenas cursos de graduação (6%); 30 possuíam somente programas de
mestrado e doutorado (4%); e 117 (28%) possuíam também o credenciamento dos
cursos e programas da área de Ciências Contábeis (AACSB, 2012b).
4. METODOLOGIA
A pesquisa aqui relatada teve caráter qualitativo exploratório com dois
componentes básicos: o primeiro, um levantamento documental por meio de um
estudo em profundidade dos sistemas de avaliação utilizados pela CAPES e pela
AACSB; o segundo, uma pesquisa de campo em múltiplos casos, na qual se buscaram
informações sobre o uso dos sistemas de avaliação pelos programas de pós-
graduação stricto sensu em Administração no Brasil e nos Estados Unidos. Com
base nesses estudos, foi possível propor um modelo de gestão da pós-graduação
em Administração.
A escolha da metodologia de estudo de casos múltiplos seguiu a lógica de Gilgun
(1994), Ghauri e Gronhaug (2002) e Yin (2003). Esses autores afirmam que,
quando se deseja conhecer melhor um fenômeno que afeta um indivíduo, um grupo
ou uma organização, é recomendável empregar o estudo de casos múltiplos (CM).
Nesses termos, com a escolha dessa metodologia para a presente pesquisa visa-se
elaborar um estudo mais robusto e com possibilidade de generalização analítica
(Yin, 2003).
Para Yin (2003), utilizar casos múltiplos possui vantagens e desvantagens em
comparação a um caso único. As evidências nesse tipo de metodologia apontam
para resultados mais sólidos (Herriott & Firestone, 1983). Por outro lado,
a racionalidade obtida em um caso único ou raro não pode ser satisfeita no caso
dos CM. Ademais, o estudo de casos múltiplos requer mais tempo e recursos para
sua execução.
Considerando-se as vantagens e as limitações dos CM, os programas foram
selecionados cuidadosamente no sentido de prever resultados que pudessem ser
replicados de forma literal como sugerido por Yin (2003). Para isso, foram
escolhidos casos com características parecidas e um instrumento semelhante de
coleta de dados, com alguns ajustes necessários para atender aos dois sistemas
de avaliação que estavam sendo estudados.
As pesquisas foram realizadas com os coordenadores de oito programas: quatro no
Brasil, avaliados e recomendados pela CAPES, e quatro nos Estados Unidos,
avaliados e credenciados pela AACSB. Optou-se por estudar o sistema norte-
americano devido à experiência daquele país em avaliação. No presente trabalho,
o sistema da AACSB será considerado como complementar ao da CAPES. Cabe
destacar que, embora não haja compatibilidade absoluta entre os dois sistemas,
identificaram-se as potencialidades de ambos no sentido de contribuir para a
concepção do modelo de gestão. Já o instrumento de coleta de dados foi um
questionário semiestruturado ajustado à medida que os dados eram coletados, de
acordo com a recomendação de Eisenhardt (1989).
4.1. Definição dos sujeitos sociais da pesquisa
Conforme Eisenhardt (1989), a escolha dos casos é um aspecto muito importante
porque define as características do desenho da pesquisa. A escolha apropriada
da população a ser pesquisada possibilita controlar as variações externas e
definir os limites para a generalização dos resultados. Nessa perspectiva, como
este é um estudo multicaso, os casos foram escolhidos intencionalmente, com
base nas contribuições que poderiam fornecer ao estudo. Assim, nas pesquisas
realizadas nos Estados Unidos e no Brasil, foram selecionados dois conjuntos de
programas de pós-graduação que atendessem a duas características distintas: o
primeiro grupo foi formado por programas que possuíam mais experiência no
processo de avaliação e que poderiam enriquecer o resultado da pesquisa com
essa experiência; o segundo grupo foi composto por programas mais jovens que
estavam há menos tempo sendo avaliados e, por isso, poderiam contribuir com a
pesquisa por representarem os programas em processo de amadurecimento no
quesito avaliação.
Assim, foram escolhidos quatro programas de pós-graduação strico sensu em
Administração dos Estados Unidos. Dois deles são programas de universidades
públicas com tradição em pesquisa, que fazem parte do processo de
credenciamento e avaliação da AACSB há mais tempo. Os outros dois programas
são: um de uma instituição pública e um de uma instituição privada, e estão há
menos tempo sendo avaliados. Na Figura_3 ilustram-se os programas de pós-
graduação estudados nos Estados Unidos.
O sistema de avaliação da AACSB não atribui um conceito de avaliação para os
cursos, apenas seu credenciamento.
No caso do Brasil, foi seguido o mesmo critério de escolha, sendo selecionados
quatro programas. Dois deles são de universidades públicas - Universidade de
São Paulo (USP) e Universidade Federal do Rio Grande do Sul (UFRGS) -, que
possuem tradição na pós-graduação, sendo avaliados há mais de duas décadas e
com conceito máximo (7) no sistema de avaliação da CAPES. Os outros dois
programas representam uma universidade pública - Universidade Regional de
Blumenau (FURB) - e uma universidade privada - Universidade Nove de Julho
(Uninove). Esses programas fazem parte do sistema de avaliação da CAPES há
menos tempo, porém com bons conceitos de avaliação. Na Figura_4 ilustram-se os
programas selecionados no Brasil.
4.2. Construto da pesquisa
O construto da pesquisa foi elaborado e estruturado para responder ao objetivo
do estudo. Optou-se pela representação em forma de quadro, o que permite
visualizar tanto os resultados pretendidos quanto a forma de obtê-los,
considerando-se as variáveis e as questões da pesquisa. Na Figura_5 descrevem-
se o construto e as questões utilizadas nos Estados Unidos e no Brasil.
![](/img/revistas/rausp/v49n2/12f05.jpg)
Na Figura_5, na coluna Estados Unidos, foi utilizada a palavra não para as
questões feitas apenas aos coordenadores dos programas no Brasil. Isso ocorreu
porque algumas questões não se aplicavam à realidade de avaliação nos Estados
Unidos.
4.3. Como os casos foram analisados
De acordo com Miles e Huberman (1994), a análise de dados qualitativos em um
estudo de casos múltiplos requer técnicas que facilitem compreender, sintetizar
e sumarizar os resultados. Para que isso seja possível, os autores afirmam ser
fundamental que o instrumento de coleta seja o mesmo, isto é, as questões, os
códigos de dados, as variáveis e a apresentação dos resultados devem ser comuns
para possibilitar comparações. A partir desse entendimento, Miles e Huberman
(1994) sugerem a criação de uma metamatriz que possibilite sintetizar e agrupar
os dados em clusters. Na Figura_6, é apresentada a lógica da análise dos casos.
Procurou-se analisar os casos de forma agrupada por país, utilizando a
complementaridade das respostas dadas pelos coordenadores nos Estados Unidos e
no Brasil. Essa estratégia possibilitou um entendimento de forma mais
aprofundada e equilibrada de como esses coordenadores estão gerindo seus
programas para atender às demandas dos sistemas de avaliação de seus
respectivos países. A partir disso, foi possível propor o Modelo de Gestão da
Pós-Graduação.
4.4. Limitações da pesquisa
Conforme Creswell (2003), descrever as limitações da pesquisa remete à
especificação e à circunscrição do estudo em questão. Nesses termos, os
principais modos de limitação são: o método escolhido, a forma como os dados
foram coletados e a análise dos casos. Assim, os resultados desta pesquisa e a
replicação do modelo proposto limitam-se aos programas da área de
Administração, Ciências Contábeis e Turismo, não podendo ser generalizados para
todas as áreas de avaliação da CAPES.
5. PROPOSTA DO MODELO DE GESTÃO DE PROGRAMAS DE PÓS-GRADUAÇÃO
O sistema de avaliação da CAPES vem contribuindo para melhorar a qualidade dos
programas de pós-graduação em Administração no Brasil. Nesse sentido, a análise
das respostas dos coordenadores entrevistados nos Estados Unidos e no Brasil
indica que os programas podem ter sua gestão aperfeiçoada se aproveitarem de
forma plena e estruturada os requisitos de avaliação do sistema.
Adicionalmente, se o Modelo de Gestão de Programas de Pós-Graduação na área de
Administração, Ciências Contábeis e Turismo levasse em consideração alguns
elementos (especificamente missão, plano estratégico e stakeholders) do sistema
de avaliação da AACSB, isso ampliaria as possibilidades de desenvolvimento e
aprimoramento dos programas brasileiros. Na Figura_7 apresenta-se o Modelo de
Gestão de Programas de Pós-Graduação proposto neste artigo.
Na Figura_7, ilustra-se uma forma de organização da estrutura de pesquisa e
atuação do programa. Salienta-se que a ordem de apresentação não precisa ser
seguida rigidamente, mas é importante que o fluxo das informações tenha uma
sequência lógica para a interpretação do modelo. Ademais, embora se saiba que a
missão e a visão fazem parte do plano estratégico, por questões didáticas e de
representação optou-se por apresentá-las como elementos separados. Na
sequência, detalham-se os elementos do modelo de gestão proposto.
5.1. Missão e visão
A Missão é uma exigência do sistema de avaliação da AACSB. Embora ela não seja
um elemento exigido pelo sistema de avaliação da CAPES, que requer no quesito
de avaliação da Proposta do Programa que ele indique qual o seu objetivo, no
modelo aqui proposto ela é um item essencial. Entende-se que a Missão é a razão
de ser de um programa e deve ser de caráter mais permanente. Nesse sentido, o
programa deverá incluí-la em seu plano de desenvolvimento. É fundamental que os
stakeholders, que influenciam e são influenciados pelo programa, participem da
definição e da atualização da Missão. Já o elemento Visão foi adicionado ao
modelo por ter sido sugerido pelos coordenadores dos programas no Brasil. A
Visão sinaliza um desejo futuro, no caso o que o programa imagina ser dentro de
determinado período de tempo. Por ser mais dinâmica e mudar conforme as
alterações do ambiente, em geral a Visão é elaborada após a definição da
Missão, que é mais estática. No entanto, nada impede que tal regra seja mudada.
Pode ocorrer que se tenha uma Visão e, a partir dela, seja criada a Missão.
Isso é comum na implantação de novos programas.
No modelo proposto, na leitura de cima para baixo da Figura_7, a Visão aparece
por último. Essa disposição dos elementos foi proposital, por imaginar-se que
os programas estão realizando suas ações com o objetivo de cumprir sua Missão e
atingir a sua Visão.
5.2. Plano estratégico
O Plano Estratégico é item obrigatório no sistema de avaliação da AACSB. Sua
utilidade foi realçada pelos coordenadores dos programas nos Estados Unidos,
pois serve como uma ferramenta de acompanhamento e de desenvolvimento dos
programas. Salienta-se que o Plano é o resultado do planejamento estratégico.
Embora esse item não seja exigido pelo sistema de avaliação da CAPES, que
requer, no quesito Proposta, que os programas especifiquem qual foi a sua
evolução e quais são as tendências para seu desenvolvimento, ficou evidente a
sua importância nas entrevistas com os coordenadores dos programas no Brasil.
Apesar de esses programas não possuírem um planejamento estratégico formal,
todos os coordenadores afirmaram pautar-se pelo sistema de avaliação da CAPES,
que passou a ser o grande direcionador estratégico.
No modelo proposto, acredita-se ser válido que os programas definam seus Planos
Estratégicos, levando em conta a Missão, a Visão e as Necessidades dos
Stakeholders. Ademais, o plano ajuda a formalizar os objetivos, definir
responsáveis e especificar as ações a serem desenvolvidas. Sugere-se, também, a
elaboração de planos individuais para professores e alunos, nos quais precisam
ser definidas as atividades de ensino, pesquisa e extensão, bem como as metas
para publicação científica e tecnológica. Dessa forma, obtém-se um alinhamento
dos planos individuais com o plano estratégico do programa.
5.3. Corpo docente
A partir das pesquisas nos programas de pós-graduação nos Estados Unidos e no
Brasil, verificou-se que o principal elemento do sistema de avaliação é o Corpo
Docente. A partir dessa constatação, no modelo proposto o Corpo Docente ficou
no centro da estrutura.
No sistema de avaliação da CAPES, apesar de representar o peso individual de
20%, o quesito Corpo Docente influencia direta ou indiretamente todos os demais
índices do sistema de avaliação.
Nesse contexto, nas pesquisas tornou-se evidente que a preocupação do programa
deve recair sobre a qualificação, o aperfeiçoamento e as condições de trabalho
do corpo docente. A melhoria nos critérios de produção intelectual, formação do
aluno e inserção social torna-se consequência da boa atuação do corpo docente.
5.4. Estrutura do programa
No sistema de avaliação da CAPES, a organização da pesquisa de um programa
ocorre por área de concentração, estrutura curricular, linhas de pesquisa,
projetos de pesquisa e corpo docente. Nesse sentido, os coordenadores dos
programas no Brasil foram unânimes em afirmar que o resultado da avaliação - a
formação do aluno e a produção intelectual - depende da estruturação e da
organicidade desses itens. Assim, no modelo proposto, utilizou-se a
nomenclatura de Estrutura do Programa para organizar os itens (área de
concentração, estrutura curricular, linhas de pesquisa e corpo docente), de
forma a permitir um alinhamento dos resultados do programa, que são a produção
científica e tecnológica e a titulação dos alunos (dissertações e teses).
Na organização desses itens no modelo, seguiu-se a lógica de estruturação do
sistema de avaliação da CAPES. Assim, ela aparece como se fosse um funil, que
parte do elemento mais abrangente - a área de concentração - até chegar ao
corpo docente.
A seguir, são descritos os itens que compõem a Estrutura do Programa, seguindo
a estrutura do sistema de avaliação da CAPES e do Documento da área de
Administração, Ciências Contábeis e Turismo (CAPES, 2013a).
5.4.1. Área de concentração
No sistema de avaliação da CAPES, a área de Concentração integra o quesito
Proposta do Programa como um item qualitativo. Segundo a CAPES (2013a, p. 31),
"a(s) área(s) de concentração visa(m) apontar, de maneira clara, a área do
conhecimento do programa, os contornos gerais de sua especialidade na produção
intelectual e na formação de seus mestres ou doutores". A área de concentração
deve ser o recorte da grande área de conhecimento na qual o programa está
inserido.
No sistema de avaliação da AACSB, não há terminologia para área de
concentração, linhas de pesquisa. Lá, os programas precisam cumprir sua missão
e atender às demandas dos stakeholders.
5.4.2. Linhas de pesquisa
Na CAPES, as linhas de pesquisa "devem expressar a especificidade de produção
de conhecimento da respectiva área de concentração, devem representar um
recorte específico e bem delimitado da área de concentração" (CAPES, 2013a, p.
31).
Nesse sentido, o programa precisa ter Linhas de Pesquisa bem definidas, as
quais representem a competência de pesquisa instalada e que permitam definir o
núcleo temático que direciona o desenvolvimento sistemático de trabalhos. Dessa
maneira, as linhas devem expressar a especificidade da produção de
conhecimento. Salienta-se que, de acordo com o documento da área disponível em
CAPES (2013a), o programa precisa ter um mínimo de quatro docentes permanentes
ligados a cada linha de pesquisa. Destaca-se que um curso de Mestrado deverá
possuir um mínimo de 8 docentes permanentes, enquanto um de Doutorado deverá
possuir um mínimo de 12 docentes permanentes. Em termos práticos, se um
programa possui apenas oito docentes, com produções coerentes com as linhas de
pesquisa e área de concentração, sugere-se sua organização em duas linhas de
pesquisa.
5.4.3. Estrutura curricular
Segundo a CAPES (2013a, p.10), a "estrutura curricular deve apresentar um
núcleo de disciplinas ou seminários de tratamento metodológico relacionado à(s)
área(s) de concentração além de um de disciplinas ou seminários com conteúdos
relacionados às linhas linhas de pesquisa".
Na pesquisa ocorrida nos programas de pós-graduação do Brasil, percebeu-se a
preocupação dos coordenadores em proporcionar um conjunto de disciplinas que
permite representar a área de concentração e as linhas de pesquisa do programa.
Nesses termos, no modelo proposto, sugere-se que o programa defina um conjunto
de disciplinas (obrigatórias e eletivas) que permita a sustentação das linhas
de pesquisa e da área de concentração, de modo a propiciar que o programa
cumpra seus objetivos de pesquisa, de formação dos alunos e de atendimento aos
stakeholders.
5.4.4. Projeto de pesquisa
Para a CAPES (2002), o Projeto de Pesquisa deve ser formulado de maneira que se
possa compreender claramente o objeto de investigação, os objetivos, o método
de pesquisa, os resultados esperados. Adicionalmente, os projetos de pesquisa
devem ser coerentes com a especialização dos docentes, com as linhas de
pesquisa do programa, com sua(s) área(s) de concentração e com o tipo de
formação pretendida.
O documento de área (CAPES, 2006) alerta para que os projetos guardem coerência
com as linhas de pesquisa do programa, bem como o número de projetos por
docente, que não deve ser superior a dois.
A partir dessas exposições, no modelo proposto, para representar a linha de
pesquisa do professor, definiu-se o termo projeto-eixo de pesquisa, que possui
a característica de ser construído ao longo da vida do docente, assumindo um
caráter mais permanente. Essa forma de organizar as pesquisas facilita a
vinculação e o alinhamento da produção intelectual do docente às dissertações e
às teses por ele orientadas. Em outras palavras, passa-se a alinhar, de modo
natural, o tema de pesquisa do aluno ao projeto-eixo do professor e não o
contrário. Nesse sentido, os projetos-eixo devem ser distribuídos de maneira
equilibrada entre os docentes e as linhas de pesquisa do programa. Esse modelo
de estrutura de organização das pesquisas foi encontrado em dois dos quatro
programas de pós-graduação no Brasil.
5.5. Corpo discente
Na pesquisa realizada com os coordenadores no Brasil e nos Estados Unidos,
ficou evidente a importância dos discentes no processo de avaliação dos
programas. Para tanto, o programa precisa ter regras bem definidas para o
ingresso de alunos. No sistema de avaliação da AACSB, o item seleção de alunos
deve ser informado pelos programas de maneira explícita, principalmente no que
se refere às políticas para a seleção de alunos nos cursos oferecidos e se essa
seleção está consistente com a missão do programa (AACSB, 2012c).
Sabe-se que o desenvolvimento das pesquisas em um programa e o sucesso na
orientação de alunos dependem de um processo seletivo que permita a entrada de
candidatos com a qualificação e o perfil desejados. Essa seleção adequada
facilita a adaptação do aluno à estrutura de pesquisa do programa, o que
possibilitará ao programa alcançar melhores resultados.
Nesse cenário, observou-se que uma das alternativas adotadas pelos programas no
Brasil foi a seleção de alunos por linha de pesquisa e, dentro delas, pela
capacidade de orientação do docente. Assim, o estudante entra no programa
ligado a um professor, o que favorece o alinhamento de seu plano de pesquisa
(dissertação ou tese) ao projeto de pesquisa (projeto-eixo) do docente.
No modelo proposto, ao interpretar a interação do corpo discente com os demais
elementos do sistema de avaliação, observa-se que o aluno entra no programa,
passa por sua estrutura e sai por meio da titulação. No ano seguinte, esse
aluno formado retorna ao sistema na condição de Egresso. Dessa maneira, o
modelo permite o acompanhamento e a evolução profissional de seus ex-alunos.
Esse fato faz com que o programa possa comprovar de forma mais efetiva sua
Inserção Social.
5.6. Resultados (item do modelo proposto)
A partir dos estudos realizados nos sistemas de avaliação da CAPES e da AACSB,
e das pesquisas com os coordenadores dos programas no Brasil e nos Estados
Unidos, perceberam-se oportunidades de melhorias na abrangência dos resultados
alcançados e apresentados pelos programas.
No modelo proposto, os programas devem ver os resultados de forma mais ampla,
considerando não somente os aspectos quantitativos (número de titulados e
produção científica e tecnológica), mas também os qualitativos. Desse modo, ao
mesmo tempo em que os programas cumprem as demandas do sistema de avaliação,
podem ampliar suas contribuições no contexto em que atuam. Como consequência,
eles poderão atender às necessidades regionais e nacionais na formação de
recursos humanos de alto nível e colaborar com a produção de conhecimento
científico e tecnológico, o que permitirá aos programas cumprirem suas
respectivas missões.
A partir disso, propõe-se que os programas realizem a medição, a avaliação e o
acompanhamento dos resultados em três elementos: produção científica e
tecnológica; egressos; e inserção social. Melhor acompanhamento desses
resultados proporcionará aos programas melhores indicadores para a obtenção de
recursos públicos e privados, criando um círculo virtuoso entre os envolvidos
diretamente no programa (alunos, professores, funcionários e estrutura para a
pesquisa), e propiciará o atendimento das necessidades dos diversos
stakeholders do programa.
5.6.1. Produção científica e tecnológica
A produção científica, tanto no sistema de avaliação da CAPES quanto no da
AACSB, tem como característica ser avaliada de forma mais quantitativa, sendo
utilizada como um dos principais indicadores para aferir a qualidade de um
programa. A produção científica mais usual é aquela proveniente de artigos
publicados em periódicos, livros, capítulos, coletâneas em livros e trabalhos
completos em congressos.
No Brasil, as áreas de avaliação da CAPES estão fazendo um esforço para avaliar
as produções tecnológicas, inclusive com a construção de indicadores que
permitam atribuir pontuações para cada tipo de produção. Para a área de
Administração, Ciências Contábeis e Turismo, os tipos de produções tecnológicas
mais comuns são: desenvolvimento de tecnologias, patentes, software,
protótipos, processos, metodologias, consultorias, pareceres técnicos e
científicos, relatórios técnicos, entre outros.
No modelo proposto, recomenda-se que os programas elaborem, para seus docentes,
um plano de atividades que contemple as metas de produção científica e
tecnológica, de formação discente e de atuação docente fora do âmbito do
programa ao longo do triênio de avaliação. Esse plano é essencial para que os
programas acompanhem, sistematicamente, a evolução das atividades planejadas e
realizadas por seus professores. Afinal, a avaliação do programa pela CAPES não
pode ser uma surpresa, mas uma constatação do trabalho que vem sendo realizado
ao longo do triênio de avaliação.
Adicionalmente, faz-se necessária a disponibilização de uma estrutura de apoio
às atividades desenvolvidas pelos docentes. Essa estrutura deverá conter:
tradução de artigos para língua estrangeira, revisão de português, tratamento
estatístico, suporte para elaboração de projetos de pesquisa, entre outros.
Finalmente, é necessário manter uma equipe de apoio interna para auxiliar o
programa a cumprir o plano de desenvolvimento traçado. Essa equipe deverá
também orientar os professores: no preenchimento de seus currículos (Plataforma
Lattes); na manutenção do cadastro discente; no Sistema de Coleta de Dados da
CAPES, e no acompanhamento dos egressos. Essa sistemática melhorará a qualidade
das informações relatadas à CAPES, o que trará reflexos positivos na avaliação
do programa.
5.6.2. Egressos
No Brasil, no sistema de avaliação da CAPES, o acompanhamento dos egressos
passou a ser considerado mais fortemente na avaliação dos mestrados
profissionais. Essa necessidade tornou-se realidade no final de 2011, por meio
do Relatório de reunião com os Coordenadores de Programas de Pós-Graduação em
Administração, Ciências Contábeis e Turismo (CAPES, 2011, p. 3-4) que indicou a
importância de avaliar e acompanhar os egressos nos seguintes itens:
•qualidade dos trabalhos de conclusão e produção científica, técnica
e artística dos discentes egressos;
•impacto dos trabalhos de conclusão e da atuação profissional do
egresso;
•percepção dos impactos pelos egressos e/ou organizações/instituições
beneficiadas.
Maccari (2008) afirma que o acompanhamento do egresso é algo essencial em um
programa de pós-graduação, pois permite o entendimento de forma mais precisa da
contribuição do programa ao desenvolvimento das carreiras de seus alunos,
possibilitando que os programas adequem suas estruturas para serem mais
efetivos na formação de seus discentes.
Para a avaliação desse item foi sugerida a realização de pesquisas de
acompanhamento dos egressos, em pelo menos três anos após sua titulação.
Adicionalmente, o Comunicado n. 003/2012 - Área de Administração, Ciências
Contábeis e Turismo - Orientações para Novos APCNs 2012 (CAPES, 2012, p. 2-3)
indica que um aspecto central na avaliação da proposta de um programa será a
análise da relevância local, regional ou temática da proposta e do perfil de
egresso pretendido.
Essa tendência de acompanhar e avaliar o desenvolvimento do egresso vem ao
encontro do que é exigido pelo sistema de avaliação da AACSB, que possui um
indicador que mede como as atividades realizadas pelos programas estão
atendendo aos interesses dos stakeholders, dentre eles os egressos. Os
programas norte-americanos incentivam a criação e a manutenção de associações
de ex-alunos (Alumni), pois desejam que os egressos participem ativamente do
desenvolvimento do programa. Com esse envolvimento dos egressos, os programas
conseguem identificar sua contribuição efetiva no desenvolvimento profissional
do aluno formado por eles. Outro ponto importante é que o egresso traz para o
programa as demandas do mercado de trabalho; assim, o programa consegue
ajustar-se mais rapidamente a elas, tornando-se mais efetivo.
No modelo proposto, o egresso deve ser considerado como um elemento fundamental
na atividade do programa, pois é um disseminador de conhecimento capaz de
modificar o entorno e de contribuir para o desenvolvimento do País. Nesse
sentido, sugere-se que os programas façam coleta sistemática das informações de
seus ex-alunos, criando associações, promovendo encontros anuais e incentivando
sua participação efetiva. Ademais, os dados sobre os ex-alunos, quando
relatados no sistema de avaliação da CAPES, realçam a atuação do programa e a
sua inserção social.
5.6.3. Inserção social
O critério Inserção Social é relativamente novo no sistema de avaliação da
CAPES. Ele apareceu de forma explícita no triênio de avaliação 2004-2006, com
10% do peso total. Por ser a inserção social um quesito recente, as áreas ainda
estão desenvolvendo indicadores quantitativos e qualitativos para melhor medi-
lo.
Assim, no modelo proposto, algumas iniciativas são sugeridas para aumentar a
inserção social do programa, dentre elas: desenvolver parcerias com outros
programas para a oferta de cursos interinstitucionais, como mestrados (Minter)
ou doutorados (Dinter); realizar pesquisas em conjunto com programas nacionais
e internacionais; formar parcerias com organizações públicas e privadas visando
atender a demandas específicas; sistematizar as atividades para a transferência
de conhecimentos e tecnologias para a sociedade; acompanhar, medir e avaliar
sua atuação de forma sistemática e divulgar os resultados para a sociedade.
6. CONSIDERAÇÕES FINAIS
O processo de avaliação da educação não é um fenômeno unicamente brasileiro,
ele vem sendo adotado por vários países com a participação do Estado em maior
ou menor monta. O interesse dos governos pela avaliação intensificou-se a
partir de 1980, sendo cunhada a expressão "Estado Avaliador" que traduz o
estilo competitivo de governos que importam modelos de gestão privada para o
domínio público, ou seja, seguem a lógica de mercado, com foco nos resultados
(Schwartzman, 1990; Afonso, 2000). Nessa lógica, o processo de avaliação adotou
uma nova dinâmica, pois passou a reunir informações para que o Estado tenha
subsídios para orientar os financiamentos, canalizar as pressões sociais por
acesso ao ensino de qualidade e, assim, atender às demandas do setor produtivo
(Schwartzman, 1990; Durham, 1992).
No entanto, o processo de avaliação de instituições de ensino superior e de
programas, em geral, apresenta alguns problemas que devem ser superados. Thayer
e Whelan (1987) recomendam a utilização de uma metodologia bem definida, que
seja reconhecida e aceita pelos avaliados, para não colocar a credibilidade do
processo em xeque. Para esses autores, há dois tipos genéricos de avaliação: um
com ênfase quantitativa e outro com ênfase qualitativa na reputação do
avaliado. Sendo assim, dependendo do modelo utilizado, os resultados da
avaliação podem ser bem distintos.
É nesse contexto que os sistemas de avaliação no Brasil e nos Estados Unidos se
inserem. O brasileiro é focado nos resultados, apresentando critérios e
indicadores em sua expressiva maioria quantitativos, com ênfase no produto,
enquanto o norte-americano é centrado nos processos de ensino e aprendizagem,
com quesitos e indicadores de caráter mais qualitativo, no sentido de orientar
os programas a alcançarem suas missões, sendo sua ênfase no processo.
Assim, ao se estudarem os sistemas de avaliação no Brasil e nos Estados Unidos
e a pesquisa com os coordenadores dos oito programas investigados, verificou-se
que existem espaços para melhorar o processo de gestão dos programas no Brasil.
Essas possibilidades de melhoria foram sistematizadas em um modelo de gestão de
programas de pós-graduação que sugere a atenção dos programas aos seguintes
elementos: missão e visão; plano estratégico; corpo docente; estrutura do
programa; corpo discente; resultados, que englobam produção científica e
tecnológica, egressos e inserção social.
O modelo proposto tem a finalidade de permitir aos programas não apenas atender
aos critérios de avaliação da CAPES, mas, também, principalmente, ampliar sua
atuação com uma efetiva contribuição à sociedade brasileira.