BrBRHUAp0102-30982011000100002

Diferenças intertemporais na média e distribuição do desempenho escolar no Brasil: o papel do nível socioeconômico, 1997 a 2005

Introdução Estudos quantitativos com foco na avaliação da educação escolar acumulam, há muitos anos, evidências que comprovam a importância das origens sociais no processo de construção do sucesso escolar de crianças e jovens. Nos Estados Unidos, pesquisas sobre avaliação da educação escolar têm sido realizadas desde o início do século XX (TEDDLIE; STRINGFIELD, 2007; MADAUS et al., 2008).

Entretanto, a consolidação de uma linha de pesquisa quantitativa focada na avaliação da relação entre os atributos escolares e o desenvolvimento das habilidades cognitivas dos estudantes ocorreu apenas após a publicação do conhecido relatório Coleman, em 1966 (BOGOTCH et al., 2007; TEDDLIE; STRINGFIELD, 2007; CREEMERS, 2007; BROOKE; SOARES, 2008).

No Brasil, os estudos direcionados para avaliação do desempenho escolar iniciaram-se após a consolidação do Sistema de Avaliação da Educação Básica ' Saeb, no início da década de 1990. O Saeb consiste em uma avaliação, em larga escala, da qualidade do ensino oferecido pelo sistema educacional brasileiro, com base na aferição do desempenho dos alunos nos exames de proficiência para uma determinada etapa da educação formal. É formado também por questionários que coletam informações contextuais dos estudantes e estabelecimentos de ensino (incluindo dados sobre turmas, professores, diretores, instalações físicas e práticas internas das escolas).

Desde 1995, as informações sobre o desempenho dos alunos nos exames de proficiência produzidos pelo Saeb passaram a ser comparáveis entre os anos e entre as séries escolares. Esta comparação foi possível devido à mudança metodológica introduzida na construção dos instrumentos e atribuição dos escores que medem o aprendizado do aluno, dada pela substituição da Teoria Clássica dos Testes (TCT) pela Teoria de resposta ao Item (TRI). Com a disponibilização e a composição de uma série histórica bienal, os dados produzidos pelo Saeb possibilitaram o monitoramento do nível e da tendência do desempenho escolar médio dos estudantes brasileiros das 4ª e 8ª séries do ensino fundamental e 3ª série do ensino médio.

A constatação de uma tendência declinante dos níveis de desempenho alcançado pelos estudantes da educação básica, principalmente após a divulgação dos dados de 1999, desencadeou uma onda de reflexões e estudos acerca do problema da baixa qualidade do ensino no Brasil (BRASIL, 2000; NERI; CARVALHO, 2002; FERNANDES; NATENZON, 2003; SOUZA, 2006; ALVES, 2007). Uma das explicações para este fenômeno se pautou no aumento da heterogeneidade do público escolar, em virtude das políticas de ampliação do acesso ao ensino e de correção do fluxo escolar, implementadas na segunda metade da década de 1990. Entretanto, os resultados dos estudos não são conclusivos e apontam para a necessidade de novas investigações.

O presente trabalho pretende contribuir para esta literatura, procurando investigar o efeito das mudanças ocorridas nas características individuais, familiares e escolares dos alunos da 4ª série do ensino fundamental sobre as alterações ocorridas no desempenho escolar entre 1997 e 2005. Utilizando como referência estudos já consolidados na literatura sobre este tema,1 pode-se afirmar que o aproveitamento escolar de um estudante é produzido por diferentes insumos, que incluem as características observáveis e não-observáveis do aluno e da escola por ele frequentada. Cada um desses insumos possui determinada produtividade ou taxa de retorno, que é necessária para que o mesmo se transforme em proficiência escolar. Esta relação de produtividade entre os insumos individuais, familiares e escolares e o produto final (no caso, o desempenho escolar) constitui a essência da função de produção educacional.

Tomando como base a função de produção educacional, consideramos que as variações na proficiência escolar observadas entre 1997 e 2005 podem ser explicadas por três fontes: mudanças na composição das características (Xs) observáveis relacionadas ao aluno e à escola ' efeito composição; alterações na produtividade ou taxa de retorno (βs) dessas características ' efeito retorno; e mudanças na composição e retorno das características não observadas dos alunos e das escolas ' efeito resíduo.

Para identificar estes efeitos, utilizamos o método de decomposição baseado em microssimulação contrafactual desenvolvido por Juhn, Murphy e Pierce (1993), bastante empregado nos estudos sobre as desigualdades de renda.2 Com esta metodologia, foi possível identificar e medir os componentes que explicam a diferença na média e na distribuição (dada pela diferença entre os percentis: 90-10, 90-50, 50-10) do desempenho escolar, no período de 1997 a 2005.

A ideia em transpor os métodos desenvolvidos na área de economia do trabalho para os estudos educacionais justifica-se pela similaridade existente na natureza das variáveis-resposta utilizadas em ambas as áreas: salário e proficiência. Estatisticamente, essas variáveis são classificadas como quantitativas e contínuas e podem ser consideradas importantes preditoras do bem-estar individual. Entretanto, diferentemente dos estudos econômicos ' que tradicionalmente consideram apenas as variáveis individuais (por exemplo, escolaridade e experiência dos trabalhadores) como fatores associados ao rendimento do trabalho ', nos estudos educacionais tanto as variáveis desagregadas por indivíduo quanto aquelas agregadas por escola são importantes preditoras do desempenho escolar.

Para lidar com a hierarquia presente nos dados educacionais e, ao mesmo tempo, decompor a variação do desempenho nas unidades micro (aluno) e macro (escola), adotamos a estratégia de implementar as regressões separadamente em cada uma das unidades de análise: aluno e escola. Embora reconheçamos que esta estratégia metodológica não seja a melhor opção em estudos que envolvem dados de natureza hierárquica, seu uso justifica-se pela possibilidade de identificar cada um dos efeitos ' composição, retorno e resíduo ' em ambos os níveis. Tendo em vista que nos exercícios de decomposição estamos interessados apenas na magnitude dos coeficientes e não em sua variância, esta alternativa se encaixa ao propósito do presente estudo, uma vez que os coeficientes gerados pelo método dos mínimos quadrados ordinários e pelo modelo hierárquico linear são muito similares3 (RAUDENBUSH; BRYK, 2002; BICKEL, 2007). Portanto, apesar das limitações impostas pelo uso dos modelos de regressão linear clássica aos dados educacionais, consideramos que este estudo contribui de forma relevante para a literatura de avaliação educacional, pois ainda não há trabalhos que procuram identificar e medir os efeitos descritos anteriormente.

Desempenho escolar e nível socioeconômico: como estas medidas variaram entre 1997 e 2005? Desde o início da avaliação do desempenho escolar dos estudantes da educação básica brasileira, na década de 1990, nota-se uma preocupação com os baixos níveis alcançados pelos alunos, principalmente a partir da constatação de uma tendência declinante deste indicador da qualidade da educação entre 1997 e 2005, apontada pelos dados do Saeb, como mostra o Gráfico_1.

Esta evidência suscita questões acerca dos fatores que podem ter influenciado os resultados educacionais dos estudantes neste período. A primeira justificativa dada para a piora no aproveitamento médio dos alunos esteve associada ao aumento da cobertura do ensino fundamental, que ocorreu, principalmente, devido à inclusão de crianças com baixo nível socioeconômico4 no sistema de ensino (SOUZA, 2006).

Embora o discurso oficial seja desprovido de evidências empíricas mais aprofundadas e se respalde apenas nos achados internacionais, o argumento utilizado se sustenta nos resultados encontrados pela literatura sobre os fatores associados ao desempenho escolar no Brasil (FLETCHER, 1998; CÉSAR, SOARES; MAMBRINI, 2001; FERRÃO; FERNANDES, 2001; ALBERNAZ et al., 2001; SOARES, 2005).

Há consenso de que o nível socioeconômico dos alunos é o fator mais associado ao desempenho escolar. Em outras palavras, pais com elevado (baixo) capital econômico e cultural são mais (menos) propensos a incentivarem e valorizarem o estudo de seus filhos. Assim, o aumento na proporção de crianças com baixo nível socioeconômico no sistema de ensino levaria ao aumento na proporção de piores resultados escolares e, consequentemente, reduziriam o desempenho médio global.

A mudança na composição social dos estudantes é apenas uma das faces das alterações ocorridas no perfil do alunado. Estudos recentes têm enfatizado a melhoria do fluxo escolar, verificada na década de 1990, como um dos fatores desencadeadores de mudanças na composição etária do grupo de alunos que frequentam determinada série escolar (NERI; CARVALHO, 2002; FERNANDES; NATENZON, 2003; ALVES, 2007).

Com o objetivo de evitar os vieses de seletividade na medição da qualidade do ensino produzidos pela expansão das matrículas e, principalmente, pelo aumento nas taxas de aprovação, estes estudos procuram comparar o desempenho escolar entre coortes, em vez de compará-lo entre as séries avaliadas pelo Saeb. A ideia é que, ao comparar o desempenho entre gerações sucessivas ' por exemplo, entre as coortes de crianças com dez anos de idade ao longo dos anos em que o Saeb foi aplicado ', obtêm-se estimativas das habilidades e competências cognitivas livres do efeito de mudanças na composição etária das turmas que frequentam a 4ª série do ensino fundamental.

Dado que uma parcela da população de crianças com dez anos não foi avaliada pelo Saeb, seja por não frequentar a escola, seja por estar atrasada/adiantada em relação à série escolar incluída na avaliação, os pesquisadores desenvolveram metodologias que combinam os dados do Saeb com os de outras pesquisas5 para obter as informações faltantes sobre o desempenho escolar da coorte em análise.

Neri e Carvalho (2002) constataram aumento de 3,48 pontos, em Português, e 3,67 pontos, em Matemática, no desempenho escolar médio das coortes de dez anos de idade, entre 1995 e 2001. Já Fernandes e Natenzon (2003) verificaram crescimento no desempenho escolar do 7º decil das coortes de dez anos, entre 1995 e 1999: 13,16 pontos, em Português; e 18,34 pontos, em Matemática. Por fim, Alves (2007) observou redução de 7,5 pontos no desempenho escolar médio em Matemática, para as estas mesmas coortes, entre 1999 e 2003.

Como é possível notar, os resultados encontrados nos três trabalhos citados divergem em termos de magnitude e direção, no que tange às variações no desempenho escolar ao longo dos anos. Enquanto Neri e Carvalho (2002) e Fernandes e Natenzon (2003) concluem que, caso não houvesse o efeito de mudanças na composição etária, o desempenho escolar teria aumentado no período em análise (um crescimento modesto, no primeiro trabalho, e outro expressivo, no segundo), Alves (2007) revela uma redução neste indicador de qualidade do ensino.

As diferenças nos resultados encontrados pela literatura, no que se refere ao efeito da heterogeneidade do público escolar sobre as variações nos resultados dos exames de proficiência, apontam para a necessidade de compreender melhor os fatores que estiveram por trás das variações no desempenho escolar, principalmente em um contexto marcado por reformas educacionais e mudanças no perfil da população que frequenta o sistema de ensino.

O Gráfico_2 mostra que, entre 1997 e 1999, período marcado pelo expressivo declínio do desempenho escolar médio, houve um aumento de 4,59% nas matrículas totais na 4ª série do ensino fundamental. Pode-se imaginar o crescimento das matrículas sendo alimentado por dois efeitos: demográfico e de políticas educacionais.

[/img/revistas/rbepop/v28n1/a02grf02.jpg]

O efeito demográfico seria dado pelo aumento no tamanho das coortes em idade de frequentar este nível de ensino. Uma aproximação deste efeito pode ser vista pela variação no tamanho das coortes de 9, 10 e 11 anos, uma vez que aproximadamente 80% dos alunos matriculados na 4ª série do ensino fundamental encontram-se nesta faixa etária.

Entretanto, o Gráfico_2 revela uma redução no tamanho das coortes de 9 e 10 anos e um pequeno aumento na de 11 anos. Dessa forma, o efeito demográfico parece não explicar a grande expansão das matrículas ocorrida entre 1997 e 1999.

O crescimento das matrículas nesta série escolar parece ter sido alimentado pelas políticas educacionais implementadas no período. Conclusão similar é encontrada no estudo de Soares e Souza (2003). Podemos citar, por exemplo, a implementação do Fundo de Manutenção e Desenvolvimento da Educação Fundamental e Valorização do Magistério (Fundef), em 1998; a criação do Programa Nacional de Garantia de renda Mínima, iniciado em 1997, que tinha como um dos objetivos assegurar o acesso e a permanência de crianças e adolescentes de 7 a 14 anos de menor renda no sistema de ensino; e a criação da Lei de Diretrizes e Bases da Educação (LDB), que estabeleceu, entre outras diretrizes, a possibilidade de as escolas do ensino fundamental adotarem o sistema de ciclos e progressão continuada e, consequentemente, reduzirem as taxas de abandono e evasão escolares.

Nesse sentido, é coerente imaginar que a inclusão tenha ocorrido entre as camadas mais pobres da população. De fato, no período posterior às reformas educacionais implementadas na década de 1990, houve um aumento na proporção de alunos com mães menos escolarizadas, o que sinaliza uma mudança na composição socioeconômica dos estudantes. Observa-se, na Tabela_1, que a proporção de alunos na 4ª série do ensino fundamental cujas mães nunca estudaram aumentou entre 1997 e 2001, enquanto a daqueles com mães mais escolarizadas se reduziu.

Este resultadoé mais evidente entre os estudantes situados no 1º decil da distribuição da proficiência.

[/img/revistas/rbepop/v28n1/a02tab01.jpg]

A revisão da literatura e as estatísticas apresentadas nesta seção mostram que a composição do público escolar brasileiro modificou-se ao longo dos últimos anos, em decorrência dos efeitos de políticas educacionais de ampliação do acesso escolar e manutenção das crianças e jovens no sistema de ensino. A inclusão de alunos com menor background familiar e a manutenção daqueles com maiores dificuldades de aprendizado estão entre os fatores que afetam diretamente o resultado educacional global. Como o Saeb coleta informações de período e não de coorte, mudanças na heterogeneidade dos atributos individuais, familiares e escolares que se associam ao desempenho dos alunos, sejam estas observáveis ou não, podem afetar de forma sistemática as medidas dos resultados educacionais em cada período. Surge, portanto, a necessidade de estudar alguns aspectos pouco explorados na literatura, como o efeito da dinâmica das características dos alunos e das escolas sobre a variação no desempenho escolar nos últimos anos.

Dados Base de dados Os dados empregados neste estudo foram coletados pelo Sistema de Avaliação da Educação Básica (Saeb) e fornecidos pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Utilizaram-se as informações obtidas nos ciclos de avaliação realizados em 1997, 1999, 2001, 2003 e 2005, para a 4ª série do ensino fundamental no Brasil.6 As bases de dados do Saeb contemplam dois tipos de informações: proficiência dos estudantes em Língua Portuguesa e Matemática; e características contextuais dos alunos e das escolas por eles frequentadas (incluindo as informações sobre seus professores e diretores).

A amostra utilizada neste trabalho, apresentada na Tabela_2, abrange os alunos da 4ª série do ensino fundamental matriculados nas escolas públicas (exceto as federais) e particulares localizadas na área urbana.7

[/img/revistas/rbepop/v28n1/a02tab02.jpg]

Como é possível notar, a partir de 1999 houve aumento relevante no número de escolas e redução no número máximo de alunos por escola. Tal fato se explica pelas modificações ocorridas no plano amostral do Saeb. Conforme descrito por Franco (2001), a partir de 1999, o processo de amostragem foi modificado. Em vez de a amostra ser coletada por conglomerado em dois estágios (sorteio de municípios no primeiro estágio e de escolas no segundo), as escolas passaram a ser sorteadas diretamente com o objetivo de se obter maior espalhamento da amostra.

Contudo, esta mudança metodológica não interfere na comparabilidade dos resultados quando são utilizados os pesos amostrais, pois, segundo o relatório técnico da amostra do Inep, presente no Dicionário de Dados do Saeb de 2001, "o seu uso garante a compensação dos efeitos na amostragem com taxas diferenciadas nos diversos estratos da pesquisa".

Optamos por trabalhar com a amostra de alunos avaliados em Matemática, devido ao caráter mais tipicamente escolar do conhecimento desta disciplina.

A escolha em trabalhar com os dados da 4ª série do ensino fundamental justifica-se por ser esta a série escolar, entre as três avaliadas pelo Saeb, que apresenta menor seletividade, uma vez que a cobertura está praticamente universalizada, além de ter sido a mais afetada pelo processo de expansão do ensino, quando comparada à 8ª série do ensino fundamental e à 3ª do ensino médio. Outra questão está relacionada ao fato de que, como os alunos ainda estão no início da trajetória escolar, o controle pelo conhecimento prévio do estudante é maior, o que minimiza os problemas derivados do uso de informações sobre o desempenho do aluno em um único período, quando não se dispõem de informações sobre o valor adicionado.

Variáveis selecionadas e estatísticas descritivas As variáveis relacionadas ao aluno e à escola foram selecionadas com base no referencial teórico proposto por Franco et al. (2003), na literatura especializada e nas possibilidades presentes nos questionários contextuais do Saeb.

Desde a implementação do Saeb, os questionários contextuais têm passado por modificações que visam o aprimoramento das medidas dos fatores individuais, familiares e escolares que se associam ao desempenho escolar dos alunos. Por esse motivo e, também, pelo fato de compararmos modelos iguais entre os anos, procuramos selecionar as variáveis que se repetem nos questionários dos ciclos do Saeb de 1997, 1999, 2001, 2003 e 2005 e que apresentam um padrão nos itens de resposta.

Para a construção dos modelos, nos respaldamos nos resultados da literatura e selecionamos as variáveis comumente utilizadas no nível do aluno e da escola, seguindo a opção de construir modelos parcimoniosos.

Nível socioeconômico Devido à importância desta variável na análise que será feita a seguir, optamos por descrever, de forma sucinta, a estratégia adotada para construir o nível socioeconômico dos estudantes.

A condição socioeconômica dos alunos não é uma variável diretamente observada e, portanto, não está disponível nos dados produzidos pelo Saeb. Dada a importância desse construto nos estudos educacionais, tornou-se necessário criar uma escala de medida segundo a qual esta variável assume determinados valores. Para tanto, neste trabalho, optou-se por empregar a Teoria de resposta ao Item (TRI), por ser a técnica comumente utilizada nas avaliações educacionais desenvolvidas com os microdados do Saeb. Como referencial teórico para a construção desta medida latente, utilizamos o estudo de Alves e Soares (2008).

Para a elaboração do índice, além da escolaridade do pai e da mãe, foram consideradas as seguintes variáveis (ou itens): televisão em cores; vídeo cassete; radio; geladeira; freezer; máquina de lavar; aspirador de pó; telefone fixo; celular; computador; carro; banheiro; e empregada doméstica. A inclusão desses itens foi baseada na análise de suas curvas características. O índice varia de 0 a 10. Neste caso, quanto mais próximo de 0 (zero), menor é o nível socioeconômico dos alunos e, quanto mais próximo de 10, melhor é sua condição socioeconômica. A utilização da Teoria de resposta ao Item e a manutenção de itens âncoras ao longo da série histórica garantem a comparabilidade do índice entre os vários anos incluídos no estudo.

A TRI estabelece uma relação probabilística entre a resposta ao item do questionário e o atributo latente para cuja medida contribui.8 No caso deste estudo, o atributo latente é a condição socioeconômica familiar e o item refere-se ao conjunto de perguntas sobre a existência ou não de determinados bens duráveis ou de infraestrutura domiciliar. Por exemplo, no caso de um item com respostas graduadas (0 = não possui carro; 1 = possui um carro; 2 = possui dois ou mais carros), a probabilidade de o aluno responder que possui dois ou mais carros em casa será pequena se o nível socioeconômico do aluno for pequeno, ou será grande se o mesmo também o for.

Uma vantagem da TRI em relação aos métodos convencionais é a possibilidade de estimar a medida do NSE mesmo com dados incompletos para algum dos indicadores, pois esse processo é viável mesmo com apenas alguns dos itens respondidos. A ausência de indicadores é muito comum quando são utilizadas as bases de dados do Saeb, uma vez que seus questionários passam por constantes mudanças para aprimoramento das questões a serem investigadas.

O Gráfico_3 apresenta o histograma desta medida para os 164.496 alunos incluídos neste estudo e o nível socioeconômico discriminado por rede de ensino em que esses alunos estão matriculados. Nota-se que há maior concentração de alunos com baixo nível socioeconômico (próximo ao valor 4). Isto é esperado, pois aproximadamente 68% dos alunos estão matriculados nas escolas públicas, onde a maior parte provém de famílias com baixo nível socioeconômico. Verifica- se, pelo gráfico de caixas, que os alunos da rede pública de ensino têm, como esperado, condições socioeconômicas mais baixas e mais parecidas entre si.

[/img/revistas/rbepop/v28n1/a02grf03.jpg]

No Gráfico_4, que apresenta a distribuição do nível socioeconômico em cada ciclo do Saeb, observa-se uma redução no nível socioeconômico médio em 1999. A partir de 2001, este índice registra leve aumento e, em 2005, chega a superar o valor atingido em 1997. A melhoria do nível socioeconômico médio dos alunos a partir de 2003 pode ser pensada como uma resposta ao processo de seletividade.

Em um primeiro momento, há aumento expressivo nas matrículas de crianças de origem menos favorecida como reflexo das ações políticas de universalização.

Uma vez matriculadas no sistema de ensino, estas crianças passarão por maiores dificuldades de aprendizado e, consequentemente, terão maiores chances de serem reprovadas ou abandonarem os estudos. Tal processo de seleção elevaria a média do nível socioeconômico dos estudantes nos anos posteriores à massificação do ensino.

[/img/revistas/rbepop/v28n1/a02grf04.jpg]

As taxas de transição (evasão, promoção e repetência) observadas entre 1999 e 2005 colaboram para sustentar esta hipótese. De acordo com o Sistema de Estatísticas Educacionais do Inep (EDUDATABRASIL), a taxa de evasão da 4ª série do ensino fundamental no Brasil elevou-se de 6,0%, em 1999, para 8,1% e 7,4%, em 2003 e 2005, respectivamente. Ao mesmo tempo, a taxa de promoção reduziu-se de 80,9%, em 1999, para 78,3%, em 2003 e 2005, enquanto a taxa de repetência elevou-se de 13,1%, em 1999, para 13,6%, em 2003, e para 14,3%, em 2005, neste mesmo nível de ensino.

A evolução temporal do nível socioeconômico por decil do desempenho escolar é apresentada no Gráfico_5. Verifica-se que a redução do nível socioeconômico médio em 1999 provém do decréscimo acentuado desta medida entre os alunos com menor desempenho escolar, situados nos primeiros décimos da distribuição. Entre aqueles situados no último décimo, é possível notar uma melhoria em suas condições socioeconômicas.

[/img/revistas/rbepop/v28n1/a02grf05.jpg]

Variáveis do aluno A variável-resposta dos modelos de regressão corresponde ao resultado do aluno nos testes padronizados de conhecimento em Matemática. Como covariáveis de caracterização do perfil do aluno, selecionamos as variáveis sociodemográficas (sexo, cor e estrutura familiar), a defasagem idade-série, o nível socioeconômico e a motivação do estudante. A descrição e as formas de medida destas variáveis estão presentes no Quadro_1.

[/img/revistas/rbepop/v28n1/a02qdr01.jpg]

Para cada covariável, incluímos também uma indicadora de dados ausentes, com o intuito de evitar a perda de informações.9 Variáveis da escola Embora seja reconhecida a importância da escola no aprendizado do aluno, ainda há grandes dificuldades em mensurar e identificar os atributos escolares que se associam a este aprendizado. Em geral, atributos importantes, como a didática do professor, não são possíveis de serem coletados pelos questionários contextuais. Por esse motivo, a utilização de dados experimentais (DUFLO, 2001; CHIN, 2002 apudGLEWWE; KREMMER, 2006) ou de natureza qualitativa (BANCO MUNDIAL, 2008) aparece como uma opção investigativa em estudos que avaliam a qualidade da educação.

Tendo em vista que estamos lidando com dados de natureza quantitativa e não- experimentais, como é o caso das informações coletadas pelo Saeb, as variáveis escolares selecionadas neste trabalho são limitadas e podem não refletir adequadamente seu efeito sobre o aprendizado dos alunos. Por exemplo, a qualidade de um professor, medida pela sua escolaridade, pode ser imprecisa, na medida em que não capta o empenho ou a dedicação do docente em sala de aula.

Além disso, especificamente neste trabalho, outra limitação surge pelo fato de trabalharmos com vários ciclos do Saeb e, consequentemente, da necessidade de encontramos variáveis compatíveis entre eles.

De acordo com as possibilidades presentes nos questionários contextuais do Saeb, optamos por caracterizar a escola por meio da inclusão de variáveis que representam o perfil dos professores e diretores e as condições de infraestrutura escolar. A rede de ensino é usada para controlar as diferenças de qualidade existentes entre os sistemas público e particular de ensino. As diferenças contextuais decorrentes da localização da escola em áreas com maior ou menor desenvolvimento são controladas pelas indicadoras de regiões. A composição do público escolar é controlada pelas características médias dos estudantes, tais como nível socioeconômico, motivação, cor, defasagem idade- série, sexo e estrutura familiar. O Quadro_2 sintetiza as variáveis selecionadas na esfera escolar.

[/img/revistas/rbepop/v28n1/a02qdr02.jpg]

Estatísticas descritivas A Tabela_3 apresenta as estatísticas descritivas de todas as variáveis selecionadas para a análise. Para o cálculo das médias e proporções, foi utilizado o peso amostral referente a cada uma das unidades de análise: aluno e escola. Para os alunos, empregou-se o peso amostral adequado para as análises feitas separadamente para cada uma das disciplinas.

[/img/revistas/rbepop/v28n1/a02tab03.jpg]

Método de decomposição baseado em simulações contrafactuais Para cumprir o objetivo deste estudo, que é identificar e quantificar o efeito de mudanças ocorridas na "quantidade" e "retorno (coeficientes)" dos fatores associados ao desempenho escolar (em especial, o nível socioeconômico) sobre as mudanças no desempenho no período de 1997 a 2005, foram utilizadas técnicas empíricas de decomposição baseadas em simulações contrafactuais.

Na literatura educacional, a relação entre o desempenho escolar e os fatores associados é comumente modelada por meio de uma função de produção educacional.

Como resultados desta função, temos o grau de sensibilidade do desempenho escolar aos insumos individuais e escolares inseridos neste processo (representado pela estrutura de coeficientes da regressão) e o componente não explicado (o resíduo), que, em geral, é atribuído às características não observáveis pelo pesquisador, mas que exercem influência sobre o aprendizado do aluno.

O uso das técnicas de decomposição baseadas em simulações contrafactuais permite medir o impacto da variação em cada um dos componentes da função de produção educacional (insumos, coeficientes e resíduo) sobre as variações intertemporais ocorridas no desempenho escolar (entendido como produto desta função). Neste estudo, utilizamos o método de decomposição elaborado por Juhn, Murphy e Pierce (1993), que permite, além da decomposição do resultado médio de uma regressão, decompor o resultado nos quantis e em medidas de desigualdade.

Tal metodologia ainda incorpora à decomposição o termo de erro, que supostamente é nulo na média, mas diferente de zero nos quantis. Como em uma função de produção educacional o ajuste é geralmente baixo, o erro tem papel importante, pois responde pelas características não observáveis. Assim, tornou- se interessante utilizar uma abordagem econométrica que fosse capaz de levar em conta as diferenças em suas distribuições.

Para lidar com a hierarquia presente nos dados educacionais e, ao mesmo tempo, decompor a variação do desempenho nas unidades micro (aluno) e macro (escola), adotamos a estratégia de implementar as regressões separadamente em cada uma dessas unidades de análise.10 Alunos como unidade de análise Para formalizarmos o método, supomos que a proficiência escolar do indivíduo i e j, em dois períodos, t0 e t1, respectivamente, possa ser modelada pelas seguintes equações: [/img/revistas/rbepop/v28n1/a02frm01.jpg] A equação (1) indica que o desempenho escolar do aluno i no ano t0 está associado a um vetor de características individuais observáveis, [/img/ revistas/rbepop/v28n1/a02img02.jpg], a uma constante [/img/revistas/rbepop/ v28n1/a02img03.jpg] e à heterogeneidade não observada sintetizada no termo de erro, [/img/revistas/rbepop/v28n1/a02img04.jpg], para o qual assume-se média condicional nula ( E[ uit/Xit ] = 0). Esta mesma formalização pode ser mantida para um aluno j avaliado em um período posterior, t1, como mostra a equação (2).

Tomando como base estas duas equações e seguindo a especificação de Juhn et al.

(1993), pode-se dividir o termo de erro em dois componentes: o percentil do indivíduo i, [/img/revistas/rbepop/v28n1/a02img05.jpg], na distribuição do erro; e a função de distribuição acumulada do erro, [/img/revistas/rbepop/ v28n1/a02img06.jpg]. Por definição, tem-se a função de distribuição acumulada condicional do erro definida como: [/img/revistas/rbepop/v28n1/a02frm03.jpg] onde [/img/revistas/rbepop/v28n1/a02img07.jpg](. /X) é a função inversa da distribuição do erro acumulada condicional em X. Assim, as equações (1) e (2) podem ser reescritas como se segue: [/img/revistas/rbepop/v28n1/a02frm04.jpg] Para realizar a análise contrafactual, utilizamos a equação do período t0 (eq.

4) como referência. Em seguida, empregamos os coeficientes e a distribuição dos erros desta equação para criar as distribuições contrafactuais da proficiência escolar em t1e, assim, isolar o efeito de mudanças nas características, nos coeficientes e no resíduo entre dois pontos no tempo.11 A primeira distribuição contrafactual, [/img/revistas/rbepop/v28n1/ a02img08.jpg], é criada quando se utilizam os coeficientes e a distribuição dos erros em t0, mantendo fixa apenas a distribuição dos atributos individuais em t1: [/img/revistas/rbepop/v28n1/a02frm06.jpg] Pela equação (6), percebe-se que a variação da proficiência entre t0 e t1 só ocorrerá se a distribuição das características individuais variarem temporalmente.

Da mesma forma, é possível calcular a segunda distribuição contrafactual do desempenho escolar no ano t1 variando as características individuais e os retornos a estas características, mantendo constante apenas a distribuição dos erros: [/img/revistas/rbepop/v28n1/a02frm07.jpg] Com base nessas duas distribuições fictícias, o cálculo dos efeitos composição (C), retorno (R) e resíduo (Rs) entre t0 e t1 pode ser facilmente implementado da seguinte forma: [/img/revistas/rbepop/v28n1/a02frm08.jpg] Observa-se que na equação (8) apenas as características (Xs) variam entre t0e t1, o que permite interpretá-las como o efeito de mudanças na composição dos atributos dos alunos entre esses dois pontos no tempo. De forma similar, a equação (9) pode ser atribuída ao efeito retorno, pois apenas mudanças nos coeficientes são consideradas entre t0 e t1. Por último, a equação (10) capta apenas mudanças nos componentes não observáveis, que, por sua vez, podem explicar as diferenças na distribuição do desempenho escolar entre o período de referência, t0, e de comparação, t1.

Escolas como unidade de análise Para identificar os efeitos composição, retorno e resíduo no nível macro, definido pelas unidades escolares, utilizamos apenas a variação entre as escolas. Neste caso, adotou-se a estratégia convencional da regressão na média como variável-resposta, conforme o seguinte modelo:12 [/img/revistas/rbepop/v28n1/a02frm11.jpg] Neste modelo, [/img/revistas/rbepop/v28n1/a02img09.jpg] representa a proficiência média dos alunos da escola j no ano t0; [/img/revistas/rbepop/ v28n1/a02img10.jpg] corresponde às variáveis da escola j no ano t0 (incluindo as variáveis dos professores, diretores, infraestrutura escolar, rede de ensino e localização geográfica); [/img/revistas/rbepop/v28n1/a02img11.jpg] refere-se à média das características individuais dos alunos da escola j no ano t0; e [/ img/revistas/rbepop/v28n1/a02img12.jpg] representa o termo de erro da escola jno ano t0. Formalmente, estas variáveis são definidas como: [/img/revistas/rbepop/v28n1/a02frm12.jpg] Sendo Mjo número de alunos na escola j.

Partindo da equação (11), assumimos que [/img/revistas/rbepop/v28n1/ a02img13.jpg] tem uma função de distribuição Gte que qjt representa o percentil da escola j nesta distribuição: [/img/revistas/rbepop/v28n1/a02frm15.jpg] Assim, é possível decompor a variação na proficiência média da escola nos três componentes propostos por Juhn et al. (1993), entre dois períodos: t0 (referência) e t1 (comparação). Supomos que a distribuição da proficiência média da escola j no ano t1 possa ser reconstruída como: [/img/revistas/rbepop/v28n1/a02frm16.jpg] Com base nestas três distribuições, o cálculo dos efeitos composição (C), retorno (R) e resíduo (Rs) entre os períodos t0e t1pode ser feito da seguinte forma: [/img/revistas/rbepop/v28n1/a02frm19.jpg] Com as equações (19), (20) e (21), torna-se possível estimar o efeito de variações nas características das escolas (efeito composição escolar), na taxa de retorno destas características (efeito retorno escolar) e na heterogeneidade não observada da escola (efeito resíduo escolar) sobre as variações na proficiência média da escola ao longo dos anos.

A importância do nível socioeconômico para as variações no desempenho escolar Resultados da decomposição na média A Tabela_4 apresenta os resultados da decomposição da diferença de médias do desempenho escolar entre o ano de referência (1997) e os anos de comparação (1999, 2001, 2003 e 2005), para os exercícios em que o aluno foi utilizado como unidade de análise.

Observa-se que, entre 1997 e 1999, período em que houve acentuado declínio no desempenho escolar médio dos alunos (queda de 10,12 pontos ou -0,23 em múltiplos de desvio-padrão), as mudanças composicionais do alunado (ou o efeito composição) foram responsáveis por 50% da diferença total no desempenho escolar médio. Entre as características dos alunos incluídas na análise, o nível socioeconômico se destaca como aquela que mais contribuiu para este resultado.

A redução do nível socioeconômico médio dos alunos, em 1999, respondeu pelo declínio de 4,5 pontos do desempenho médio, o que representa 89% do efeito composição total e 44% da diferença de médias.

As demais características que compõem o efeito composição possuem pequena contribuição para o diferencial de médias observado entre os períodos.

No que se refere ao efeito retorno, ou seja, no efeito de mudanças temporais na magnitude dos coeficientes das características dos alunos, constatamos, de maneira geral, que o mesmo possui maior relevância para explicar o decréscimo do desempenho escolar médio ao longo dos anos. Em alguns períodos de comparação, como em 19972003 e 1997-2005, o efeito retorno total é capaz de explicar a totalidade do hiato entre as médias. Caso não houvesse resultados compensatórios, o efeito retorno total em 2003 e 2005 teria reduzido o desempenho escolar médio em 13,32 pontos (-0,30 em múltiplos de desvio-padrão) e 7,93 pontos (-0,18 em múltiplos de desvio-padrão), respectivamente.