BrBRCEEn0101-74382003000300003

Construção de um modelo de regressão hierárquico para os dados do SIMAVE-2000

1. Introdução Os problemas educacionais não são recentes. Segundo Ribeiro (1981), em linhas gerais a evolução do processo educativo foi construído pelos choques entre a tradição cultural e as novas exigências educacionais da sociedade. É importante salientar que o país evoluiu historicamente de uma reforma educacional para outra. Mas é possível observar também que os problemas educacionais que foram surgindo em decorrência dos acontecimentos foram se agravando e crescendo exponencialmente. De acordo com pesquisas educacionais recentes, tais como as de Klein (1997), Castro (1998) e Relatório Nacional-PISA 2000 (2001), alguns dos mais graves problemas do sistema educacional brasileiro, que permaneceram até os dias atuais, podem ser os seguintes: a) Defasagem qualitativa, com predominância de ensino escolar desvinculado da prática; b) Discriminação acentuada favorecendo a manutenção do status quo; c) Grandes disparidades regionais; d) Insuficiência de vagas no ensino superior em determinadas áreas, principalmente no ensino público, agravado com a tendência de universalização, especialmente do ensino médio.

Por outro lado, os sistemas de avaliação da educação, conforme frisa Firme (1994), também evoluíram substancialmente, de tal forma que, a partir dos resultados obtidos, foi possível introduzir mudanças nos aspectos educacionais de interesse da sociedade. Atualmente o foco dessas avaliações é a escola. Para tanto, na composição dos sistemas de avaliação educacional mais recentes estão sendo avaliados não apenas o rendimento acadêmico dos alunos, mas também aspectos humanos, sociais, culturais, éticos, metodológicos e instrumentais.

Nesse sentido, espera-se que a evolução dos instrumentos de avaliação educacional permita aos pais, professores, empresários, governos, e outros atores sociais, verificarem se as escolas estão enfrentando adequadamente os desafios das transformações econômicas e sociais.

Assim, atualmente, o principal interesse não é o de se comparar escolas apenas em relação ao rendimento de seus alunos. Pelo menos não deveria ser. Mas, entre outros, o de procurar identificar características ' de natureza humana, social, cultural, ética, metodológica e instrumental ' que podem estar influenciando o desempenho escolar dos alunos. Além disso, tendo em vista a necessidade de se buscar, para os sistemas educacionais, maior eficiência e eficácia, sob qualquer que seja o enfoque dado a esses atributos, é importante medir o impacto e as interações entre essas características para cada sistema educacional específico. É preciso notar que os dados obtidos são estruturados hierarquicamente, isto é, alunos, turmas, escolas, constituem uma seqüência natural de agrupamentos aninhados, de tal forma, que as variáveis representativas das características nos diversos níveis podem interagir com outras variáveis dentro do mesmo nível hierárquico e, também, com variáveis de outro nível. Tendo em vista, principalmente, essa natureza dos dados, é freqüente a utilização de modelos de regressão hierárquicos (cf. Lee, 2001; Goldestein, 1995), que permitem investigar a influência das características de cada nível da hierarquia no desempenho escolar dos alunos e na diferenciação entre as escolas, por exemplo, e, ainda, separar a variabilidade nos resultados associada às escolas da variabilidade dentro de cada escola ' associada aos alunos ou turmas de alunos. Muito comuns no exterior, estudos que empregam modelos de regressão hierárquicos estão sendo cada vez mais utilizados no Brasil desde os anos finais da década de 90. Entre esses trabalhos, neste artigo, faz-se referências aos seguintes.

Fletcher (1998) analisou em sua pesquisa educacional os efeitos das características do ambiente escolar e do ambiente familiar no rendimento dos alunos. Para o autor, as médias dos rendimentos dos alunos por escola, sem o ajuste das diferenças na composição social do alunado, distorcem os resultados das análises. Os dados utilizados por Fletcher (1998) foram os dados do SAEB/95 colhidos através da prova de matemática e de questionário, aplicados aos alunos de 8a série. Barbosa & Fernandes (2000), utilizaram em sua pesquisa dados do SAEB-97, colhidos através de testes e questionários com o objetivo de estabelecer uma relação entre as variáveis explicativas de dois níveis (alunos e escolas) e o rendimento escolar dos alunos da 8a série. O objetivo do estudo de Soares et al.(2001), foi o de conhecer o efeito das escolas de nível médio no vestibular da UFMG nos anos de 1998, 1999 e 2000 e ao mesmo tempo apresentar uma forma alternativa de avaliar os efeitos dessas escolas.

Grosso modo, o que se pode observar nesses trabalhos mais recentes é que os níveis de hierarquia considerados são, quase sempre, aluno e escola. Os resultados dessas pesquisas indicam que existe sempre uma influência de agrupamento, presente no sistema escolar, no modelo de impacto das variáveis sobre o rendimento escolar, reforçando a idéia de que os alunos não estão distribuídos aleatoriamente pelas escolas.

Neste estudo, constrói-se um modelo de regressão hierárquico para a população composta pelos alunos da 4a série que participaram da avaliação de matemática e português realizada no ano de 2000 pelo SIMAVE/PROEB, num total de 2350 escolas, 5463 turmas e 152634 alunos. Este estudo foi planejado para servir de apoio e complementar, com informações de natureza qualitativa e quantitativa, as análises do relatório do SIMAVE-2000 (cf. Relatório Técnico do PROEB/SIMAVE- 2000 (2001)), visando obter um maior conhecimento do sistema educacional mineiro, fornecer subsídios para futuras medidas de governo destinadas a reverterem o quadro de baixo rendimento acadêmico dos alunos do sistema estadual de educação. Além disso, estudos posteriores, mais específicos, também podem ser construídos utilizando-se dos resultados aqui encontrados. A proposta do presente trabalho é o de identificar a relação entre o desempenho escolar, medido pelo escore obtido nas provas do SIMAVE/PROEB-2000, e as características técnico-pedagógicas das escolas e sócio-econômicas dos alunos das 4ª séries do Ensino Fundamental, conforme medidas nos questionários apresentados aos alunos e professores das escolas durante a avaliação.

Na seção 2 apresenta-se a origem e a estruturação dos dados, discriminando-se as variáveis selecionadas para o estudo. A seção 3 traz uma introdução à formulação teórica para o modelo utilizado nas análises e na seção 4 apresenta- se os modelos construídos para o impacto, isoladamente, de cada variável sobre o rendimento escolar do aluno. Na seção 5 apresentam-se os modelos hierárquicos finais, o primeiro sem interações e o segundo considerando interações entre as variáveis, com a devida interpretação e análise dos resultados.

2. A Origem e a Estrutura dos Dados 2.1 O PROEB/SIMAVE Em fevereiro de 2000, o governo do Estado de Minas Gerais, através da secretaria estadual de educação, instituiu o Sistema Mineiro de Avaliação da Educação Pública (SIMAVE). O SIMAVE se propõe a contribuir para uma nova cultura de avaliação educacional no estado, "compromissada com o sucesso escolar e com a educação de qualidade para todos" (cf. Relatório Técnico do PROEB/SIMAVE-2000 (2001)). Dentro dessa concepção está sendo implementado, a cada dois anos, o Programa de Avaliação da Rede Pública de Educação Básica (PROEB), que integra o SIMAVE. Atualmente, o PROEB vem sendo operacionalizado pelo Centro de Políticas Públicas e Avaliação da Educação (CAEd) da Universidade Federal de Juiz de Fora (UFJF) ' Minas Gerais. O PROEB é um programa de avaliação que tem por objetivo avaliar as escolas da rede estadual.

O ciclo de avaliação se completa a cada dois anos. Em novembro de 2000, foram aplicados testes com o objetivo de avaliar as competências dos alunos em Língua Portuguesa e Matemática, em 2001 foram avaliadas as competências em Ciências Humanas e Naturais. Os testes são aplicados a todos os alunos da quarta e oitava séries do ensino fundamental e da terceira série do ensino médio da rede estadual. Além dos testes que avaliam as competências nessas disciplinas, o processo de avaliação inclui outros instrumentos importantes: um questionário aplicado aos alunos, com o objetivo de obter dados sobre o perfil sócio- econômico e trajetória escolar dos estudantes; um questionário aplicado aos professores e especialistas da escola, para se buscar informações sobre características desses profissionais e da escola. A metodologia empregada para avaliação pelo PROEB é, em geral, a mesma utilizada pelo Sistema (Nacional) de Avaliação da Educação Básica (SAEB) implementado pelo Instituto Nacional de Estudos e Pesquisa (INEP) do Ministério da Educação, e é adequada para avaliação em larga escala, com precisão muito maior na avaliação das proficiências médias de grupos de alunos do que, propriamente, na avaliação individual. Os itens (no caso, questões de múltiplas escolhas) desses testes foram construídos por especialistas tendo como base a proposta curricular de Minas Gerais e as matrizes de competências utilizadas pelo SAEB. Utiliza-se uma metodologia de construção de testes que é denominada de Blocos Incompletos Balanceados (BIB). A partir de um conjunto inicial de cerca de 1500 itens para cada disciplina e série avaliada, foram selecionados de acordo com suas características estatísticas, como as que medem a dificuldade e a capacidade de discriminação do item, um total de 169 itens. Esse total de itens é disposto em 13 blocos com 13 itens cada. Segundo uma combinação apropriada dos blocos, forma-se 26 cadernos de teste constituídos de 3 blocos cada. Cada aluno responde a um caderno, e, conseqüentemente, a 39 itens. A forma de construção dos cadernos faz com que haja blocos comuns entre eles produzindo, assim, o que se denomina de equalização horizontal dos escores estimados (a equiparação dos escores) pela calibração simultânea dos 169 itens ' isto é, a estimação dos parâmetros dos modelos de comportamento impostos aos itens. O modelo que, geralmente, vem sendo utilizado na produção das proficiências é um modelo logístico de três parâmetros cuja construção é baseada na Teoria da Resposta ao Item (TRI) (cf. Hambleton et al., 1991; Soares & Pereira, 2001; Lord, 1980). Esse tipo de modelo permite produzir "escores" de proficiências que sejam independentes dos testes aplicados e da população de examinandos (ibidem), estas são as principais razões pelas quais seu emprego vem se universalizando em avaliações educacionais. Assim, após análises estatísticas para verificar propriedades dos itens e dos testes, tais como, a unidimensionalidade (uma única proficiência sendo medida) do teste aplicado, ausência de comportamento diferencial do item entre as principais regiões do estado, ajuste dos dados empíricos ao modelo do item proposto ' o que às vezes conduzem a eliminação de alguns itens, produz-se a chamada calibração dos itens (isto é, a estimação dos parâmetros dos modelos dos itens) e a estimação dos escores de proficiência (ou habilidade) de cada aluno. Para o presente estudo, as proficiências foram fornecidas pelo CAED\UFJF (maiores detalhes construtivos podem ser encontrados no Relatório Técnico do PROEB/SIMAVE-2000 (2001), pp. 2- 20, PARTE 2).

As variáveis referentes à escola e ao aluno foram coletadas através dos questionários. Os dados da Avaliação fornecidos pelo CAED/SIMAVE/UFJF se encontravam em três arquivos: questionário do aluno, questionário do professor e arquivo com os escores de proficiência em matemática e em português. Devido às restrições na aplicação dos questionários, não foi possível associar de forma satisfatória a informação de identificação do aluno à sua identificação nos arquivos dos escores de proficiências, exceto para uma amostra desses alunos. No entanto, a amostra referida pode não ser uma boa representante para o universo do Estado, perdendo qualidade no aspecto de aleatoriedade com que foi colhida. Então, neste trabalho, optou-se por agregar as informações ao nível de turma, pois, em grande parte, espera-se que a turma reflita propriedades individuais dos alunos, tendo em vista a semelhança entre os alunos de uma mesma turma, comum nos sistemas educacionais. Além disso, desconhecem-se estudos que tenham enfocado o rendimento médio da turma como uma variável dependente. Assim sendo, o modelo hierárquico construído neste estudo considera dois níveis: turma (1o nível) e escola (2o nível). As variáveis explicativas do modelo para o nível de escola foram obtidas através do questionário aplicado aos professores da escola. E, as variáveis explicativas para o nível de turma foram obtidas através do questionário aplicado aos alunos, agregados para cada turma.

Devido a existência de uma grande quantidade de variáveis (cerca de 180) nos bancos de dados, foi necessário selecionar um conjunto menor dessas variáveis que constituíssem uma proxydas principais características individuais dos alunos, agregadas ao nível da turma a qual ele está inserido, e das características das escolas.

2.2 As Variáveis Selecionadas Uma variável que representa a condição sócio-econômica dos alunos, de impacto reconhecidamente importante no rendimento escolar, foi obtida através de um escore construído também, com auxílio da Teoria da Resposta ao Item, a partir de uma série de variáveis indicadoras da condição sócio-econômica, como por exemplo: "Número de quartos e banheiros na casa", "número de geladeiras", "número de televisores", e assim por diante.

Existem outros critérios para obtenção do índice sócio-econômico, por exemplo, através da variável "renda familiar" ou da variável "nível educacional" dos pais. Porém, geralmente, a maioria dos entrevistados ' no caso presente alunos da 4a série do ensino fundamental ' desconhecem esses dados familiares. Por este motivo optou-se por utilizar os itens de conforto doméstico para obtenção do índice sócio-econômico do aluno, que por sua vez foi também fornecido pelo CAED (maiores detalhes construtivos podem ser encontrados no Relatório Técnico do PROEB/SIMAVE-2000 (2001), p. 7, PARTE 4). O anexo A traz algumas informações adicionais sobre o processo construtivo do índice sócio-econômico.

Após a construção do índice sócio-econômico do aluno, as 42 variáveis indicadoras da condição sócio-econômica foram substituídas por um único índice, e as demais variáveis provenientes do questionário do aluno e as variáveis do questionário do professor, disponíveis para a construção de um modelo que explique a proficiência de matemática, totalizaram 137 variáveis. Este número, ainda elevado, de variáveis inviabiliza a utilização adequada do modelo, além disso, como já discutido anteriormente um banco de dados desse tipo contém as mais diversas variáveis; entre as quais algumas fornecem pouca informação adicional além daquela fornecida por outras muito mais importantes na explicação da variável resposta, no caso, o escore obtido na prova de matemática aplicada através do SIMAVE. Uma maneira de tentar solucionar esse problema é utilizar a análise fatorial como uma ferramenta exploratória para redução do número de variáveis.

Um modelo de análise fatorial procura "explicar" as correlações entre um conjunto de variáveis observadas através de combinações lineares dessas variáveis com um conjunto menor (desconhecido) de variáveis latentes (não observadas) denominadas de fatores. Admita que Xi, i = 1, ... , n, represente o conjunto total das variáveis observadas e que q i, i=1, ..., d, d < n, o conjunto de fatores correspondentes. O modelo de análise fatorial é então definido da seguinte forma (cf. Timm, 2002):

Os valores lij são conhecidos como as cargas (do inglês "loadings") associadas ao fator qj e à variável Xi, sendo uma medida do grau de associação entre o fator e a variável.

Representa-se o vetor de dimensões latentes associadas por q e, por hipótese, admite-se que E(q e) = 0 e, ainda, que e~ N(0, Y ), com Y diagonal. Dessa forma, sob essas hipóteses, é fácil mostrar que a covariância de X é dada por: å=L Q Lt+Y, onde Q é a matriz de covariância de q. Admitindo-se que os fatores são ortogonais, isto é, E(qi qj) = 0 para i ¹ j e, de variâncias iguais a 1, tal que Q = I, segue que å= L Lt+Y. Nesse caso, mostra-se que a variância de cada variável Xi é dada por , e a proporção dessa variância explicada pelos d fatores () é chamada de comunalidade (do inglês "communality").

Pode-se, grosso modo, utilizar esse tipo de modelo em dois tipos de análises: a exploratória e, ou, a confirmatória. Uma análise confirmatória é realizada quando se deseja testar estatisticamente uma hipótese específica quanto à estrutura do modelo fatorial. Por exemplo, uma análise de unidimensionalidade, isto é, a de que existe um único fator preponderante na explicação de um conjunto de variáveis. Como análise exploratória, a análise fatorial pode ser utilizada como uma ferramenta para se determinar, por exemplo, um número mínimo de fatores que retenha uma parcela "razoável" da variabilidade devida às variáveis originais. Essa forma de utilização da análise fatorial é, provavelmente, a mais comum, e está relacionada à redução do número de variáveis originais a um conjunto menor que será utilizado em análises subseqüentes, como na construção de modelos de regressão. Conforme opção e interesse do pesquisador e da finalidade do estudo, pode-se ou utilizar os próprios fatores estimados (conforme um método apropriado) ou utilizar as variáveis mais fortemente associadas a cada fator, escolhidas, por exemplo, entre as que apresentam maiores valores de cargas associadas.

Tendo em vista que tanto as variáveis do questionário aluno quanto as variáveis do questionário do professor foram agregadas (ao nível de turma e ao nível de escola, respectivamente), representando médias, e ou percentuais, dos alunos nas turmas e dos professores nas escolas, sendo, portanto, variáveis reais, pôde-se proceder à análise fatorial se utilizando diretamente do modelo acima e dos métodos disponíveis no software SPSS®. Assim, utilizou-se o método de extração por Componentes Principais ' que é o procedimento mais utilizado na prática e é o método padrão no software SPSS (SPSS Inc., 1999) ' com a matriz das componentes principais "rotacionada", a partir do método Varimax de rotação. O método de extração por componentes principais é justificado, em linhas gerais, pelos seguintes argumentos. Sendo å, a matriz de covariância do conjunto de variáveis X, uma matriz quadrada simétrica, ela pode ser decomposta da seguinte forma:

onde a1 > a2> ... > an> 0 representa o conjunto de autovalores de å (lembrando que å é positivo semi-definida) e, U = [u1u2...un] o respectivo conjunto de autovetores associados, tais que UUt = I (isto é, a base de autovetores associados é ortonormal). Esse resultado é conhecido como Teorema da Decomposição Espectral (cf. Strang, 1988, pp. 309-310). Assim sendo, å = Ln[/ img/revistas/pope/v23n3/a03img05.gif], onde Ln=[/img/revistas/pope/v23n3/ a03img06.gif]. Retendo-se as d primeiras componentes (principais) de Ln, isto é, tomando-se L = Ld <formula/>, dentro do pressuposto de que as demais componentes podem ser desprezadas, o que é justificado pela propriedade seguinte.

Uma propriedade muito importante nessa representação é que a contribuição do j- ésimo fator sobre a variância total é aj. De fato, seja a [/img/revistas/pope/ v23n3/a03img08.gif] variância da variável Xi, logo, [/img/revistas/pope/v23n3/ a03img09.gif], e, portanto, a contribuição do j-ésimo fator sobre a variância total <formula/>é dada por:

Tem-se, portanto, a representação do modelo de análise fatorial através das d componentes principais de Ln, tal que å @ Ld[/img/revistas/pope/v23n3/ a03img12.gif]+ Y, onde Yi = <formula/>, para i=1,...,n. O método de extração por componentes principais consiste, então, em calcular os d maiores autovalores da matriz de covariância da amostra S, [[/ img/revistas/pope/v23n3/a03img14.gif]1[/img/revistas/pope/v23n3/ a03img14.gif]2...<formula/>d] tomando-se como estimativa para Ld a matriz <formula/>, sendo [/ img/revistas/pope/v23n3/a03img16.gif] a base de autovetores ortonormais associados.

A partir, ainda, da propriedade acima se pode definir, por exemplo, critérios para decisão quanto ao número de fatores e, conseqüentemente, um limite para a redução do número de variáveis. O SPSS, automaticamente, retém todos os fatores para os quais os autovalores correspondentes são superiores a 1. Esse critério, no entanto, é altamente subjetivo e, o critério mais utilizado consiste em extrair um número de fatores tal que o percentual da variância total explicada pelos fatores seja substancial, tipicamente de 50% a 70%, dependendo da aplicação. Neste trabalho, reteve-se um número de fatores tal que o percentual da variância explicada pelo modelo de análise fatorial correspondente a pelo menos cerca de 60% da variância total.

Em geral, o critério para manter as variáveis foi o de manter aquelas variáveis com cargas mais elevadas nos fatores extraídos. Além do padrão de correlações observadas, considerou-se também como critério de escolha de variáveis a importância apresentada por algumas variáveis em estudos correlatos. No caso do questionário dos alunos foram obtidos 10 fatores e no caso dos questionários dos professores foram obtidos 29 fatores, uma descrição mais detalhada desse procedimento e resultados pode ser encontrada em Mendonça (2002). A descrição dessas variáveis encontra-se na próxima seção.

2.3 Descrição das Variáveis As variáveis do questionário do aluno que foram mantidas após o critério de seleção conforme descrito na seção anterior, e que serão empregadas na construção do modelo hierárquico são apresentadas e descritas na tabela abaixo:

Todas essas variáveis são agregadas para a turma, tal que as variáveis que serão utilizadas na construção do modelo de regressão representam ou valores médios da turma ou, ainda, percentuais de determinadas características dentro da turma. Por exemplo, E-SOCIO representa o escore sócio-econômico médio dos alunos da turma. Por outro lado, S-MASC representa o percentual de alunos do sexo masculino da turma.

As variáveis do questionário do professor selecionadas para construção do modelo estão descritas na Tabela_2. Note-se que nesse caso a variável "renda familiar" foi utilizada como medida da condição sócio- econômica do professor, pois se espera que, neste caso, as respostas sejam mais confiáveis que as respostas dadas pelos alunos da 4a série sobre a renda familiar de seus pais.

De forma análoga ao caso das variáveis dos alunos, as variáveis dos professores são agregadas para representarem características das escolas, tal que as variáveis que serão utilizadas na construção do modelo de regressão representam ou valores médios da escola ou, ainda, percentuais de determinadas características dentro da escola. Por exemplo, F-EXPORAL representa a freqüência média de exposição oral da matéria dos professores da escola e, A- PROVINDrepresenta o percentual de professores da escola que avaliam os alunos com provas individuais.

Além das 48 variáveis selecionadas através da análise fatorial, foi escolhida, ainda, o escore sócio-econômico dos alunos médio por escola ( E-SOCIOM) como uma variável ao nível de escola. Essa variável tem sido freqüentemente utilizada em estudos correlatos, e tem se mostrado de grande importância na construção dos modelos (ver, por exemplo, Fletcher, 1995). Portanto, ao todo, foram escolhidas 49 variáveis no total para construção do modelo.

3. Modelos Hierárquicos Os sistemas escolares são um exemplo típico de estrutura hierárquica, pois os alunos estão agrupados em turmas, as turmas agrupadas em escolas, as escolas em uma determinada localidade, e assim por diante.

O modelo multinível (cf. Goldstein, 1995) também chamado de modelo hierárquico (cf. Bryk & Raudenbush, 1992), leva em consideração a estrutura de agrupamento dos dados. Concretamente isso se reflete na especificação do modelo multinível, por exemplo, da seguinte forma: para o modelo de regressão clássico o intercepto e o coeficiente de inclinação são parâmetros fixos enquanto que para o modelo multinível o intercepto e o coeficiente de inclinação são considerados parâmetros aleatórios, dependentes da influência do nível hierárquico mais alto.

As análises que consideram em seus modelos a estrutura de agrupamento dos dados têm várias vantagens: (i)se baseiam em modelos mais flexíveis e estruturados que utilizam melhor a informação presente na amostra, fornecem, ainda, uma equação para cada escola, por exemplo, o que permite análises individuais para cada grupo (ii) o uso da informação do agrupamento dos dados possibilita formular e testar hipóteses relativas a efeitos entre os níveis; (iii) permite a partição da variabilidade da variável resposta nos diversos níveis.

Os modelos de regressão multiníveltêm por objetivo descrever, através de um modelo estatístico, a relação entre variáveis explicativas e independentes, representadas genericamente por x,e uma variável dependente y(ou, mais de uma no caso de modelos multivariados). Neste trabalho só são considerados modelos com dois níveis hierárquicos. Assim, considere-se que, genericamente, uma amostra aleatória de dados tenha sido coletada a partir de uma estrutura em dois níveis, estando as unidades do 1o nível (turma) agrupadas segundo as unidades do 2o nível (escola). Cada unidade de turma é representada pelo índice i e, o índice j representa cada unidade de escola. Suponha que x represente uma variável de turma e w uma variável de escola. O modelo multinível então, terá a seguinte expressão geral:

Substituindo (2) e (3) em (1) obtém-se:

No modelo acima, os coeficientes apresentam a seguinte interpretação: yij representa a proficiência média da i-ésima turma da j-ésima escola; b0j é o intercepto geral do modelo, sendo definido como variável aleatória; b1j é o coeficiente de inclinação associado à variável x,representa o impacto da variável explicativa no rendimento médio da turma, e também é definido como variável aleatória; g00, g01,g10, g11 são parâmetros fixos a serem estimados; u0j é o denominado de efeito individual da escola, que é a componente de erro aleatório do nível 2 associada ao intercepto, pressupõe-se ter distribuição normal com média zero e variância su02; u1j é a componente de erro aleatório do nível de escola associada ao coeficiente de inclinação, pressupõe-se ter distribuição normal com média zero e variância su12; eij é a componente de erro aleatório associado à turma, representa o resíduo da medida do rendimento da turma não explicado pelo modelo, pressupõe-se ter distribuição normal com média zero e variância se2; su02, su12 e se2 são denominados de componentes de variância do modelo.

Por hipótese, admite-se que o erro e, de nível de turma, seja independente dos erros de nível de escola. Note-se, ainda que b01wjrepresenta o impacto da variável explicativa de nível de escola no rendimento médio da turma e, b11wjxijrepresenta o termo de interação entre as duas variáveis explicativas (de turma e escola).

Na equação de regressão anterior poderão ser incluídas outras variáveis explicativas de nível de turma e também de nível de escola. A estrutura para o modelo resultante é análoga àquela apresentada através das equações de (1) a (4). A extensão do modelo multinível para outras variáveis permite obter o impacto das novas variáveis no rendimento escolar bem como obter outros termos de interação, alcançando uma maior diminuição da variabilidade total e, conseqüente aumento da capacidade de explicação da variável dependente pelo modelo resultante. Além disso, é possível analisar como as diversas variáveis se interagem e como seus impactos sobre a variável dependente se comportam na presença de outras variáveis.

Segundo Goldstein (1995), um indicador do grau de agrupamento da população em estudo é o coeficiente de "intra-correlação". Para o modelo multinível especificado o que se mede com o coeficiente de intra-correlação é a proporção da variância total do resultado dos alunos que é devida às características das escolas. A forma mais simples para se obter o coeficiente de intra-correlação é a seguinte: primeiramente constrói-se um modelo multinível sem variáveis explicativas, também chamado de modelo nulo, que tem apenas três termos: b0 , u0j e eij, de tal forma que a variância total para a variável dependente nesse modelo é dada apenas por su02+se2. O coeficiente de intra-correlação, então, é calculado pela fórmula:

Esse coeficiente toma valores no intervalo [0,1] e, quanto maior o seu valor, maior a proporção da variância que é devida ao segundo nível. Seu cálculo é usado para justificar o emprego de um modelo multinível ao invés de um modelo de regressão clássico.

Neste trabalho, a estimação dos coeficientes fixos é realizada através do método de mínimos quadrados generalizados (cf.Bryk & Raudenbush, 1992) e, a estimação das componentes de variância é realizada através dos métodos de máxima verossimilhança plena e máxima verossimilhança restrita (ibidem). Para tanto, foi utilizado o software HLM5â(Raudenbush et al., 2000). A medida de ajuste do modelo utilizada foi a chamada estatística de deviance, definida por: D = ' 2 LOG (L), onde Lé o valor da função de verossimilhança (maximizada segundo os valores dos parâmetros do modelo) nos valores observados da variável dependente e das variáveis explicativas (cf. Bryk & Raudenbush, 1992)

4. Modelos de Impacto Direto das Variáveis As pesquisas educacionais mais recentes procuram estruturar seus dados hierarquicamente para que seja possível investigar a influência das características de cada nível da hierarquia no desempenho escolar dos alunos e na diferenciação das escolas. No entanto, não existem referências na literatura brasileira sobre pesquisas que tenham utilizado as características da turma como nível básico de hierarquia. Nesse sentido, uma investigação que considera o nível de turma poderia ajudar a esclarecer se existe variabilidade no desempenho médio das turmas e, nesse caso, quais as características próprias desse nível de hierarquia estariam influenciando o desempenho delas mesmas e contribuindo para a diferenciação também das escolas.

Considerando o objetivo exposto e a característica dos dados educacionais do SIMAVE-2000, optou-se por utilizar um modelo de análise multinível com os níveis: turma (nível 1) e escola (nível 2). O modelo aqui adotado difere da maioria daqueles estudos que utilizaram modelos multinível, já que apresenta como unidade básica de análise a turma e não o aluno. Nesse sentido a contribuição do presente estudo é poder investigar: (i) a existência de variabilidade de desempenho médio da proficiência entre as turmas; (ii) o quanto dessa variabilidade, ainda assim, pode ser atribuída a características das escolas; (iii) se existe aleatoriedade de distribuição das turmas pelas escolas; (iv) quais os fatores, ou variáveis, têm impacto no rendimento médio das turmas; (v) qual o valor desse impacto no rendimento médio das turmas; (vi) e o comportamento, enquanto modelo de nível turma e escola, das variáveis cujo impacto no rendimento escolar foi comprovado por outros trabalhos, nos quais o nível básico considerado é o aluno.

O primeiro procedimento de análise do modelo multinível foi o de estimar o valor das variâncias dos erros aleatórios em cada nível de hierarquia através da construção do modelo nulo. Nesse caso, o coeficiente de intra-correlação encontrado foi de 0.182, no caso da proficiência de matemática ' no caso da proficiência de português o valor foi de 0.191, indicando que cerca de 18% da variabilidade é devida a reais diferenças entre escolas e o restante da variabilidade, cerca de 82%, é devida a reais diferenças entre as turmas. Esse valor é inferior àquele observado nos trabalhos de Flecther (1995) e Barbosa & Fernandez (1999) (0.312 e 0.37, respectivamente) principalmente pelo fato de os dados do SAEB incluírem escolas particulares o que, naturalmente, introduz maior variabilidade entre as escolas, mas tendo em vista, também, que esses trabalhos consideram como nível básico o aluno, e ao se agregar a informação por turma, boa parte da variabilidade devida à escola está sendo absorvida pela turma. De fato as variâncias estimadas para os erros de 1o e 2o nível, no modelo nulo, foram, respectivamente, 813,98 e 181,8 (ambas significativas pelo teste qui-quadrado correspondente para p < 0.001). Esses resultados são suficientemente expressivos para se justificar o emprego do modelo hierárquico na análise. O valor da estatística de deviance para o modelo nulo foi de 39477 e, esse valor pode servir de comparação com os resultados alcançados nos demais modelos.

Numa análise preliminar é investigado o efeito de cada uma das 49 variáveis descritas na seção 3 sobre a proficiência de matemática (e português) isoladamente. Basicamente, os resultados para ambas as proficiências (matemática e português) foram os mesmos quando são considerados os resultados dos testes de significância (isto é, se o teste t indica correlação significativa entre a proficiência e cada uma das variáveis). Os resultados encontrados, no caso da proficiência de matemática, estão apresentados nas tabelas seguintes:

Grosso modo, os resultados são os esperados. Observa-se que as variáveis associadas à defasagem e ao abandono escolar são as que apresentam modelos mais explicativos (menor deviance). De fato, além de apresentarem um impacto negativo sobre a proficiência individual do aluno, o que já é esperado, parece que essas variáveis ganham maior importância, ainda, quando explicam a proficiência média da turma. Provavelmente, esse fato deve, em parte, estar associado à forma seletiva como as turmas são dispostas dentro da escola. Chama a atenção, o impacto negativo produzido pela maior incidência na turma de alunos de raça negra sobre a proficiência média. Esse fato poderia estar associado ao fato de esses alunos advirem de camadas da população mais pobre, mas na análise do modelo com várias variáveis os efeitos dos escores sócio- econômicos e da variável raça-negra são analisados conjuntamente, e como se verá, persiste o efeito negativo sobre a proficiência dessa variável. Maior incidência de alunos do sexo masculino em uma turma produz, também, um efeito negativo sobre a proficiência média da turma. Esse fenômeno necessita ser melhor avaliado, mas pode estar associado em maior intensidade às questões de comportamento dentro da turma do que, propriamente, às características individuais.

Com impacto positivo destaca-se o efeito da escolaridade da mãe sobre a proficiência, e surpreende a influência positiva da freqüência a cultos religiosos.

A análise do impacto individual das variáveis é apenas um passo inicial na construção do modelo. Ela fornecerá um ponto de partida e uma ordem para inclusão de variáveis no modelo de regressão. Na próxima seção apresentam-se dois modelos hierárquicos de regressão, um com efeitos de interação entre variáveis e outro sem efeitos de interação, que permitem analisar a influência das diversas variáveis simultaneamente.

5. A Aplicação do Modelo Multinível Aos Dados do SIMAVE-2000 O processo mais utilizado na construção de um modelo hierárquico é do tipo "Bottom-up", isto é, parte-se do modelo nulo e vai-se incluindo as variáveis segundo uma heurística específica. Normalmente, recomenda-se (cf.

Hox, 2001) verificar as interações entre as variáveis após a última variável ter sido incluída no modelo.

No presente trabalho, o primeiro passo foi o de verificar a significância dos coeficientes (parâmetros fixos e aleatórios) para cada modelo individual das 49 variáveis, conforme apresentado na seção anterior. Numa etapa seguinte, após serem escolhidas as variáveis cujos coeficientes sejam significativos, o segundo critério adotado para priorizar a inclusão de variáveis a partir do modelo nulo foi o critério de menor valor para a deviance. A estatística deviance é uma medida do ajuste do modelo aos dados. Utiliza-se a deviance para comparar um modelo mais simples com um modelo mais geral. Normalmente, os modelos com a deviancemais baixa são melhores, no entanto, para testar se a diferença entre as deviances de dois modelos é significativa, ou não, emprega- se o teste de significância c2 com o número de graus de liberdade igual à diferença de parâmetros entre os dois modelos. Outro critério empregado para inclusão ou não de variáveis no modelo foi o critério AIC (Akaike, 1974, apud Hox, 2001). Este critério é utilizado para comparar modelos diferentes (normalmente aninhados) e é calculado a partir do valor da deviance adicionado a um fator que penaliza o número de parâmetros estimados. Segundo a sugestão de Hox (2001), este critério pode ser empregado para se decidir entre dois modelos hierárquicos. O critério AIC é dado por: