Efeito do modelo 4C/ID sobre a aquisição e
transferência de aprendizagem: revisão de literatura
com meta-análise
1. Introdução
Neste artigo apresentámos os resultados de uma revisão sistemática da literatura com
meta-análise, sobre os efeitos da utilização do modelo instrutivo - Modelo de Design
Educacional de Quatro Componentes (4C/ID) - no desempenho dos alunos.
O desenho instrutivo (instructional design, ID), segundo Merril, Drake, Lacy e Pratt
(1996), corresponde a uma prática que permite criar experiências de ensino com o
intuito de promover a aquisição de conhecimentos e de competências de uma forma
mais eficiente e apelativa.
O modelo 4C/ID foi desenvolvido por van Merriënboer durante a década de 90 e é
considerado, pelos especialistas do ID, como um dos mais influentes neste domínio, a
par da teoria de Robert Gagné, desenvolvida durante a década de 60, conhecida como
Teoria das Condições de Aprendizagem (Ouimette, Surry, Grubb & Hall, 2009). O
enquadramento teórico do modelo 4C/ID pode ser consultado em van Merriënboer e
Kester (2014).
A investigação neste domínio tem-se centrado na forma como o modelo 4C/ID tem sido
utilizado em ambientes de aprendizagem digitais para a promoção de aprendizagens
complexas, que segundo van Merriënboer et al. (2014) envolvem a integração de
conhecimentos, de competências, de atitudes e a capacidade de coordenar diferentes
competências em termos qualitativos e muitas vezes a transferência do que é aprendido
para novas situações.
Este modelo assume os pressupostos e integra muitos dos resultados experimentais
alcançados pela Teoria da Carga Cognitiva (TCC) (cf. Sweller, Ayres, Kalyuga, 2011).
Neste contexto foram desenvolvidos métodos para medir a carga cognitiva associada às
tarefas de aprendizagem: as “medidas subjetivas diretas” e em particular a escala de índice
desenvolvida por Paas (Paas, 1992), para a medição do esforço mental percecionado
pelos alunos. Este autor e van Merriënboer desenvolveram uma medida de eficiência da
instrução, que combina o esforço mental com indicadores de desempenho na realização
das tarefas de aprendizagem.
2. O Modelo 4C/ID
As competências trabalhadas no contexto da aprendizagem complexa são classificadas
como não-recorrentes ou recorrentes. No primeiro caso o processo de aprendizagem
fundamental está associado à construção de esquemas mentais através da apresentação
de modelos mentais, estratégias cognitivas e feedback cognitivo; no segundo caso a
aprendizagem está mais centrada na automação de regras, conseguida através da sua
aplicação com sucesso (Anderson, 1983, 1993). A combinação desses dois processos de
aprendizagem visa promover a transferência da aprendizagem.
Para implementar essas estratégias de aprendizagem, o modelo 4C/ID preconiza a
existência de quatro componentes interrelacionados: (a) as tarefas de aprendizagem,
consideradas a espinha dorsal do modelo, sendo preferencialmente baseadas em
exemplos da vida real, (b) a informação de suporte que permitem que o aluno resolva
de forma eficiente problemas, promovendo a ponte entre os seus conhecimentos prévios
e os novos conhecimentos, (c) a informação processual, que permite, através de um
algoritmo, dar informações de como os aspetos mais rotineiros das tarefas devem ser
executados; estando organizada em pequenos segmentos de informação apresentados
no momento exato em que são necessários e (d) a prática nas tarefas que permite o
treino competências mais rotineiras.
3. Eficiência do modelo 4C/ID: evidências empíricas
A investigação realizada no âmbito do modelo 4C/ID, com cerca de duas décadas, tem sido
desenvolvida em duas grandes vertentes: uma centrada no melhoramento das condições
de aplicabilidade do modelo (por exemplo, forma e instantes de apresentação das
informações, organização das tarefas de aprendizagem, sequência das classes de tarefas,
etc.); e outra relacionada com a eficiência do modelo ao nível da aprendizagem, que
combina dados provenientes de avaliação de desempenhos1 (reprodução e transferência)
com esforço mental percecionado. É na segunda vertente que se encontram os estudos
selecionados para a meta-análise.
Sobre as condições de aplicabilidade do modelo 4C/ID destacamos a investigação
realizada por Kester, Kirchner e van Merriënboer em 2004 e 2006, acerca das condições
(forma e instante) de apresentação dos diferentes tipos de informação, que otimizam
a carga cognitiva associada à realização de tarefas no contexto da análise de erros
cometidos no desenho de circuitos elétricos.
Em termos de desenvolvimento de competências na formação de professores destacam-se os trabalhos realizados por Hoogveld, Pass e Jochems em 2001 e 2003. No primeiro
estudo, foram comparados dois grupos de professores: um grupo que foi treinado para
usar o modelo 4C/ID na conceção de materiais instrutivos e o outro grupo foi treinado para
conceber materiais instrutivos usando a sua própria abordagem. A qualidade do design
de seus materiais foi avaliada por especialistas, verificando-se que o primeiro grupo
desenvolveu projetos qualitativamente melhores face ao segundo. O segundo estudo
visou investigar os benefícios do modelo 4C/ID no trabalho em equipa ou individual. Os
resultados revelaram que os sujeitos com menor desempenho beneficiaram mais com o
modelo 4C/ID quando desenvolveram trabalho em equipa.
1 A avaliação é feita por intermédio de testes de avaliação construídos com itens que apelem à
reprodução de conhecimentos adquiridos e à transferência da aprendizagem a novas situações.
No âmbito dos estudos de carácter descritivo sobre as potencialidades do modelo 4C/ID
no ensino da medicina dentária destacamos o trabalho de Postma e White (2015). Ainda
na área das ciências da saúde Susilo, van Merriënboer, van Dalen, Claramita e Scherpbier
em 2013 realizaram uma investigação de natureza qualitativa sobre a utilização do
modelo 4C/ID no desenvolvimento de competências relacionadas com a utilização
de linguagem técnica numa comunidade de profissionais de saúde hierarquizada
(auxiliares, enfermeiros e médicos).
Janssen-Noordman, van Merriënboer, van der Vleuten e Scherpbier (2006), apresentam
o exemplo de um ambiente de aprendizagem na área da formação médica (avaliação
clínica de pacientes por médicos em formação) concebido com base no modelo 4C/ID,
avaliando qualitativamente as vantagens deste modelo.
Outra vertente metodológica centra-se em trabalhos de carácter experimental que
envolvem a avaliação do efeito do modelo 4C/ID ao nível da aprendizagem, ou seja,
na medição dos desempenhos dos alunos em termos de reprodução dos conhecimentos
adquiridos e na transferência de aprendizagem. Em alguns trabalhos foi também avaliado
o esforço mental despendido pelos alunos na realização das tarefas de aprendizagem ou
na realização dos testes de avaliação de desempenhos (ver secção 4.).
4. Meta-análise
A meta-análise, introduzida por Gene Glass, é uma metodologia de investigação na qual
são analisados um conjunto (³ 2) de trabalhos de investigação e apresentadas medidas
que combinam os resultados desses estudos, permitindo estimar o efeito médio de
intervenções sobre determinadas variáveis nos estudos selecionados.
O principal objetivo desta meta-análise é posicionar os resultados de investigação
relacionados com a eficiência do modelo 4C/ID na aprendizagem (em particular na
reprodução e transferência de conhecimentos), numa escala contínua e única. A unidade
de medida escolhida neste estudo para a magnitude de efeito é o d-Cohen (cf. Glass,
McGaw e Smith, 1981 e Rosenthal, 1995), que corresponde a uma expressão comum da
magnitude dos resultados de um estudo para as diferentes variáveis estudadas, que neste
caso são: “desempenhos de reprodução” (referentes à reprodução dos conhecimentos
aprendido) e os “desempenhos de transferência” (referentes à transferência dos
conhecimentos aprendidos a novas situações).
Segundo Marôco (2014) as medidas de magnitude de efeito de referência nas ciências sociais
e do comportamento podem ser classificadas do seguinte modo: d > 1,0 muito elevada, 0,5
< d £ 1,0 elevada, 0,2 < d £ 0,5 médio e d £ 0,2 pequeno (adaptadas de Cohen, 1988).
4.1. Hipóteses
Como o principal objetivo deste estudo meta-analítico é analisar o efeito do modelo
4C/ID sobre os desempenhos, quando comparado com outras abordagens instrutivas,
levantámos as seguintes hipóteses:
Hipótese 1: A utilização de um ambiente de aprendizagem concebido com base no modelo
4C/ID implica que os alunos tenham melhores resultados ao nível da reprodução dos
conhecimentos adquiridos.
Hipótese 2: A utilização de um ambiente de aprendizagem concebido com base no modelo
4C/ID implica que os alunos tenham melhores resultados ao nível da transferência de
aprendizagem.
4.2. Metodologia
Usou-se o software Comprehensive Meta-Analysis (CMA) – versão 2 para Windows para
o cálculo das magnitudes de efeito e para efetuar todos os testes estatísticos (intervalos
de confiança, Q de Cochrane e teste z). O procedimento foi efetuado de acordo com os
seguintes passos: 1) localização de todos os estudos possíveis; 2) seleção dos estudos de
acordo com os critérios de inclusão; 3) codificação dos artigos selecionados de acordo
com as suas características metodológicas; 4) cálculo das magnitudes de efeito para
todos os estudos selecionados; e 5) realização dos testes estatísticos.
4.3. Procedimentos para a pesquisa de literatura
A pesquisa bibliográfica foi realizada nas bases de dados PsychINFO, ERIC, ISI Web of
Knowledge, Google Scholar, ScienceDirect, SpringerLink e resumos de dissertações ou
teses usando como palavras-chave “four components instructional design model”, “4C/
ID model and learning transfer”, “4C/ID model and learning”, “Part-task vs. Whole-task instructional design models” e “effectivness of 4C/ID model” para datas posteriores
a 2000. Foram analisadas exaustivamente as citações encontradas nos trabalhos obtidos
e foi feito um exame às referências citadas por van Merriënboer e Sweller. Foram ainda
contactados por e-mail alguns autores que têm desenvolvido trabalhos de investigação
com o modelo 4C/ID (Jeroen van Merriënboer, Paul Kirschner, Astrid Susilo e Jan Elen).
4.4 Critérios de inclusão
Após os resultados de pesquisa dos estudos, foram selecionados os que satisfaziam os
seguintes critérios: 1) o estudo tem de envolver a utilização de materiais instrutivos
desenvolvidos com base no modelo 4C/ID com ou sem a utilização de computador;
2) o estudo deve abranger uma faixa etária dos 14 aos 23 anos; 3) 0 estudo pode ter
sido efetuado em qualquer país desde que a publicação dos seus resultados tenha sido
feita em Inglês; 4) o estudo tem de apresentar resultados empíricos quantitativos; 5) só
podem ser incluídos estudos com grupo de controlo (são excluídos todos os trabalhos
com comparações pré-pós-teste); 6) o estudo deve poder ser replicável noutra escola e 7)
o estudo deve envolver a avaliação da eficiência (desempenhos com esforço mental) da
utilização do modelo 4C/ID na aprendizagem de um determinado tema.
Na pesquisa efetuada foram encontrados 61 trabalhos nas diferentes bases de dados; no
entanto, apenas oito trabalhos foram selecionados por se enquadrarem nos critérios de
inclusão e nas hipóteses de investigação levantadas.
4.5 Codificação dos estudos e das variáveis
Para cada trabalho foram codificadas as seguintes variáveis: 1) identificação do estudo; 2)
variáveis analisadas (testes de reprodução, testes de transferência e avaliação do esforço
mental); 3) área de aplicação (matemática, ciências, engenharia, ciências sociais); 4)
nível de ensino do grupo (primeiro ciclo do ensino básico, segundo ciclo do ensino básico,
ensino secundário e primeiros anos do ensino universitário); 5) forma de apresentação do
material instrutivo (áudio, computador, realidade virtual); 6) número de participantes
do grupo experimental e do grupo de controlo; 7) d - Cohen médio determinado com
base nos desempenhos de reprodução e de transferência de conhecimentos; 8) d - Cohen
para as variáveis desempenhos de reprodução, desempenhos de transferência e esforço
mental despendido na realização dos testes de reprodução e transferência.
A codificação dos estudos foi elaborada por dois investigadores que trabalharam de forma
independente. A concordância entre os avaliadores foi de 95% e quando houve desacordo,
ambos os investigadores reexaminaram os estudos em questão até chegarem a um consenso.
4.6 Estudos selecionados
Foram selecionados os seguintes estudos para meta-análise:
––Nadolski, Kirschner e van Merriënboer (2005) focaram o seu trabalho na
segmentação das tarefas de aprendizagem complexa na área do ensino do direito
com recurso a um ambiente digital. Fizeram variar o número de fases (1, 4 e 9)
implicadas na resolução das tarefas de aprendizagem, com o intuito de encontrar
um equilíbrio entre a segmentação das tarefas e a sobrecarga cognitiva associada
à resolução destas. Os resultados mostraram que a segmentação em 4 fases
gerou melhores resultados ao nível da eficiência das condições de instrução no
que respeita à reprodução de conhecimentos (melhor desempenho com menor
esforço mental percecionado). No entanto, em relação à variável transferência
de aprendizagem os resultados revelaram não haver diferenças significativas.
No estudo meta-analítico usamos a comparação entre o grupo com as 4 fases
de segmentação (grupo experimental) e o grupo com as 9 fases de segmentação
(grupo de controlo). Em 2006 os autores confirmaram estes resultados com
uma replicação do estudo (Nadolski, Kirschner e van Merriënboer, 2006);
––Lim (2006) investigou os efeitos de duas abordagens instrucionais (tarefa
segmentada versus tarefa não segmentada) e do nível de especialização
dos alunos (novato versus perito) sobre aquisição e transferência de uma
competência cognitiva complexa (preparação de uma folha de cálculo). Para
além destas variáveis foram avaliadas a carga cognitiva e a eficiência das
condições de instrução. A experiência foi realizada com uma amostra de 51
alunos do ensino superior numa disciplina de Tecnologias de Informação e
Comunicação (TIC). Ao grupo de controlo foram apresentadas as tarefas de
aprendizagem sobre a competência complexa a treinar de forma segmentada
e no grupo experimental as tarefas foram concebidas com base no modelo
4C/ID. Os resultados mostraram haver diferenças significativas entre os dois
grupos, a favor do grupo experimental, ao nível: (a) dos desempenhos relativos
à reprodução de conhecimentos, (b) dos desempenhos relativos à transferência
de aprendizagem, (c) da eficiência das condições de instrução, na reprodução e
na transferência. No entanto, não foram encontradas diferenças significativas
ao nível do esforço mental despendido na resolução dos testes de desempenho.
No estudo meta-analítico englobam-se os dados referentes à comparação entre
os dois grupos apenas para os sujeitos novatos, uma vez que são os dados que
melhor se aproximam dos objetivos desta revisão de literatura;
––Sarfo e Elen (2007) estudaram o efeito da utilização de um ambiente de
aprendizagem concebido com os princípios do modelo 4C/ID ao nível da
reprodução e transferência de conhecimentos técnicos em escolas de ensino
profissional no Ghana. Foi ainda avaliado o efeito do uso das TIC sobre eficiência da
utilização do modelo 4C/ID. A amostra foi composta por 129 alunos, distribuídos
da seguinte forma: um grupo de controlo com um método regular de ensino e
dois grupos experimentais com o modelo 4C/ID, um com o recurso às TIC e um
outro sem recurso às TIC. Os resultados mostraram que a abordagem 4C/ID foi
mais eficiente no treino de competências técnicas no ensino profissional técnico
face a uma abordagem concebida de acordo com um método de ensino regular;
––Lim, Reiser e Olina (2009) investigaram os efeitos de duas abordagens instrutivas
(apresentação das tarefas de forma segmentada versus apresentação das tarefas
concebidas com base no modelo 4C/ID) sobre aquisição e transferência de
uma competência cognitiva complexa no contexto aprendizagem das TIC.
Os resultados indicaram que os sujeitos do grupo com a abordagem 4C/ID
obtiveram um desempenho significativamente melhor do que o grupo com a
abordagem de segmentação, ao nível dos testes de aquisição de competências e
no teste de transferência;
––Flores (2011) estudou o impacto da utilização de um ambiente de aprendizagem de
matemática para o ensino secundário concebido com base no modelo 4C/ID, ao nível
dos desempenhos (reprodução e transferência) e do esforço mental percecionado
pelos alunos. A investigação foi desenvolvida num meio rural no sudoeste dos EUA.
Foram constituídos dois grupos: o experimental no qual se implementou o ambiente de
aprendizagem com a abordagem 4C/ID e o de controlo no qual se usou uma abordagem
tradicional. Os resultados mostraram não haver diferenças significativas entre os
grupos ao nível dos desempenhos e do esforço mental. Todavia, essas diferenças
foram maiores ao nível da reprodução e praticamente nula ao nível da transferência
de aprendizagem. O autor apontou como principais causas para estes resultados o
contexto socioeconómico da amostra e o baixo nível de conhecimentos prévios;
––Rosenberg-Kima (2012) comparou as diferenças entre duas abordagens
instrutivas (centrada nas tarefas de aprendizagem versus centrada nos
objetivos), no âmbito do ensino da programação em FlashÒ, ao nível dos
desempenhos (reprodução e transferência) e esforço mental despendido. O
grupo experimental foi sujeito à abordagem centrada nas tarefas (modelo 4C/
ID) e grupo de controlo foi sujeito a uma abordagem centrada nos objetivos
de aprendizagem. Os resultados experimentais revelaram haver diferenças
significativas ao nível dos desempenhos de reprodução e de transferência de
aprendizagem e que os sujeitos do grupo experimental percecionaram menor
esforço mental na realização das tarefas de aprendizagem.
––Lim e Park (2012) investigaram os efeitos das abordagens instrutivas 4C/ID
e segmentação de informação em termos dos desempenhos (de reprodução e
transferência), em alunos do segundo ano do ensino superior numa disciplina
de TIC na Educação, para o treino de competências complexas no contexto da
programação em MSExcelÒ. Foi ainda avaliado o esforço mental despendido
pelos alunos e consequentemente a eficiência instrutiva. Nas duas abordagens
usou-se o e-learning. Os resultados revelaram que o grupo experimental obteve
melhores resultados ao nível dos desempenhos, com menor esforço mental,
apontando desta forma para uma melhor eficiência instrutiva. Desta forma, os
autores sugerem que uma abordagem instrutiva concebida com o modelo 4C/ID
parece ser mais eficiente na aquisição de aprendizagens complexas.
5. Cálculo das medidas de magnitude de efeito e análise estatísitca
O cálculo das medidas de magnitude de efeito foi feito com a diferença padronizada
entre os dois valores médios observados na variável dependente no pós-teste para os
grupos experimental e de controlo, dividida pela estimativa não enviesada do desvio-padrão da população (pooled within groups). Este cálculo e o estudo estatístico foram
realizados com o software CMA.
6. Resultados
Os resultados devem ser interpretados com algum cuidado devido ao número reduzido
de estudos que foi possível incluir no estudo meta-analítico.
O Quadro 1 representa a caracterização dos estudos selecionados para a meta-análise.
Quadro 1 – Caracterização dos estudos selecionados.
6.1. Magnitude de efeito global
Seguindo as recomendações de Rosenthal (1995), um estudo meta-analítico deve
sempre apresentar de uma forma gráfica a distribuição dos valores médios de d-Cohen
para os trabalhos selecionados. O gráfico da Figura 1 mostra o diagrama de floresta
(forest graph) que ilustra os resultados da meta-análise em função do rácio de chances
(odds ratio, OR, na terminologia anglo-saxónica). As linhas horizontais representam os
intervalos de confiança (IC a 95%), que se intercetarem a linha vertical central indica que
não há diferenças significativas entre os grupos experimental e de controlo em relação ao
benefício da intervenção sobre o grupo experimental e se estas se posicionarem do lado
direito as diferenças a favor do grupo experimental são significativas. O ponto central de
cada linha horizontal representa a magnitude de efeito de cada estudo e o seu tamanho
indica o peso relativo de cada estudo no resultado final. A mesma interpretação é feita
em relação ao losango da parte inferior do gráfico, que diz respeito à combinação dos
dados de todos os estudos.
Figura 1 – Gráfico de floresta dos estudos selecionados para a meta-análise com a indicação do
OR (IC95%).
Podemos concluir que as medidas de magnitude efeito para os oito estudos se encontram
do lado direito da linha central (intervenções a favor do grupo experimental), 50% dos
estudos não revelam diferenças significativas a favor do grupo experimental e que 50%
revelam diferenças significativas. Verifica-se que há uma distribuição homogénea dos
pesos relativos de cada estudo, apresentado apenas o último um peso maior. Quanto à
magnitude de efeito global, podemos concluir que, como a marca está do lado direito,
as diferenças ao nível dos desempenhos de reprodução e transferência são significativas
a favor do grupo experimental. Observando os OR dos vários estudos verifica-se que a
chance de ocorrência de efeito positivo (em termos dos desempenhos de reprodução e
transferência) da utilização do modelo 4C/ID nos grupos experimentais é sempre maior
do que a de ocorrer esse efeito nos grupos de controlo.
Quando se decide incorporar um grupo de estudos numa meta-análise, é porque estes
têm elementos comuns em número suficiente. Contudo, esta assunção não significa
que se considere que os estudos sejam idênticos em todas as variáveis. As diferenças
encontradas entre estudos são designadas por heterogeneidade. A heterogeneidade
pode ser identificada através da análise gráfica ou por testes de heterogeneidade, tais
como, medidas Q de Cochrane e de I2 de Higgins.
O Q de Cochrane permite testar a existência de heterogeneidade entre estudos, sendo
sensível à dimensão da amostra. Logo, para um número reduzido de estudos com
alguma variabilidade (entre estudos) pode ainda originar a um p-value não significativo
(p > 0,05), tal como se pode observar nos dados da Quadro 2. O parâmetro I2 de Higgins
representa a percentagem de variância atribuída à heterogeneidade. Atendendo aos
valores da Quadro 2, o valor de I2 de Higgins para o método de efeito fixo é igual a 23%,
o que corresponde a uma heterogeneidade baixa (Higgins e Thompson, 2002), o que é
corroborado pelo teste de heterogeneidade, Q, (p > 0,05).
Apesar de todas as considerações sobre a heterogeneidade a escolha do modelo estatístico
deve depender da estrutura da amostragem que foi usada para selecionar os estudos. Se
estamos a trabalhar com uma única população, então devemos usar o modelo de efeito
fixo. Se estamos a trabalhar com um universo de populações devemos optar pelo modelo
de efeitos aleatórios. Apesar do número reduzido de estudos e da baixa heterogeneidade
das medidas de magnitude de efeito, escolheu-se o modelo de efeitos aleatórios devido à
estrutura de amostragem da meta-análise.
No Quadro 2 encontram-se os resultados da análise estatística aplicada ao valor de
magnitude de efeito (apenas relativos à média dos desempenhos nos testes de reprodução
e de transferência), usando os métodos de efeito fixo e de efeitos aleatórios.
Quadro 2 – Magnitude de efeito global.
Observando o Quadro 2 verificamos que o valor médio global da magnitude de efeito
para os oito estudos selecionados é 0,56 (95% CI [0,32; 0,80]), o que corresponde a uma
magnitude de efeito elevada. No que respeita ao teste z (z = 4,55, p = 0,00), podemos
afirmar que o valor médio dos verdadeiros valores de magnitude de efeito é não nulo,
pelo que de uma forma geral podemos concluir que ao nível dos desempenhos médios
nos testes de reprodução e de transferência a utilização de ambientes de aprendizagem
concebidos com base no modelo instrutivo 4C/ID gera medidas de magnitude de efeito
que correspondem a efeitos moderados a fortes. O teste de Cochrane não foi significativo
(p > 0,05) revelando homogeneidade nos estudos. A observação da variância estimada
entre estudos (t2 = 0,0282) foi baixa.
6.2. Estimativa do viés de publicação (publication bias)
O viés de publicação é, possivelmente, uma das maiores ameaças metodológicas à
validade dos resultados de uma meta-análise. Neste sentido, têm sido desenvolvidos
vários métodos para estimar este efeito: 1) O método de Rosenthal (Rosenthal fail-safe
N), que foi considerado o mais fácil de estimar, tendo como referência o número de
estudos não publicados necessários para anular o valor médio da magnitude de efeito.
Neste estudo obtivemos um fail-safe N de 72, que corresponde ao número de estudos
não publicados que tornam o valor médio da magnitude de efeito não significativa; 2)
o método do gráfico de funil (funnel plot) é outra forma de avaliar o viés de publicação.
Neste diagrama (Figura 2) os estudos são representados por pontos, cuja distribuição
deve ser simétrica em torno do valor médio de d-Cohen, quando não há viés de
publicação. Neste caso, verifica-se que há uma distribuição assimétrica para o lado
esquerdo do valor médio de d-Cohen, dando informação de que existe viés da publicação.
Contudo, de acordo com o teste de Begg (p = 0,805) o viés encontrado não é considerado
estatisticamente significativo.
Figura 2 – Gráfico de funil para a meta-análise para magnitude de efeito vs erro padrão de
magnitude de efeito (modelo de efeito aleatórios).
6.3. Análise da magnitude de efeito por variável
Fez-se uma meta-análise para as seguintes variáveis: desempenhos relativos à
“reprodução” de conhecimento (R) e desempenhos relativos à “transferência” de
aprendizagem (T).
Os gráficos das Figuras 3 e 4 representam os diagramas de floresta para as variáveis
“desempenhos de reprodução” (R) e de “transferência” (T) por estudo selecionado.
Figura 3 – Diagrama de floresta para os desempenhos de reprodução (R) com a indicação do OR
(IC95%).
Figura 4 – Diagrama de floresta para os desempenhos transferência (T) com a indicação
do OR (IC95%).
Verifica-se que para as duas variáveis 50% dos estudos não revelam diferenças
significativas e favor do grupo experimental e que 50% revelam diferenças significativas.
Relativamente à variável reprodução verifica-se que o OR é sempre maior do que 1, logo
podemos afirmar que o efeito da utilização do modelo 4C/ID sobre essa variável é maior
para os sujeitos grupos experimentais. Contudo, para a variável transferência verifica-se
que os OR estão mais próximos da unidade, pelo que podemos concluir que o efeito da
utilização do modelo 4C/ID sobre esta variável é menos forte (quando comparado com
a reprodução). Podemos ainda visualizar que para o estudo de Nadolski (2005) o efeito
foi quase nulo, favorecendo os sujeitos do grupo de controlo.
No Quadro 3 encontram-se os resultados da análise estatística para as variáveis
desempenhos de reprodução e de transferência.
Quadro 3 – Magnitude de efeito para as variáveis reprodução (R) e transferência (T).
Mais uma vez, tendo em consideração a natureza da amostragem deste estudo, usamos
o modelo de efeitos aleatórios. Portanto, no que diz respeito à variável “desempenhos
de reprodução”, verificamos que o valor médio da magnitude de efeito é 0,70 (95% IC
[0,30; 1,09]), o que corresponde a uma magnitude de efeito elevada. No que respeita
ao teste z, podemos afirmar que, de acordo com os resultados deste teste (z = 3,47, p =
0,00), o valor médio dos verdadeiros valores de magnitude de efeito é não nulo, pelo
que de uma forma geral podemos concluir que ao nível dos desempenhos de reprodução
a utilização de ambientes de aprendizagem concebidos com base no modelo instrutivo
4C/ID gera medidas de magnitude de efeito que correspondem a efeitos moderados a
fortes, em termos de reprodução da aprendizagem.
Relativamente à variável desempenhos de transferência, verificamos que o valor médio
da magnitude de efeito é 0,65 (95% IC [0,20; 1,10]), o que corresponde a uma magnitude
de efeito elevada. Quanto ao teste z, podemos afirmar que (z = 2,84, p = 0,00) o valor
médio dos verdadeiros valores de magnitude de efeito é não nulo, pelo que de uma forma
geral podemos concluir que ao nível dos desempenhos de transferência a utilização de
ambientes de aprendizagem concebidos com base no modelo instrutivo 4C/ID gera
medidas de magnitude de efeito que correspondem a efeitos elevados ao nível da
transferência da aprendizagem. O teste Q de Cochrane não foi significativo (p > 0,05)
revelando heterogeneidade entre os estudos não significativa. A variância estimada
entre estudos (0,200 e 0,232 para as variáveis R e T respetivamente) foi elevada.
6. Discussão
Os resultados da meta-análise permitem suportar as hipóteses relacionadas com os
desempenhos referentes à reprodução e transferência de conhecimentos. Assim, o efeito
combinado destas duas variáveis produz, em média, um d = +0,57 com IC95% [0,36-0,78] denotando alguma variabilidade nas medidas de magnitude de efeito e um efeito
positivo da utilização do modelo 4C/ID sobre os desempenhos dos sujeitos dos grupos
experimentais. Neste sentido, surgiu a necessidade de discriminar a magnitude de efeito
para as duas variáveis relacionadas com os desempenhos (“reprodução” e “transferência”).
Relativamente ao efeito da utilização do modelo 4C/ID sobre as variáveis “reprodução de
conhecimentos” (hipótese 1) e “transferência de conhecimentos” (hipótese 2) os valores
de d foram +0,76 (IC95% 0,54-0,99) e +0,63 (IC95% 0,36-0,89), respetivamente. Os
resultados mostram que para ambas as variáveis a utilização do modelo 4C/ID produziu
efeitos elevados, sendo este resultado mais acentuado para a variável “reprodução de
conhecimento”. Os sujeitos dos grupos experimentais tiveram mais facilidade em reproduzir
os conhecimentos adquiridos do que em transferir estes conhecimentos para novos
problemas e situações. De facto, a transferência de conhecimentos não é um fenómeno que
se produza de modo espontâneo e é difícil de por em evidência em termos experimentais,
sobretudo quando se tratam de aprendizagens complexas (Melo & Miranda, 2015).
No que concerne à própria metodologia da meta-análise tivemos o cuidado de controlar
algumas variáveis como: a) “tipo de publicação”, considerando apenas trabalhos
publicados em locais sujeitos a avaliação por peritos, b) a variabilidade das “dimensões
dos grupos de controlo e experimental”, dado que grupos de maiores dimensões podem
ter um peso maior sobre a população de estudos selecionados, e c) a variabilidade na
“idade dos participantes”.
Em termos globais, para os oito estudos selecionados os resultados sugerem que a
variável “área de estudo” não afeta a distribuição das medidas de magnitude de efeito,
pelo que se pode concluir que a eficiência do modelo é independente do contexto de
aplicação, dado que são treinadas competências que estimulam tanto a aquisição de
conhecimentos como a transferência da aprendizagem a novas situações transversais às
diferentes áreas de estudo.
Do espectro dos estudos selecionados destaca-se o trabalho de Sarfo e Elen (2007) com
d = +1,15, claramente superior aos restantes estudos (ver Figura 1 e Quadro 1). Esta
discrepância pode ser explicada pelo fato dos autores terem usado um único instrumento
de avaliação dos desempenhos, constituído por alguns itens que apelavam à aplicação
de conhecimentos a novas situações. No artigo apenas foi feita referência aos resultados
dos desempenhos relativos à reprodução de conhecimentos, daí que não existam dados
para a variável transferência referentes a este estudo. Os resultados da meta-análise
sem este estudo revelam uma magnitude de efeito menor d = +0,42 IC95% [0,19-0,66],
face ao inicial (+0,57 IC95% [0,36-0,78]) com seria de esperar. Relativamente ao teste
z (z = 3,56, p = 0,00) verifica-se que o valor médio dos verdadeiros valores de efeito
continuam a ser não nulos e a favor dos sujeitos do grupo experimental. O teste Q de
Cochrane não foi significativo (Q(6) = 1,71, p = 0,94) revelando heterogeneidade não
significativa entre os estudos. O viés de publicação continua a não ser significativo (teste
de Begg p = 0,65). A principal diferença encontra-se na variância estimada entre estudos
(t2 = 0,00) que se aproximou do zero, demonstrando o peso excessivo do estudo de
Sarfo e Elen na meta-análise. Assim, podemos inferir que neste estudo foi usada uma
metodologia experimental diferente dos restantes estudos contaminando os resultados
globais da meta-análise.
Observando os resultados da meta-análise podemos concluir que: 1) para os estudos
selecionados a utilização do modelo 4C/ID produz magnitudes de efeito moderadas
a elevadas sobre as variáveis “reprodução de conhecimentos” e “transferência de
aprendizagem”; 2) a variável “estorço mental” percecionado foi avaliada apenas em
três dos oito estudos selecionados; 3) há um notório défice de trabalhos de investigação
sobre a eficiência instrutiva do modelo 4C/ID (combinação de dados de desempenhos
com a avaliação dos esforço mental percecionado) em contexto educativo.
7. Considerações finais
Este estudo teve como objetivo sintetizar os resultados da investigação existentes sobre
os efeitos da utilização do modelo 4C/ID nos desempenhos dos alunos (na reprodução
e transferência da aprendizagem). No entanto, é importante salientar que esta meta-análise, pelo número reduzido de estudos empíricos sobre o tema, deve ser considerada
como um complemento da revisão de literatura efetuada sobre a eficiência do modelo
4C/ID. Desta forma, este estudo pode ser considerado exploratório, tendo com principal
objetivo realçar os benefícios da utilização do modelo 4C/ID como uma abordagem
eficiente para promover aprendizagens complexas em diferentes áreas.
O objetivo principal de uma meta-análise é sintetizar dados de muitos estudos diferentes
para descrever algum fenómeno com maior precisão, conferindo em simultâneo relevância
ao tema, o lado menos apreciado desta metodologia de investigação é identificar pontos
fracos na literatura, realçando áreas que necessitem de mais investigação. Neste sentido,
este artigo dá um contributo especial à investigação realizada no campo da eficiência da
utilização do modelo 4C/ID em contexto educativo, diagnosticando a necessidade de
desenvolver um maior volume de trabalhos de investigação nesta área.
