Inferência Estatística dos Estimadores de
Eficiência obtidos com a Técnica Fronteira
Não Paramétrica de DEA. Uma Metodologia de
Bootstrap
1 Introdução
A noção de eficiência corresponde à comparação entre os valores dos inputs e dos outputs
observados associados à realização de uma certa actividade, e os seus valores óptimos. A
sua obtenção pode ser efectuada numa perspectiva de minimização de inputs, isto é, do
rácio entre a quantidade observada de inputs consumidos e a quantidade mínima de
inputs para uma quantidade idêntica de outputs produzida ou, numa lógica
complementar, de maximização de outputs, do rácio entre os outputs observados e os
outputs máximos possíveis para uma quantidade fixa de inputs utilizados. Em ambas as
situações é calculada a eficiência técnica (ET) que mede a intensidade dos desperdícios
verificados no processo produtivo. Para uma unidade organizatória ou unidade de decisão
(DMU) pode ainda determinar-se a eficiência alocativa de preços (EA) que reflecte, no
modelo com orientação de inputs, qual a percentagem de custo que pode ser reduzida
passando de uma posição da DMU tecnicamente eficiente para uma posição também
sobre a fronteira mas que corresponda ao custo de produção mínimo, tendo em conta os
preços actuais dos inputs. O produto da ET pela EA corresponde à eficiência económica
ou global (Farrell, 1957).
Os métodos de cálculo da eficiência têm sido classificados em métodos paramétricos e
em não paramétricos, consoante admitam, ou não, uma forma funcional, definida a priori,
para a tecnologia de produção. Os métodos paramétricos possibilitam a medição do erro,
mas introduzem a dificuldade adicional de conhecer a especificação associada ao
comportamento admitido (Coelli et al., 1998). Entre os métodos mais aplicados, a data
envelopment analysis (DEA) e os números índices são considerados métodos não
paramétricos, ao passo que as fronteiras estocásticas (SFA) e os modelos de regressão (e.
g. OLS e COLS) são paramétricos. Na figura 1, onde o processo produtivo é caracterizado
por um único input (x) e um único output (y), observa-se a diferença entre estas duas
classes de métodos. A DEA é um método não paramétrico, ou seja, é empiricamente
baseado, enquanto os restantes (OLS, COLS e SFA) requerem a especificação de uma
função para a tecnologia de produção. Os métodos paramétricos ou não paramétricos
podem ainda ser classificados em não fronteira ou em fronteira, em função de
pressuporem, ou não, que as DMU sejam tecnicamente eficientes ou, de outra forma,
dependendo se os benchmarks assentam nas aproximações médias ou nas best practices
(Coelli et al., 1998). A DEA e as SFA constituem métodos fronteira, ao passo que os
números índices e os modelos de regressão (e. g. OLS), desde que não corrigidos (COLS),
são não fronteira. Uma vez mais, a figura 1 permite clarificar esta classificação. A DEA, a
SFA e a COLS são métodos fronteira, dado que se baseiam nas DMU com valores limite da
amostra (best practices), enquanto a OLS é não fronteira, apoiando-se no seu ajustamento
médio.
A superioridade dos métodos fronteira em relação aos não fronteira parece evidente e
relativamente consensual. O mesmo não ocorre, porém, dentro dos métodos fronteira, em
relação aos não paramétricos e aos paramétricos ou vice-versa, nomeadamente entre a
DEA e SFA. Não obstante o argumento da maior aplicabilidade da técnica DEA possa
sustentar a sua supremacia (Tavares, 2002), o facto de esta não permitir a inferência
estatística minimiza o seu potencial de aplicação, sobretudo no domínio empírico. Por
outro lado, a SFA é de cálculo complexo e requer fortes assunções sobre a distribuição
estatística do erro sem justificação teórica. Os reguladores batem-se, comummente, com
essa dificuldade, quando pretendem utilizar a técnica DEA de uma forma explícita, mas
são confrontados com a oposição das entidades gestoras, em virtude de os resultados
obtidos e dos modelos usados não estarem sujeitos a inferência estatística (vide Bosworth
et al., 1996; Burns et al., 2000 e Sarafadis, 2002).
Este documento, assente num trabalho de investigação recente (Marques, 2005a),
pretende providenciar contributos nesse sentido, analisando e aplicando a técnica de
bootstrap aos estimadores da eficiência obtidos com a DEA, usando como caso de estudo
os serviços de água portugueses. Os serviços de água, para além de prestarem um serviço
de interesse económico geral, funcionam em regime de monopólio natural, exigem
investimentos irrecuperáveis e apresentam economias de escala, de gama e de densidade
relevantes. Em Portugal, a indústria da água envolve um valor de negócio anual superior
a 1500 milhões de euros, acreditando-se que, pelas suas características e pelo seu
histórico (mercado muito desregulado), apresenta níveis de ineficiência muito
significativos (Marques, 2005b). O emprego de DEA neste sector é, por isso, da maior
pertinência, embora o seu uso empírico (e. g. na regulação económica deste sector)
requeira uma elevada robustez da análise. Para esse fim, existe a ferramenta de bootstrap
que, sendo um instrumento de simulação estatística, possibilita atestar a qualidade dos
modelos concebidos e dos resultados alcançados. O artigo, após esta introdução, expõe,
numa primeira parte, sumariamente, a técnica de DEA. Seguidamente, esta ferramenta é
aplicada a 70 serviços de água. Numa terceira parte, a metodologia de bootstrap é
discutida e testada, usando os resultados alcançados anteriormente com a DEA.
2 Data Envelopment Analysis
2.1 Introdução
A DEA é um método assente em programação linear para avaliação da eficiência relativa
de unidades mais ou menos homogéneas (DMU), tal como, inter alia, escolas, hospitais e
serviços de infra-estruturas, que transformam um conjunto de recursos ou factores de
produção (inputs) num conjunto de produtos ou resultados desejados (outputs). A DEA
não estabelece uma forma funcional para a fronteira eficiente e não emprega valores
específicos para os pesos. A técnica de DEA é empiricamente baseada (a construção da
fronteira), ao contrário das abordagens paramétricas concorrentes.
A aplicação da técnica de DEA possui várias vantagens, das quais se destacam: a)
identificação para cada DMU ineficiente de um conjunto de DMU (peers) eficientes com
combinação de inputs e outputs semelhante; b) facilidade em lidar com múltiplos inputs e
outputs; c) adopção dos melhores resultados como elementos de comparação; d) não
admissão de uma forma paramétrica para a fronteira ou para a ineficiência quando
associada ao erro; e) natureza conservativa das avaliações; e f) decomposição da natureza
da eficiência em várias componentes. Todavia, a técnica de DEA revela alguns
inconvenientes, a saber, a sensibilidade elevada aos outliers, a exigência em termos de
informação requerida e a dificuldade de medir o erro associado ou de testar
estatisticamente os resultados e os modelos adoptados. Desta forma, também, na DEA, a
análise dos factores explanatórios é complexa, dependendo da correlação existente.
2.2 Formulação Base da DEA
Tendo como base o trabalho de Farrell (Farrell, 1957), Charnes, Cooper e Rhodes
desenvolveram o modelo CCR, caracterizado pela assunção de rendimentos constantes à
escala (RCE) e da sobreutilização (congestão) das variáveis (Charnes et al., 1978).
Considere que uma DMU produz os outputs yi, i =1, …, I a partir dos inputs xj, j = 1, …, J,
com os respectivos pesos ai e bj e que existem M DMU. O problema primal do modelo de
DEA, também designado por modelo dos multiplicadores, corresponde à seguinte
formulação para a orientação de minimização de inputs, no qual Wk diz respeito à
eficiência da DMU k e ε é uma quantidade não Arquimediana (na ordem de 10-5 ou 10-6):
I
Max: Wk = ∑ a i yim
i =1
s.a.
J
I
j=1
i =1
∑ b jx jm ≥ ∑ a i yim
m = 1, ..., k, …, M
J
∑b x
j=1
j
jk
ai, bj > ε
=1
i = 1, ..., I; j = 1, ..., J
(1)
Na programação linear existe a formulação dual, denominada de problema da
envolvente. O dual constrói uma aproximação à fronteira verdadeira, formada pela união
das DMU eficientes que minimizam a quantidade inputs para um nível desejado de
produção de outputs. No primal a escolha dos pesos reside sobre os inputs e os outputs,
enquanto no dual a selecção dos “pesos” recai sobre as DMU. O problema dual consiste
em:
I
J
i =1
j=1
Min: hk - ε( ∑ si + ∑ s j )
s.a.
M
∑λ
m =1
m
x jm = x jk h k − s j
j = 1, ..., J
m
yim = yik + si
i = 1, ..., I
M
∑λ
m =1
λm ≥ 0
m = 1, ..., k, …, M
si , s j ≥ 0
i = 1, ..., I; j = 1, ..., J
(2)
onde λm são as ponderações das DMU de referência, Si são as folgas dos outputs e Sj
são as folgas dos inputs. Os λm representam a proporção de inputs e de outputs da DMU m
utilizados para construir os targets da DMU k em avaliação. As folgas, introduzidas como
variáveis do modelo, representam fontes adicionais de ineficiência, isto é, traduzem em
que medida os inputs podem ser reduzidos após as contracções radiais terem sido
efectuadas. A DMU k é eficiente se e só se hk for igual à unidade e as folgas (slacks) forem
iguais a zero. Neste caso, as DMU designam-se por eficientes e são exemplos das
melhores práticas (best practices).
O problema dual é computacionalmente menos exigente do que o primal, visto que é
munido de um número inferior de restrições (I+J < M+1). Todavia, um algoritmo de
programação linear é resolvido para cada DMU da amostra, obtendo-se o valor de hk
respeitante à sua eficiência. Este valor é alcançado através da contracção radial do vector
de inputs, tanto quanto possível, para uma dada quantidade de outputs que ainda
pertence à tecnologia de produção, o que resulta na projecção da DMU na fronteira
eficiente. A fronteira de produção é determinada pela isoquântica formada pelas DMU da
amostra que conduzem ao menor consumo de inputs para a produção de outputs
desejados. O target ou o ponto projectado corresponde a uma combinação linear das DMU
que pertencem à fronteira e que constituem os seus pares.
2.3 Extensões ao Modelo Base de DEA
O modelo CCR foi estendido em 1984, procurando contabilizar a hipótese de RVE (Banker
et al., 1984). Nesta situação, a natureza da ET pode ser separada em eficiência técnica
pura (ETP) e em eficiência de escala (EE), se se relacionarem os seus resultados com os
dos modelos CCR. Este modelo ficou conhecido como modelo BCC. No modelo CCR a ET
obtida poderia dever-se à ineficiência técnica propriamente dita ou à operação a uma
escala não óptima, não se distinguindo esse efeito. O modelo BCC pode ser resolvido
modificando ligeiramente as formulações 1 e 2, adicionando-lhes uma restrição que
garanta que a DMU em análise seja comparada com uma combinação convexa das DMU
da amostra. Esta abordagem, mais restritiva, forma um invólucro convexo em vez de
cónico sobre as DMU, assegurando, assim, que as DMU só sejam comparadas com DMU
de tamanho equivalente. A medida de eficiência, obtida por esta via (ETP), será sempre
superior ou igual à alcançada com o modelo CCR. A resolução da formulação BCC
determina a ETP, a qual, conjugada com a ET auferida por 1 (ou 2), permite obter a EE. A
EE mede a economia de recursos que se verificaria se a escala de operação fosse óptima.
Em meados dos anos 80, outros modelos foram introduzidos como os denominados
modelos multiplicativos, os quais admitem uma forma particular para a envolvente, como
a função log-linear ou a Cobb-Douglas, o modelo aditivo, baseado no conceito de óptimo
de Pareto e o modelo BCC, abandonando o pressuposto da sobreutilização das variáveis.
Os modelos CCR e BCC foram também adaptados para integrar variáveis que são não
discricionárias, isto é, que não estão dependentes da acção dos decisores e permitem a
presença de variáveis ordinais. Estes e outros modelos estão explanados em (vide
Charnes et al., 1994 e Cooper et al., 2000), não se apresentando aqui os artigos originais
por uma questão de espaço.
2.4 Especificação dos Modelos de DEA
O cálculo da eficiência através da DEA é efectuado sobre os dados de uma determinada
amostra não deixando, por isso, de constituir uma estimação. Logo, não obstante a
técnica de DEA ser considerada, vulgarmente, como determinística, desde muito cedo
existiu a vontade de lhe instituir atributos estatísticos. Esta preocupação tornou-se mais
visível com o número crescente de aplicações empíricas, que demonstraram que os
resultados da DEA eram falíveis e que estavam muito dependentes da qualidade da
amostra e da especificação dos modelos. Contudo, a DEA “estatística” está ainda na sua
infância (Grosskopf, 1996; Simar e Wilson, 2000a e Marques, 2005a). Com efeito, nas
situações de dimensionalidade elevada (Kittelsen, 1999), de correlação significativa entre
variáveis (Pedraja-Chaparro et al., 1999) e para as DMU com valores extremos (input
mínimo ou output máximo no caso de RVE), e quando a amostra é reduzida, os resultados
obtidos são enviesados (Banker, 1996 e Pedraja-Chaparro et al., 1999). Ademais, a
especificação do modelo pode não ser robusta, isto é, omitir variáveis importantes, incluir
variáveis irrelevantes ou, ainda, escolher uma forma funcional inadequada. Por exemplo,
a adição de uma nova variável aumenta o enviesamento médio nas estimativas da
eficiência (Kittelsen, 1999).
Em 1987, Färe e Primont demonstraram que a desagregação de um input do modelo
em dois inputs só pode piorar o resultado da função objectivo, isto é, melhorar a eficiência
das DMU (Färe e Primont, 1987). Um resultado mais generalizado consiste no facto de a
adição de uma variável ao modelo nunca poder piorar a eficiência das DMU. Este
resultado tem consequências importantes, permitindo a realização de testes de hipóteses
entre dois modelos, sobretudo quando existe desagregação ou quando um deles é alojado
(nested) no outro, caso típico quando se acrescenta uma variável ao modelo e se quer
estudar o seu impacto. Assim, testando se a mudança da especificação do modelo de A
para B, onde B tem mais uma variável, altera os resultados significativamente, isto é, se
se aceita a hipótese H0 na qual a estimativa da eficiência de A (ÊA) é equivalente à
estimativa da eficiência de B (ÊB), vem:
H0: ÊA,I = ÊB,i; H1: ÊA,I < ÊB,i
(3)
O mesmo teste pode ser efectuado, admitindo a mesma especificação das variáveis do
modelo, mas a existência de tecnologias distintas, porque se sabe que (Grosskopf, 1986):
ÊA,I (RCE) ≤ ÊA,I (RVE)
(4)
As questões que se colocam são se existem e quais os testes estatísticos a adoptar.
Banker sugeriu dois testes assimptóticos, assumindo duas especificações da ineficiência
diferentes, designadamente, a meia normal (Fm) e a exponencial (Fe) (Banker, 1993 e
1996). Se a assunção da distribuição da ineficiência não for possível, Banker sugere o uso
do teste não paramétrico de Kolmogorov-Smirnov (K-S) para verificar a igualdade das
duas distribuições (Banker, 1993). Um outro teste sugerido, que evita o problema da
especificação da distribuição das eficiências, consiste no teste T para comparação de
médias (Kittelsen, 1998).
A metodologia baseada nos testes estatísticos dá origem à conhecida abordagem
stepwise (ST) de Kittelsen da especificação do modelo. Esta técnica, cuja aplicação será
efectuada de seguida, é sintetizada pelos seguintes passos (Kittelsen, 1998): a) definir um
modelo base que contenha todas as variáveis consideradas essenciais por razões
empíricas ou teóricas; b) obter a estimativa da eficiência para o modelo; c) calcular a
estimativa da eficiência com uma variável candidata ou com as variáveis desagregadas; e
d) determinar os 4 testes atrás referidos (Fm, Fe, K-S e T) e aceitar, ou não, o novo modelo.
Caso existam mais variáveis a desagregar ou novas variáveis candidatas, voltar a b).
Embora o modelo ST exija, do ponto de vista teórico, requisitos que, em geral, não se
verificam, como a dimensão da amostra ou a independência (Simar e Wilson, 2002),
Kittelsen demonstrou, através de simulação de Monte Carlo, que, no mundo empírico, as
distorções ocorridas pelo seu incumprimento não têm os efeitos que, à partida, se
poderiam esperar (Kittelsen, 1998).
3 Caso de Estudo
3.1 Dados
A aplicação envolveu 70 serviços de água, abrangendo cerca de 63 % da população
portuguesa. As DMU incluídas compreendiam as várias formas de organização presentes
em Portugal e uma gama muito diversa de população. A tabela 1 sistematiza as
características da amostra. A informação usada é respeitante ao ano de 2001.
3.2 Modelos de Cálculo
A concepção dos modelos de DEA deve ter em conta as características das DMU e as suas
especificidades, a recolha bibliográfica, a opinião dos especialistas, os dados disponíveis e
os objectivos do estudo. Na DEA é desejável, que tanto quanto possível, contemplem os
aspectos mais abrangentes que caracterizam a actividade produtiva, isto é, os recursos
consumidos e os produtos obtidos. As variáveis devem ser quantificáveis e consistentes
entre DMU. Pode também existir uma segunda fase de análise, para integrar o ambiente
operacional, onde o processo produtivo se desenvolve. No presente caso a orientação dos
modelos deve ser a de minimização de inputs, dado que as DMU estão, não só obrigadas a
satisfazer todas as necessidades dos seus clientes, como também estão sujeitas a políticas
de gestão de procura (demand side management) que condicionam a sua expansão. A
especificação das variáveis em quantidades ou unidades monetárias deve também ser
atentamente ponderada, tendo em conta os prós e os contras de cada opção (Marques,
2005a). Na tabela 2 evidenciam-se as variáveis mais adoptadas nos estudos de DEA
aplicados ao sector da água (Marques e Monteiro, 2004).
A discricionariedade da escolha de um modelo ou a adopção de vários modelos pode
não ser prática, podendo mesmo fornecer resultados inconsistentes, não sendo, como tal,
viável no mundo empírico. Assim, e tendo em atenção as variáveis presentes na tabela 2,
o modelo é obtido estatisticamente pelo modelo ST com vista à selecção da tecnologia
mais adequada, ou seja, mais representativa da realidade. Estipulou-se, como critério de
paragem, o não cumprimento da hipótese h0 em mais de 50 % dos testes (Fm, Fe, K-S e T)
com um nível de significância superior a 1 %. O processo foi iniciado adoptando um
modelo com um único input e um único output, respectivamente, o custo total e o volume
de água facturado e a presença de RVE. Os valores limite para os níveis de significância
de 1 %, 5 % e 10 % para os quatro testes considerados são evidenciados na tabela 3. A
tabela 4 apresenta os resultados da primeira iteração. Nesta tabela verifica-se que a
variável que conduz aos resultados dos testes estatísticos mais convincentes é a variável
perdas de água, a qual permite rejeitar a hipótese h0 de que as estimativas das duas
eficiências são equivalentes a um nível de significância de 1 % para os quatro testes. Esta
variável tem justificação plena em Portugal, visto que as perdas de água atingem um valor
muito elevado, o que, conjugado com o custo muito significativo de produção de algumas
DMU, acentua este fenómeno, constituindo a variável mais condicionante na estimativa
da eficiência das DMU. Na segunda iteração, com a contemplação do input perdas de água
no modelo base, outras variáveis foram candidatas potenciais à inclusão. Verificou-se que
a inserção de qualquer variável, ou a sua desagregação, cumpria todos os testes com um
grau de significância de 1 %. A inclusão da variável número de clientes como output e a
desagregação do input custo total em OPEX e em extensão de redes permitem rejeitar três
dos quatro testes estatísticos a um nível de significância de 5 %, sendo o quarto não
cumprido com um grau de 10 %. Ambas as hipóteses h0 são aceites à luz dos resultados
obtidos e de acordo com o critério de paragem adoptado. Assim, em relação à adição ou à
desagregação de variáveis, o processo iterativo termina aqui. Porém, falta atestar a
validade acerca do tipo de rendimentos à escala. A tabela 5 testa a especificação do
modelo admitindo RCE. Os resultados permitem rejeitar a hipótese h0, na qual não existe
diferença entre as distribuições das eficiências de ambas as tecnologias. Logo, segundo a
metodologia ST, a tecnologia adoptada para a amostra dos serviços de água portugueses é
caracterizada por RVE e por dois inputs, o custo total e as perdas de água, e um output, o
volume de água facturado.
3.3 Resultados
A figura 2 evidencia o valor da ET e a sua decomposição para o modelo ST por DMU. O
valor de ET mais os ganhos de EE corresponde ao valor da ETP. A relação entre a ET e a
ETP permite obter o valor da EE. Na figura estão ainda ilustrados os seus valores médios
(ET e ETP). As DMU estão organizadas por ordem decrescente de população residente e
por forma organizatória.
Na tabela 6 representam-se os valores médios e ponderados, quer pelo volume
facturado, quer pela população servida, da ET e da sua decomposição, o número de DMU
eficientes e os valores mínimos de eficiência. O cálculo foi efectuado por intermédio do
software in2DEA desenvolvido pelos autores.
3.4 Análise de Resultados
Os níveis de ineficiência das DMU portuguesas para o ano de 2001 foram significativos,
apresentando uma ET média de 0,645. No modelo, o factor determinante na origem da ET
foi o valor da ETP, ou seja, precisamente, aquela parcela que é mais controlável pelos
gestores das DMU. A ineficiência de escala apresenta também valores não desprezáveis.
Esta origem de ineficiência não é, contudo, controlável a curto prazo. Os serviços de água
de maior dimensão são, em geral, penalizados pela EE, apresentando rendimentos
decrescentes à escala. Em Portugal, os serviços de água têm um potencial de melhoria da
ET média de 35,5 %, da qual 10,6 % correspondem a ganhos de escala (EE) e 26,9 % à
melhoria da ETP. Isto significa que, em média, cada DMU pode reduzir em 35,5 % os
inputs custo total e perdas de água, apresentando ainda o mesmo volume de água
facturado. Das 70 DMU, e para RVE, 27 têm slacks em relação a um dos inputs, isto é,
podem produzir a mesma quantidade de output consumindo menos recursos. No modelo
ST, em média, os inputs custo total e perdas de água têm um slack, respectivamente, de
75 690 euros e 158 760 m3. Conforme referido, se a escala fosse óptima, ou seja, se
existissem RCE, os serviços de água consumiam menos 10,6 % dos inputs para a mesma
quantidade de outputs produzidos. Quando determinado o modelo DEA para RVE resulta
que das 70 DMU, 27 DMU apresentam RVED, 39 DMU RVEC e 4 DMU RCE. Se se
considerar a população servida, o valor da ET é ainda mais reduzido, em virtude da
penalização da EE das DMU mais populosas. Para o volume facturado ocorre a situação
contrária. As figuras 3 e 4 evidenciam a ET e a ETP hierarquizada por classes de
pontuação para o modelo ST.
Considerando como exemplo as 5 DMU de maior dimensão, a tabela 7 evidencia os
valores dos inputs actuais e dos seus targets, sem e com slacks, bem como os seus peers.
Esta tabela atesta, de forma peremptória, as potencialidades da técnica de DEA como
instrumento de benchmarking, identificando não só as poupanças potenciais destas DMU
(radiais e não radiais), mas também os pares de referência que podem constituir seus
benchmarks.
4 Análise de Sensibilidade aos Estimadores da DEA
4.1 Metodologia de Bootstrap
A DEA é encarada, habitualmente, como uma técnica não paramétrica, na qual a
inferência estatística tradicional é difícil de prosseguir. Esta visão da DEA, muitas vezes
considerada como uma das suas vantagens, não deixa, simultaneamente, de constituir
uma das suas maiores fraquezas. Uma abordagem recente, que permite o
desenvolvimento da desejada inferência estatística, consiste na aplicação da metodologia
de bootstrap (reamostragem) aos estimadores da DEA. O bootstrap permite estimar o
enviesamento e conduzir à inferência sobre os resultados da DEA. Esta metodologia foi
introduzida por Bradley Efron em 1979 (Efron, 1979), mas só cerca de 10 anos mais
tarde, em 1992, foi empregue, pela primeira vez, aos estimadores de DEA (Simar, 1992;
Hall et al., 1995; Ferrier e Hirschberg, 1997 e Simar e Wilson, 1998). A exposição e
discussão aqui efectuada segue a abordagem desenvolvida por Simar e Wilson, que
aplicam um algoritmo de bootstrap suave (smooth), adoptado com base no argumento da
consistência (em alternativa poderia ser usado o bootstrap naive, mas que é
inconsistente), baseado num processo de geração de dados (PGD) onde os inputs
empregues são obtidos pelos desvios aleatórios da fronteira eficiente de inputs formada
pelos targets (Simar e Wilson, 1998). Com efeito, de um ponto de vista formal, cada input
no conjunto de observações de input / output xw = {(xk, yk); k=1, …, w} pode ser
representado por:
(xk, yk) = (xFk / θk, yk)
(5)
onde xFk constitui a fronteira de inputs não observável da DMU k. As medidas de
eficiência “absolutas” são estimadas a partir da mesma distribuição, ou seja, θk ~ F0, k =
1, …, w. O PGD segue o princípio de que, restringido às relações entre inputs e outputs, os
elementos estocásticos no processo produtivo são englobados totalmente pelas medidas
aleatórias de eficiência dos inputs. A ideia principal da simulação de bootstrap consiste na
imitação do PGD. O procedimento para o algoritmo em cada reamostra, limitado pelas
proporções entre inputs e outputs observadas, é construído segundo duas fases. Na
primeira fase a fronteira de inputs é estimada e os pseudo-inputs do bootstrap são criados
através da aplicação do PGD na fronteira estimada de inputs e das pseudo-eficiências,
desenvolvido a partir de alguma estimativa da distribuição F0. O algoritmo emprega um
procedimento de reamostragem alisado (smooth), baseado no argumento da consistência
(Silverman e Young, 1987). Na segunda fase a estimativa da eficiência de bootstrap é
obtida por intermédio da contabilização da distância do input original em relação à
estimativa do bootstrap da fronteira.
O algoritmo do bootstrap sistematiza-se em cinco passos, que são de seguida
apresentados (Simar e Wilson, 1998 e Löthgren, 1998).
Em primeiro lugar, constroem-se os vectores de inputs e de outputs da fronteira
usando as estimativas iniciais da eficiência [(xFk, yk) = (xk × θ̂ kw , yk)].
Em segundo lugar, utiliza-se um alisamento de Kernel da distribuição empírica das
estimativas originais da eficiência para gerar uma reamostra com substituição de pseudo-
eficiências γ k . O procedimento de alisamento baseia-se no método da reflexão que
consiste em duas etapas, respectivamente, na adição de uma pequena perturbação a δ k
e na correcção sequente da reamostragem, onde δ k representa a reamostra não alisada
obtida independentemente com substituição a partir da distribuição empírica das
estimativas originais da eficiência (Silverman, 1986). Na primeira etapa acrescenta-se a
δ*k a perturbação hε*k , na qual h representa a largura da banda ou da janela (bandwith
ou window) e o ε k é obtido i.i.d. a partir de uma distribuição normal para gerar a
pseudo-eficiência δ% k . Como os valores das medidas de eficiência são limitados ao
intervalo unitário, usa-se o procedimento de reflexão para gerar δ% k a partir de:
⎧
*
*
⎪δ + hε
δ% *k = ⎨ k * k
*
⎪⎩2 − (δk + hε k )
δ*k + hε*k ≤ 1
δ*k + hε*k > 1
(6)
Nesta acção torna-se fulcral a escolha da largura da banda, a qual se pode obter, de
modo expedito, pela fórmula h = 1.06×σ( θ̂ kw )×w-0.2 (Silverman, 1986). As eficiências finais
das reamostras alisadas representadas por γ k são obtidas por correcção da δ% k através
de:
γ*k
(δ% *k − δk* )
*
%
= δk +
h2
1+ 2
σˆ θˆ
(7)
onde δk é a média da reamostra das eficiências originais. Esta correcção garante que
a eficiência assimptótica da reamostra tenha os mesmos dois primeiros momentos em
relação às estimativas de eficiência originais.
Em terceiro lugar, as pseudo-eficiências alisadas são usadas para gerar os pseudodados do bootstrap.
Em quarto lugar, calcula-se novamente as eficiências utilizando o modelo de DEA
para estimar as eficiências das amostras obtidas pelo bootstrap, usando o conjunto de
pseudo-dados obtido.
Por fim, repetem-se B vezes os passos 2 a 4 para estimar um conjunto de B valores de
estimativas de eficiência para DMU. Segundo alguns autores, o valor mínimo de B deve
ser igual a 1000 (Hall, 1986).
A estimativa de bootstrap do enviesamento do estimador DEA é obtida pela fórmula:
Ênv k =
1 B ˆ* ˆ
∑ θkb − θk
B b =1
(8)
na qual o primeiro termo (do lado direito) corresponde à média do resultado da
eficiência do bootstrap ( θk ) e o segundo termo ao resultado inicial da estimativa de DEA.
O estimador de θk corrigido do enviesamento é calculado por:
θ% k = θˆ k − Ênv k
(9)
*b
O erro padrão de θ̂ kw é determinado pela expressão:
⎧ 1 B ˆ*
⎫
ÊP = ⎨
(θkb − θk* ) 2 ⎬
∑
⎩ B − 1 b =1
⎭
(10)
Conhecendo a função de distribuição empírica das eficiências de bootstrap θ̂ kb com
b = 1, …, B e depois de uma nova correcção do enviesamento, que resulta na expressão
11 (Simar e Wilson, 1998), os intervalos de confiança podem ser obtidos, por exemplo, por
intermédio do método percentil (Hall, 1998).
ˆ
θ% *kb = θˆ *kb − 2 × Env
k
(11)
O método percentil é baseado na função de distribuição empírica das eficiências de
*b
bootstrap θ̂ kw , b = 1, …, B, definido como
F̂k (s) =
1 B
I ( θ̂*b
∑
kw ≤s) para algum valor real s,
B b =1
onde I(.) representa uma função indicatriz normal (Efron e Tibshirani, 1993). Um intervalo
de confiança (1-2α) para o valor real da eficiência θ para a DMU k é:
ˆ *(α ) , θˆ *(1−α ) )
(θ
kb
kb
(12)
ˆ *(α ) é o α quartil de F̂ , isto é, θˆ *( α ) = F̂−1 (α) . Se a função de distribuição
onde θ
k
k
kb
kw
*
% ,
empírica de θ̂ kw for enviesada, é preferível centrar a mediana da distribuição sobre θ
k levando à obtenção de intervalos de confiança distintos, baseados na correcção do
enviesamento das medianas (Simar e Wilson, 1998).
Simar e Wilson, em publicações posteriores, sugerem a realização de um artifício,
baseado na técnica de “trimming”, para melhorarem os intervalos de confiança obtidos
com o bootstrap (Simar e Wilson, 1998 e 2000b). Estes autores avançam uma outra
justificação para alguma distorção dos resultados, assente na ideia de que o uso da
estimativa do enviesamento acrescenta, necessariamente, erro aos intervalos de confiança
estimados (i. e. o erro médio quadrado é maior no bootstrap corrigido do que na DEA).
Argumentam também que só na circunstância onde a variância das eficiências de
bootstrap seja menor que 1/3 do enviesamento ao quadrado a correcção do enviesamento
deverá ser implementada (Rk=
ˆ
ˆ
× (Env
B (θ(x k , y k ))) ). Mais ainda, os mesmos autores
3σ 2
alegam que, por essa relação se basear apenas nos valores estimados do enviesamento e
das variâncias, e não nos valores reais, a opção pela correcção do enviesamento só deverá
ser efectuada quando o Rk obtido estiver bem acima da unidade (Simar e Wilson, 1998 e
2000b).
4.2 Estimação dos Resultados do Caso de Estudo através de Bootstrap
Na análise da robustez da especificação do modelo ST aplicou-se o método de bootstrap
atrás descrito. A diferença entre as medidas de eficiência estimadas pela DEA e as obtidas
pelo bootstrap, ou melhor, o enviesamento, tal como o erro padrão, constituem medidas
relevantes de análise de fiabilidade dos modelos. Efron sugere que uma relação entre a
estimativa do enviesamento e do erro padrão superior a 0.25 é significativa, pelo que não
devem ser rejeitados os resultados da eficiência obtidos por bootstrap (Efron, 1982). Simar
e Wilson defendem que os resultados do bootstrap para cada DMU só devem ser aceites e
preferíveis em relação às estimativas da DEA quando a variância dos valores obtidos pelo
bootstrap for inferior a um terço do enviesamento ao quadrado (Simar e Wilson, 1998 e
2000b).
Nesta secção procurou-se não só examinar a sensibilidade dos resultados como testar
a própria metodologia bootstrap, cuja aplicação empírica na DEA é recente e, embora
defendida, por alguns autores, pode não ser muito benéfica, pelo menos em certas
situações. Ademais, os casos práticos, referidos em (Simar e Wilson, 1998, 2000a e
2000b), ilustram distribuições de eficiência bem “comportadas” para este fim, isto é, com
uma amplitude diminuta entre a eficiência máxima e a mínima, razão pela qual os
intervalos de confiança, assim como os enviesamentos, são reduzidos. Como tal, podem
constituir, ficticiamente, bons resultados. Todavia, se a relação entre o enviesamento e a
amplitude referida se utilizar como indicador, verifica-se que a aplicação do bootstrap, de
acordo com as metodologias seguidas, conduz a resultados pouco satisfatórios em relação
a algumas DMU, em particular para as consideradas eficientes pela DEA. Pensa-se que
esse fenómeno poderá ter origem na grande amplitude das eficiências determinadas pela
DEA, as quais, recorde-se, definem a distribuição para a reamostragem no bootstrap, nos
dados atípicos de algumas DMU, posicionando-as em regiões mais dispersas em termos
de pontos que possam constituir referência para a determinação das eficiências em cada
iteração do método, ou na conjugação desses dois efeitos. Na situação actual dos serviços
de água portugueses, onde ocorrem DMU com eficiências inferiores a 0.4, muito embora
os resultados do bootstrap possam, e devam, ser encarados como indicações de uma
menor robustez das eficiências obtidas pela DEA, não é expectável que os valores
alcançados pelo bootstrap sejam aceitáveis em aplicações práticas.
Para a aplicação do bootstrap empregou-se o software in2DEA, seguindo o
procedimento exposto no trabalho de referência de Simar e Wilson. Numa primeira fase
adoptou-se a linha sugerida por estes autores em 1998 (Simar e Wilson, 1998) e,
posteriormente, numa segunda fase, introduziram-se as alterações subsequentes que os
mesmos propuseram em 2000 referentes à obtenção dos intervalos de confiança (Simar e
Wilson, 2000a e b].
A tabela 8 ilustra os resultados globais alcançados com a aplicação do bootstrap para
o modelo ST (RVE). Como seria de esperar, o valor obtido pelo bootstrap é inferior ao da
DEA, porque a DEA é um estimador da eficiência por excesso (conservativo). Também, por
isso, quando se determinam os intervalos de confiança pelo bootstrap pode aparecer
valores superiores a 1.
Na tabela 9 apresentam-se os resultados por DMU para o modelo ST (RVE). Na tabela
são também estimados os intervalos de confiança com um nível de significância de 5 %,
tanto para a média como centrados na mediana, para ter em conta o enviesamento.
Conforme já tinha adiantado, os resultados alcançados não são muito úteis em relação às
DMU eficientes. Parece que estas entidades, na maioria das situações, saem penalizadas
com a aplicação do bootstrap, sendo mesmo alterada a sua ordem de eficiência. Mesmo
usando o artifício sugerido por Simar e Wilson atrás referido os resultados obtidos
continuam a ser algo limitativos do ponto de vista empírico.
Efectuaram-se diversos procedimentos de análise da sensibilidade da metodologia
adoptada e apuraram-se as seguintes conclusões:
O modelo é pouco sensível à fórmula de cálculo da largura da banda (h).
Testaram-se vários métodos de cálculo deste parâmetro e variou-se,
arbitrariamente, o seu valor, constatando-se que os resultados oscilaram pouco;
Embora se tenha adoptado um B=1000, observou-se que um B inferior (B=500 ou
B=800) ou superior (B=2000 ou B=5000) não conduzia a resultados muito
díspares;
Testou-se o modelo considerando os pseudo-inputs obtidos pelo bootstrap nas
novas DEA em vez dos inputs originais (Löthgren, 1998), no qual se registaram
diferenças significativas, mas não relevantes;
Verificou-se que os valores das eficiências alcançados pelo bootstrap dependiam
muito do passo inicial de geração de valores aleatórios com substituição das
eficiências originais, obtidas pela DEA, com base na sua distribuição empírica. Tal
pode ser explicado pela amplitude elevada existente entre o input menos eficiente e
o mais eficiente. Este efeito é menos significativo quando esta diferença é reduzida;
Por fim, analisou-se a influência da adopção de um bootstrap suave (através da
estimativa da função de densidade de probabilidades de Kernel Gaussiana) em
detrimento do bootstrap naive inconsistente, cujo objectivo era o de melhorar a
estimação, tendo em conta a existência de uma mancha e de vários valores no
limite da amostra. Constatou-se que os resultados para o bootstrap naive, embora
distintos, eram inconsistentes e sem significado para a amostra estudada.
Recalculou-se o modelo de Simar e Wilson atrás aplicado com as alterações
posteriores, sugeridas pelos mesmos autores, relativas à correcção do enviesamento do
bootstrap e à melhoria dos intervalos de confiança (Simar e Wilson, 2000a e b).
Adoptou-se ainda um nível de significância de 90 %, uma correcção por trimming de 10 %
e um B=2000. Os resultados obtidos, que revelam algumas melhorias, mas ainda aquém
do desejável, para efeitos da aplicação prática apresentam-se na tabela 10.
Por último, experimentou-se efectuar novamente todos os cálculos (representados nas
tabelas 9 e 10), mas considerando apenas as 20 DMU mais eficientes para o modelo ST
(RVE). Esta iniciativa dos autores, original na literatura, permitiu atestar que a eficiência
oscilava entre 0.826 para a DMU 22 e 1.0 para as DMU tecnicamente eficientes da
amostra. Como a amplitude entre a eficiência mínima e máxima era reduzida, seria
esperado que os resultados alcançados pelo bootstrap fossem mais aceitáveis, o que se
veio a confirmar. As tabelas 11 e 12 apresentam os desfechos desses exercícios.
Em suma, a técnica de bootstrap, que mantém a mesma linha não paramétrica da
DEA e que será testada no caso de estudo, permite avaliar a robustez das medidas de
eficiência obtidas pela DEA às variações da amostra e das variáveis não observáveis.
Quando se repete o processo de reamostragem B vezes, estar-se-á em cada uma a
determinar uma fronteira fictícia particular correspondente a um conjunto específico de
peers (em relação ao qual cada DMU efectua o seu benchmarking), representando um
nível particular de variáveis não observáveis ou não consideradas. A eficácia desta
metodologia está muito dependente das características da amostra em análise,
designadamente, do gap de eficiência existente. Quando a diferença entre as DMU mais
eficientes e as menos eficientes não é substancial, a implementação da técnica bootstrap
justifica-se possibilitando a inferência estatística, sendo compensador o esforço do seu
cálculo. Caso contrário, quando o nível de ineficiência é elevado, com uma amplitude
significativa (diferença entre a eficiência mínima e a eficiência máxima), o emprego da
técnica bootstrap, ainda assim pode ser interessante para a aferição da robustez das
medidas de eficiência da DEA, mas não os resultados que terão uma utilização
condicionada num contexto prático.
4 Conclusões
Os objectivos do presente artigo consistiram na análise e discussão da técnica fronteira
não paramétrica de DEA para cálculo da eficiência de DMU e no emprego do método de
bootstrap sobre os resultados obtidos no sentido do fornecimento de inferência estatística.
Após a introdução, o artigo iniciou-se com uma explanação sumária sobre a técnica DEA,
a qual foi aplicada a um conjunto de 70 serviços de água portugueses empregando o
método de ST na especificação do modelo adoptado. Ulteriormente, a metodologia de
bootstrap foi introduzida e discutida tendo em conta o state-of-the-art. Esta ferramenta foi
testada usando como caso de estudo o sector da água em Portugal. Como conclusões
mais relevantes deste documento refiram-se as seguintes:
O uso da técnica de DEA apresenta várias vantagens, das quais se destacam a
identificação de um conjunto de DMU (peers) eficientes com combinação de inputs
e outputs semelhante para cada DMU ineficiente, a facilidade em lidar com
múltiplos inputs e outputs, a adopção dos melhores resultados como elementos de
comparação, a não assunção de uma forma funcional para a fronteira ou para a
ineficiência quando associada ao erro, a natureza conservativa das avaliações e a
decomposição da natureza da eficiência em várias componentes. Porém, a técnica
de DEA não permite com facilidade a inferência estatística dos resultados obtidos;
A primeira dificuldade do emprego da técnica de DEA diz respeito à selecção do
tipo de modelo a considerar e do nível de detalhe adequado à respectiva aplicação.
A abordagem stepwise, que permite determinar, passo a passo, a especificação dos
modelos, constitui uma metodologia muito útil na selecção, não só das variáveis a
adoptar como inputs e outputs, mas também da tecnologia de produção adequada,
embora requeira alguns pressupostos que, por vezes, não se verificam (e. g.
dimensão da amostra e independência);
As DMU portuguesas apresentam, para o modelo ST adoptado, níveis de
ineficiência significativos, sobretudo relacionados com a ETP, precisamente aquela
parcela mais controlável pelos gestores das DMU. Os níveis de ineficiência de
escala são também relevantes;
A técnica de simulação de bootstrap faculta a análise de sensibilidade e da
robustez dos resultados alcançados com a DEA. Esta técnica, de índole estatística,
possibilita a avaliação da robustez das medidas de eficiência alcançadas com a
DEA às variações da amostra e das variáveis não observáveis. De facto, a técnica
de bootstrap, apesar de algo complexa e de produzir resultados ainda pouco
apurados, constitui uma orientação claramente não determinística da DEA, no
sentido da desejada inferência estatística;
A aplicação da metodologia de bootstrap ao modelo ST demonstrou que,
independentemente dos artifícios usados e dos avanços e desenvolvimentos
recentes, os valores obtidos para algumas DMU (tendencialmente as que
apresentam uma eficiência unitária e/ou a informação que as caracteriza é
atípica) são ainda pouco satisfatórios, ou melhor, pouco úteis do ponto de vista
empírico, pelo menos para a realidade dos serviços de água em Portugal. Esta
realidade evidencia, por um lado, a falta de robustez e significância estatística das
estimativas de eficiência obtidas pelo modelo DEA e, por outro lado, que a técnica
de bootstrap tem um valor algo limitado quando a dispersão dos valores da
eficiência do modelo de DEA é muito grande. Alguns autores têm proposto
artifícios para testar ou melhorar os valore obtidos pelo bootstrap, procurando
melhorar a viabilidade da implementação desta metodologia. No presente trabalho,
procurou-se mitigar os valores das ineficiências que definem o processo de
reamostragem, ensaiando-se a metodologia de bootstrap para os 20 serviços de
água portugueses mais eficientes, tendo-se alcançado resultados para os
intervalos de confiança mais interessantes e com um potencial de uso empírico
relevante, havendo, contudo, ainda um caminho longo a percorrer neste domínio.