Um modelo alternativo ao estudo experimental para inferir causalidade em avaliações do impacto de projetos sociais
Thomaz Chianca
Resumo
Alguns estudiosos defendem que apenas métodos experimentais ou quase experimentais podem determinar o impacto das mudanças provocadas por um projeto. Essa premissa é questionada neste artigo, tanto em relação à sua validade, quanto no que tange à sua viabilidade e à sua utilidade de aplicação na prática cotidiana dos avaliadores. O presente trabalho discute os fundamentos lógicos e as estratégias de uma metodologia não experimental desenvolvida para avaliar mais de 200 projetos focados na redução da pobreza rural e na proteção do meio ambiente, em 23 países. Além dos detalhes sobre o modelo avaliativo desenvolvido, serão apresentadas as lições aprendidas a partir da aplicação do modelo, bem como debatida sua relevância para o campo da avaliação, como alternativa plausível ao modelo experimental. Também serão mostradas as estratégias criativas adotadas para avaliar o impacto dos projetos, em um contexto no qual havia limitações significativas de tempo, de recursos e de acesso a informações.
Palavras-chave
Referências
CHIANCA, T. A causalidade na avaliação de programas sociais: das divergências ao caminho viável. In: OTERO, M. R. (Org.). Contexto e prática da avaliação de iniciativas sociais no Brasil: temas atuais. São Paulo, Peirópolis: Instituto Fonte, 2012.
COOK, T. et al. Contemporary Thinking About Causation in Evaluation: A dialogue with Tom Cook and Michael Scriven. American Journal of Evaluation, v. 31, n. 1, p. 105-117, winter 2010.
DAVIDSON, E. J. The nuts and bolts of sound evaluation. Thousand Oaks, CA: Sage, 2005.
IMBENS, G.; LEMIEUX, T. (Eds.). The regression discontinuity design: theory and applications. Journal of Econometrics, v. 142, n. 2, p. 611-850, february 2008.
SCRIVEN, M. Evaluation thesaurus. Newbury Park, CA: Sage, 1991.
SCRIVEN, M. A summative evaluation of RCT methodology: & an alternative approach to causal research. Journal of MultiDisciplinary Evaluation, v. 5, n. 9, p. 11-24, 2008.
SCRIVEN, M. The methodology of evaluation. In: TYLER, R., GAGNE, R.; SCRIVEN, M. Perspectives in curriculum evaluation. Chicago: Rand McNally. 1967, p. 39-83. (AERA Monography Series on Evaluation, n. 1).
SCRIVEN, M. Causes, connections and conditions in history, in philosophical analysis and history. William Dray, ed., Harper and Row, 1966, p. 238–264.
SHADISH, W. R. Critical multiplism: a research strategy and its attendant tactics. New Directions for Program Evaluation. Special Issue: Program evaluation: a pluraristic enterprise, v. 1993, n. 60, p. 13-57, winter 1993.
SHADISH, W. R.; COOK, T. D.; Campbell, D. T. Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton Mifflin, 2002.
ST. CLAIR, T.; COOK, T. D.; Hallberg, K. Examining the internal validity and statistical precision of the comparative interrupted time series design by comparison with a Randomized Experiment. American Journal of Evaluation, v. 35, n. 3, p. 311-327, September 2014.
UNITED NATIONS EVALUATION GROUP (UNEG). Impact Evaluation in UN Agency Evaluation Systems: guidance on selection, planning and management. UNEG Guidance Document, 2013.
Facebook
Google+
Twitter
LinkedIn
Mendeley
StumbleUpon
CiteULike
Reddit
Email