Revista Brasileira de Avaliação
https://app.periodikos.com.br/journal/rbaval/article/doi/10.4322/rbaval202211042
Revista Brasileira de Avaliação
Artigo original

Monitoramento e avaliação da Comunicação Pública de Ciência e Tecnologia

Cibele Maria Garcia de Aguiar, Sergio Luiz Monteiro Salles-Filho, Sérgio Parreiras Pereira

Downloads: 1
Views: 905

Resumo

A comunicação da Ciência e Tecnologia envolve muitos desafios e o monitoramento e avaliação de seus efeitos na sociedade está entre eles. A tecnologia possibilitou a abertura de canais dialógicos e a conversação nas redes digitais pode ser monitorada em tempo real. Todavia, falta um modelo capaz de fundamentar e orientar esse processo. Apresentamos nesse artigo o embasamento teórico e o caminho metodológico usado para o desenvolvimento de um modelo para o monitoramento e avaliação de programas de Comunicação Pública da Ciência e Tecnologia (CPCT), realizada no ambiente digital, a partir da abordagem da Teoria da Mudança (TM). Defendemos que a TM é um caminho pertinente para a prospecção de uma cadeia lógica de resultados e impactos esperados, o que facilita a gestão das boas práticas de CPCT, sejam elas destinadas a informar, engajar ou tornar o conteúdo apropriável pela sociedade.

Palavras-chave

Avaliação de programas. Teoria da mudança. Indicadores. Comunicação pública de ciência e tecnologia.

References

Aguiar, Cibele, & Salles-Filho, Sergio. (2021). Informação, engajamento e participação: O uso de tipos ideais na criação de uma Teoria da Mudança para a Comunicação Pública de Ciência e Tecnologia. In 44º Congresso Brasileiro de Ciências da Comunicação, evento virtual. Recife: Universidade Católica de Pernambuco.

Albert, Gert. (2020). A dimensão casual-explicativa dos tipos ideais: A contribuição metodológica de Max Weber para a sociologia contemporânea. Política & Sociedade, 19(45), 56-82. http://dx.doi.org/10.5007/175- 7984.2020v19n45p56.

Anderson, Andrea. (2005). The community builder’s approach to theory of change. Washington: The Aspen Institute. Recuperado em 23 de outubro de 2020, de https://www.theoryofchange.org/pdf/ TOC_fac_guide.pdf

Barata, Germana, Caldas, Graça, & Gascoigne, Toss. (2018). Brazilian science communication research: National and international contributions. Anais da Academia Brasileira de Ciências, 90(2, Supl. 1), 2523- 2542. PMid:28876388.

Belcher, Brian, Suryadarma, Daniel, & Halimanjaya, Aidy. (2017). Evaluating policy-relevant research: Lessons from a series of theory-based outcomes assessments. Palgrave Communications, 3(1), 1-16. http://dx.doi.org/10.1057/palcomms.2017.17

Blanchard, Olivier. (2011). Social media ROI: Managing and measuring social media efforts in your organization (369 p.). Indianapolis: Que Publishing.

Brandon, Paul R., Smith, Nick L., Ofir, Zenda, & Noordeloos, Marco. (2014). Monitoring and evaluation of african women in agricultural research and development (AWARD) an exemplar of managing for impact in development evaluation. The American Journal of Evaluation, 35(1), 128-143. http://dx.doi. org/10.1177/1098214013509876 Bucchi, Massimiano. (2008). Of deficits, deviations and dialogues: Theories of public communication of science. In Massimiano

Bucchi & Brian Trench (Eds.), Handbook of public communication of science and technology. London: Routledge. http://dx.doi.org/10.4324/9780203928240.

Bucchi, Massimiano. (2013). Style in science communication. Public Understanding of Science (Bristol, England), 22(8), 904-915. PMid:23969941. http://dx.doi.org/10.1177/0963662513498202

Bucchi, Massimiano, & Trench, Brian (Eds.). (2014). Routledge handbook of public communication of science and technology (274 p.). New York: Routledge. http://dx.doi.org/10.4324/9780203483794

Buhmann, Alexander, & Likely, Fraser. (2018). Evaluation and measurement. In Robert Heath & Winni Johansen (Eds.), The International Encyclopedia of Strategic Communication. Malden: Wiley-Blackwell. http://dx.doi.org/10.1002/9781119010722.iesc0103.

Castelfranchi, Yurij, & Fazio, Maria E. (2020). Comunicación de la ciencia en América Latina: Construir derechos, catalizar ciudadanía. In Red de Indicadores de Ciencia y Tecnología -Iberoamericana e Interamericana (Ed.), El estado de la ciencia: Principales Indicadores de Ciencia y Tecnología Iberoamericanos/ Interamericanos (pp. 145-156). Argentina: RICYT.

Castro, Paula Drummond, Salles-Filho, Sergio, Bin, Adriana, & Vonortas, Nicholas. (2016). Multidimensional evaluation framework for science technology and innovation instruments: GEOPI Impact evaluation approach. In David O’Brien, & Rigas Arvanitis (Eds.), The transformation of research in the South: Policies and outcomes. Marseille: IRD Éditions.

Cerqueira, Renata, & Silva, Tarcízio. (2011). Mensuração em mídias sociais: Quatro âmbitos de métricas. In Aline Bessa, Andre Telles. Danila Dourado, Gabriel Leite, Mara Baroni, Marcel Ayres, Marcello Chamusca, Márcia Carvalhal, Marlon Wender, Martha Gabriel, Mirna Tonus, Patrícia Moura, Renata Cerqueira, & Tarcízio Silva (Eds.), Comunicação e marketing digitais (119 p.). Salvador: Edições VNI.

Colciencias. (2010). Estrategia nacional de apropiación social de la ciencia, la tecnología y la innovación. Bogotá: Colciencias. Recuperado em 23 de outubro de 2020, de https://minciencias.gov.co/sites/default/ files/ckeditor_files/estrategia-nacional-apropiacionsocial.pdf

Colecchia, Alessandra. (2007). Looking ahead: What implications for STI indicator development. In Science, technology and innovation indicators in a changing world: Responding to policy needs (pp. 285-298). Paris: OECD.

Dávila-Rodríguez, Lisha Pamela. (2020). Apropiación social del conocimiento científico y tecnológico: Un legado de sentidos. Trilogía Ciencia Tecnología Sociedad, 12(22), 127-147. http://dx.doi. org/10.22430/21457778.1522

Daza-Caicedo, Sandra, Maldonado, Oscar, Arboleda-Castrillón, Tania, Falla, Sigrid, Moreno, Pablo, TafurSequera, Mayali, & Papagayo, Diana. (2017). Para a mensuração do impacto das práticas de apropriação social da ciência e tecnologia: Proposta de uma bateria de indicadores. História, Ciências, SaúdeManguinhos, 24(1), 145-164. PMid:28380168. http://dx.doi.org/10.1590/s0104-59702017000100004

Dugand, Adriana, & Brandão, André. (2017). A teoria da mudança como ferramenta avaliativa do desenho dos programas sociais: O caso das ações estruturantes para Comunidades Quilombolas. Meta: Avaliação, 9(25), 110-140.

Dyson, Alan, & Todd, Liz. (2010). Dealing with complexity: Theory of change evaluation and the full service extended schools initiative. International Journal of Research & Method in Education, 33(2), 119-134. http://dx.doi.org/10.1080/1743727X.2010.484606

Fayard, Pierre, Catapano, Paola, & Lewenstein, Bruce. (2004). The International Public communication of science and technolgy network: A brief historical overliew. Quark, (32), 63-69.

Fischhoff, Baruch. (2019). Evaluating science communication. Proceedings of the National Academy of Sciences of the United States of America, 116(16), 7670-7675. PMid:30478063. http://dx.doi.org/10.1073/ pnas.1805863115

Funnell, Sue, & Rogers, Patricia. (2011). Purposeful program theory: Effective use of theories of change and logic models (Vol. 31). San Francisco: John Wiley & Sons.

Galindo-Rueda, Fernando. (2007). Blue Sky perspectives towards the next generation of data and indicators on science and innovation. Paris: OECD.

Germano, Marcelo Gomes, & Kulesza, Wojciech Andrzej. (2017). Popularização da ciência: Uma revisão conceitual. Caderno Brasileiro de Ensino de Física, 24, 7-25.

Georghiou, Luke (Ed.). (2008). The handbook of technology foresight: Concepts and practice. Massachusetts: Edward Elgar Publishing

Godin, Benoit, & Gingras, Yves. (2000). What is scientific and technological culture and how is it measured? A multidimensional model. Public Understanding of Science, 9(1), 43.

Gouveia, Fábio. (2016). Altmetrics and the interface between science and society. Trabalho, Educação e Saúde, 14(3), 643-645. http://dx.doi.org/10.1590/1981-7746-sip00126

Hermann-Pawłowska, Katarzyna, & Skórska, Paulina. (2011). A comprehensive review of the theory-based evaluation concepts. The American Journal of Evaluation, 32(2), 21.

Hornik, Robert, & Yanovitzky, Itzhak. (2003). Using theory to design evaluations of communication campaigns: The case of the National Youth Anti-Drug Media Campaign. Communication Theory, 13(2), 204-224. PMid:25525317. http://dx.doi.org/10.1111/j.1468-2885.2003.tb00289.x

International Association for the Measurement and Evaluation of Communication – AMEC. (2022). Integrated evaluation framework. Recuperado em 23 de março de 2022, de https://amecorg.com/ amecframework/

Jensen, Eric. (2014). The problems with science communication evaluation. Journal of Science Communication, 13(1), C04. http://dx.doi.org/10.22323/2.13010304

Lewenstein, Bruce. (2003). Models of public communication of science and technology (Public Understanding of Science). Ithaca: Cornell University. Recuperado em 23 de outubro de 2020, de https://ecommons. cornell.edu/handle/1813/58743

Lewenstein, Bruce V. (2010). Modelos de comprensión pública: la política de la participación pública. (Models of Public Understanding: The Politics of Public Engagement). ArtefaCToS, 3(1), 13-29.

Lewenstein, Bruce. (2016). ‘Can we understand citizen science?’ Journal Science Communication, 15(1), 1-5. Special Issue: Citizen Science. Recuperado em 23 de outubro de 2020, de https://jcom.sissa.it/ archive/15/01/JCOM_1501_2016_E

McLellan, Timothy. (2021). Impact, theory of change, and the horizons of scientific practice. Social Studies of Science, 51(1), 100-120. PMid:32842910. http://dx.doi.org/10.1177/0306312720950830

Macnamara, Jim. (2016). Organizational listening: Addressing a major gap in public relations theory and practice. Journal of Public Relations Research, 28(3-4), 146-169.

Macnamara, Jim. (2018) Evaluating Public Communication: Exploring new models, standards and best practice (392 p.). London: Routledge.

Massarani, Luiza, & Moreira, Ildeu. (2016). Science communication in Brazil: A historical review and considerations about the current situation. Anais da Academia Brasileira de Ciências, 88(3), 1577-1595. PMid:27556221. http://dx.doi.org/10.1590/0001-3765201620150338

Mayne, John. (2015). Useful theory of change models. The Canadian Journal of Program Evaluation, 30(2), 119-142. http://dx.doi.org/10.3138/cjpe.230

Meissner, Dirk, Polt, Wolfgang, & Vonortas, Nicholas. (2017). Towards a broad understanding of innovation and its importance for innovation policy. The Journal of Technology Transfer, 42(5), 1184-1211. http:// dx.doi.org/10.1007/s10961-016-9485-4

Morra-Imas, L., & Rist, Ray. (2009). The road to results: Designing and conducting effective development evaluations (611 p.). Washington: World Bank Publications.

Mueller, Suzana. (2013). Estudos métricos da informação em ciência e tecnologia no Brasil realizados sobre a unidade de análise artigos de periódicos. Liinc em Revista, 9(1), 6-27.

National Academies of Sciences, Engineering, and Medicine – NASEM. (2016). Effective chemistry communication in informal environments. Washington: National Academies Press.

Organisation for Economic Co-operation and Development, & Statistical Office of the European Communities. (2018). Oslo manual 2018: Guidelines for collecting, reporting and using data on innovation. OECD publishing. https://www.oecd.org/science/oslo-manual-2018-9789264304604-en.htm

Organización de las Naciones Unidas para la Educación – UNESCO. (2021). Comunicación pública de la ciência. Montevideo. Recuperado em 23 de outubro de 2020, de http://forocilac.org/wp-content/ uploads/2021/04/PolicyPapers-CILAC-ComunicacionPublicaCiencia-ES.pdf

Organisation for Economic Co-operation and Development – OECD. (2002). Glossary of key terms in evaluation and results-based management. Recuperado em 23 de outubro de 2020, de https://www.oecd. org/dac/evaluation/2754804.pdf

Organisation for Economic Co-operation and Development – OECD. (2006). Proceedings of OCDE Blue Sky II Forum. Ottawa, Canadá.

Pellegrini, Giuseppe. (2014). The right weight: Good practice in evaluating science communication. Journal of Science Communication, 13(1), C03. http://dx.doi.org/10.22323/2.13010303

Polino, Carmelo, & Cortassa, Carina. (2016). Discursos y prácticas de promoción de cultura científica en las políticas públicas de Iberoamérica. Trilogía Ciencia Tecnología Sociedad, 8(15), 13-24.

Red de Indicadores de Ciencia y Tecnología Iberoamericana e Interamericana – RICYT. (2009). Manuales. Recuperado em 21 de junho de 2020, de http://www.ricyt.org/

Ribeiro, Antonio. (2020). Teoria de mudança: Aplicações e aprendizados em uma experiência brasileira. Revista Brasileira de Avaliação, 9, 4-15.

Rice, Ronald E., & Atkin, Charles K. (Eds.). (2012). Public communication campaigns. Thousand Oaks: SAGE Publications.

Rogers, Patricia. (2008). Using programme theory to evaluate complicated and complex aspects of interventions. Evaluation, 14(1), 29-48. http://dx.doi.org/10.1177/1356389007084674

Rogers, Patricia. (2014). Theory of change, methodological briefs: Impact evaluation 2. Florence: UNICEF Office of Research.

Sauer, Maria, & Oliveira Neto, José Messias. (1999). Comunicação de risco na área nuclear. In Anais do VII Congresso Geral de Energia Nuclear, Belo Horizonte. Rio de Janeiro: ABEN.

Stern, Elliot., et al. (2012). Broadening the range of designs and methods for impact evaluations. Department for International Development, Working Paper 38. London: DFID, pp. vi + 92. https://www. oecd.org/derec/50399683.pdf

Thelwall, Mike, Vaughan, Liwen, & Björneborn, Lennar. (2005). Webometrics. Annual Review of Information Science & Technology, 39(1), 81-135. http://dx.doi.org/10.1002/aris.1440390110

Vanti, Nadia. (2005). Os links e os estudos webométricos. Ciência da Informação, 34(1), 78-88. http:// dx.doi.org/10.1590/S0100-19652005000100009

Velho, Lea. (2010). Estratégias para um sistema de indicadores de C&T no Brasil. Parcerias Estratégicas, 6(13), 109-121.

Vogel, Isabel. (2012). Review of the use of ‘Theory of Change’ in international development. UK: Department for International Development (DFID).

Weber, Max. (1999). A objetividade do conhecimento nas ciências sociais (Coleção Grandes Cientistas Sociais, No. 13). São Paulo: Ática.

Weiss, Carol. (1998). Evaluation (372 p.). Prentice Hall: Upper Saddle River.

Wheeler, Colin. (2017). Why you need a good measurement and evaluation program. In Jesper Andersen (Ed.), Demonstrating the value of communication (2nd ed.). London: International Association for the Measurement and Evaluation of Communication (AMEC).

Wolf, Mauro. (2001). Teorias da comunicação (6ª ed., 123 p.). Lisboa: Editorial Presença.

World Bank Group. (2018). Avaliação de impacto na prática (2ª ed., 406 p.). Washington: World Bank Publications.

W.K. Kellogg Foundation. (2006). Logic model development guide: Using logic models to bring together planning, evaluation and action. Recuperado em 23 de outubro de 2020, de https://www.wkkf.org/ resource-directory/resource/2006/02/wk-kellogg-foundation-logic-model-development-guide


Submitted date:
05/11/2022

Accepted date:
09/22/2022

633db48ca953956f9376b735 rbaval Articles
Links & Downloads

Revista Brasileira de Avaliação

Share this page
Page Sections