Considerar dados qualitativos e usar a ciência comportamental em teorias de mudança amplia impacto

Por Jana Smith e Sara Flanagan

Avaliações rigorosas de impacto têm se tornado cada vez mais importantes para orientar a direção e o dimensionamento de programas de impacto social. Em 2000, apenas 39 avaliações de impacto de trabalhos realizados em países de baixa e média renda foram publicadas, de acordo com o portal de evidências de desenvolvimento mantido pela International Initiative for Impact Evaluation (3ie). Em 2020, 1.526 foram publicadas.

Leia também:

A guardiã virtual das florestas

A vagina em exposição

O padrão ouro para tais avaliações é o ensaio clínico randomizado e controlado (ECR). O uso de ECRs em pesquisas de desenvolvimento cresceu significativamente nas últimas duas décadas, ganhando destaque público com a concessão do Prêmio Nobel de Ciências Econômicas de 2019 a Esther Duflo, Abhijit Banerjee e Michael Kremer por seu uso de experimentos de campo em trabalhos contra a pobreza. A aplicação dos rigores dos ECRs laboratoriais tradicionais para testar intervenções em saúde, educação, agricultura e outros campos tem ajudado formuladores de políticas e ONGs a entender o que funciona e o que não funciona no desenvolvimento internacional.

Implementadores de intervenções frequentemente se queixam de que aprender e aumentar impacto requer mais recursos em monitoramento e avaliação. Avaliações de impacto rigorosas custam dinheiro – ECRs em grande escala especialmente. Reclamações à parte, organizações e financiadores costumam destinar uma quantia significativa para despesas nesses quesitos. Ainda assim, muitas vezes o feedback valioso e aplicável de que os implementadores do programa precisam não vem.

Apesar dos elogios ao uso de ECRs para desenvolvimento, muitos no campo questionam se eles são apropriados para avaliar intervenções complexas. Argumenta-se que a randomização é inviável em muitos casos, que generalizar a partir de achados de ECR é difícil, que a randomização por si só não garante resultados imparciais e que o ECR não explica as razões dos resultados obtidos.

Deixando tais críticas de lado, achamos que há oportunidades de tornar as descobertas dos ECRs mais práticas para os implementadores. Como escreveram o economista Angus Deaton e a filósofa Nancy Cartwright, “para muitas questões em que os ECRs podem ajudar, uma grande quantidade de outros trabalhos – empíricos, teóricos e conceituais – precisa ser feita para tornar seus resultados utilizáveis”.

A ciência comportamental está na vanguarda de caminhos criativos promissores para uma melhor medição, avaliação e aprendizagem adaptativa. Como designers na organização sem fins lucrativos ideas42, fazemos uso constante da ciência comportamental para entender como o contexto molda a tomada de decisões para lidar com problemas sociais complexos em todo o mundo. Temos uma vasta experiência na concepção de intervenções, com parceiros em mais de 45 países, e realizamos muitas avaliações rigorosas para fortalecer essas intervenções.

Também realizamos avaliações para informar a tomada de decisões e a melhoria de programas externos e ajudamos os parceiros a aplicar os resultados que receberam de avaliações de terceiros de maneiras mais práticas. Com base em nosso trabalho, propomos duas maneiras para designers de programas e financiadores obterem o máximo de seus investimentos em RCTs, a fim de que estes produzam as respostas necessárias para melhorar a programação e otimizar o impacto.

Repensando teorias de mudança

Primeiramente, recomendamos repensar as teorias de mudança para auxiliar o desenho da avaliação e a tomada de decisão. Geralmente, uma teoria de mudança elabora a avaliação enquadrando-a em uma narrativa coerente acerca das expectativas de impacto para um determinado programa. Formular uma teoria de mudança é útil para alinhar os stakeholders quanto a quais resultados esperam alcançar e como. Com muita frequência, no entanto, essas teorias detalham minuciosamente abordagens e entradas necessárias, mas não conseguem articular como essas entradas levarão aos resultados pretendidos.

Felizmente, insights da ciência comportamental podem enriquecê-las e elucidar por que e como os programas geram resultados. Por exemplo, a adoção de um serviço, produto ou processo depende, em última análise, do comportamento humano. A ciência comportamental pode ajudar a identificar quando, para chegar a um resultado, é preciso mudar percepções, crenças ou normas e se a programação proposta poderia contribuir plausivelmente para essas mudanças. Além disso, muitos alvos declarados em teorias de mudança (por exemplo, melhoras nutricionais ou níveis mais altos de escolaridade) resultam de uma série de comportamentos de diferentes stakeholders. Teorias de mudança informadas pela ciência comportamental permitem identificar atitudes de provedores, formuladores de políticas, clientes, gerentes e outros que podem ser cruciais para alcançar e medir esses resultados. Assim, a ciência comportamental pode ajudar implementadores a ter uma compreensão mais matizada de como os programas geram impacto. Além disso, pode destacar maneiras de aprimorar o desenho do programa antes de investir anos na coleta de dados para uma avaliação.

As teorias de mudança também podem se beneficiar da inclusão de mecanismos externos e caminhos baseados em evidências que podem ser relevantes, mas que os designers podem não ter concebido como dentro da alçada do programa. Como podemos identificar oportunidades para ter mais impacto se nos concentramos apenas em um conjunto restrito de indicadores, baseados em nossas noções preexistentes de como gerar mudança? Com certeza, não queremos dizer que os esforços de coleta de dados devam ser direcionados para capturar todos os caminhos inimagináveis pelos quais a mudança pode ocorrer. Em vez disso, vislumbramos usar a pesquisa formativa – direcionada, orientada por hipóteses e qualitativa – ou modelos comportamentais baseados em evidências já disponíveis a fim de destacar fatores talvez não reconhecidos, mas potencialmente cruciais para impulsionar a mudança. Uma avaliação com informação comportamental pode revelar que o programa está tendo impacto em vias inesperadas ou que não está alcançando o impacto esperado porque as vias não visadas podem ser melhores para o resultado. Ambos seriam insights valiosos para informar a tomada de decisões do programa.

Por exemplo, recentemente avaliamos um programa de marketing social destinado a prevenir o tabagismo entre meninas adolescentes em Gana. A pesquisa formativa sugeriu que os ambientes sociais das meninas – especificamente as relações sociais e os ambientes fora da escola ou do trabalho – eram um determinante crítico da probabilidade de fumarem. Os designers do programa não tinham como alvo o ambiente social e não incluíam elementos dele em sua teoria original. Quando os consideramos em nossa teoria de mudança aprimorada, pudemos validar sua relevância para o tabagismo das meninas; analisar as maneiras pelas quais programas anteriores podem já ter tido influência em aspectos relevantes, como a visão das meninas sobre amizades; e identificar oportunidades promissoras de fortalecer o impacto por meio de ambientes sociais.

Reexaminando suposições

Nossa segunda recomendação é reexaminar as suposições sobre quais dados são úteis para avaliações rigorosas, incorporando melhor fontes publicamente disponíveis e dados qualitativos.

Com razão, os profissionais consideram o uso de fontes qualitativas e quantitativas como um complemento a avaliações mais rigorosas de impacto. Mas eles normalmente se concentram muito estritamente no processo – como os componentes de intervenção estão sendo entregues ou como estão sendo recebidos – e falham em se aprofundar em como o programa e seu contexto mais amplo podem influenciar os resultados. Profissionais e pesquisadores costumam destacar a importância de métodos qualitativos no contexto dessas avaliações e, mais amplamente, de estudos comportamentais. Mas os avaliadores geralmente empregam métodos e dados qualitativos apenas para informar medidas quantitativas, ou para dar mais cor aos achados, sem vê-los propriamente como fontes.

A pesquisa qualitativa é fundamental para informar uma teoria de mudança e para desenvolver hipóteses sobre mecanismos a serem testados com métodos quantitativos. Mas ela também serve para esses testes, especialmente nos casos em que possam não ser confiáveis. Por exemplo, abordagens qualitativas podem ser necessárias para identificar e explorar nuances contextuais que influenciam o modo como o programa está funcionando. Devemos abandonar a visão dos dados quantitativos como a única fonte confiável para avaliações e, em vez disso, favorecer métodos que possam gerar evidências para responder às nossas perguntas de pesquisa – sejam qualitativas, quantitativas ou ambas. Dessa forma, poderemos produzir resultados mais ricos e acionáveis.

Além disso, muito comumente os avaliadores se concentram apenas nos dados recolhidos sob as condições rigorosas e controladas do ECR. Às vezes, no entanto, podem surgir nos dados tendências inesperadas que não podem ser compreendidas apenas com dados coletados para a avaliação. Embora fontes de dados externas à avaliação em si não possam ser usadas para o aspecto causal do impacto, elas podem ajudar a conceber hipóteses sobre determinadas tendências, especialmente mudanças no macrocontexto de um estudo.

Tomemos, por exemplo, nossa avaliação em Gana. Quando observamos um aumento nas taxas de tabagismo, formulamos a hipótese de que esse aumento poderia ter relação com uma elevação sazonal da atividade social. Fomos então capazes de confirmar essa intensificação usando dados de mobilidade de celular que empresas de tecnologia divulgaram durante a pandemia de covid-19. Ainda na mesma avaliação, observou-se que, ao longo do tempo, caiu a proporção de adolescentes que acreditam que a maioria de seus pares já fumou. Nossa hipótese foi a de que a alta inflação nacional no período estudado pode ter influenciado essa percepção: cortes em mesadas podem ter mudado a atividade social e o comportamento de gastos de forma a reduzir a visibilidade do tabagismo.

Os ECRs oferecem uma abordagem poderosa para esclarecer suposições e garantir que os recursos sejam investidos nos programas e políticas mais eficazes. Ainda quando eles são a abordagem mais apropriada para uma questão de pesquisa, podemos aproveitar melhor seus pontos fortes, projetando-os para gerar descobertas mais práticas. Incorporar a ciência comportamental na formulação de teorias de mudança mais específicas e na medição de uma ampla gama de mecanismos informados por evidências, responderemos a perguntas que nem pensamos em formular. Valorizar os aspectos qualitativos e aproveitar os dados públicos pode adicionar cor e riqueza a essas respostas e nos ajudar a perceber mais plenamente o potencial das avaliações para catalisar o impacto de programas e políticas por vir.

AS AUTORAS

Jana Smith é diretora-gerente de saúde global da ideas42, uma organização sem fins lucrativos que  usa insights do comportamento humano – por que as pessoas fazem o que fazem – para ajudar a melhorar vidas, construir sistemas melhores e impulsionar mudanças sociais. Ela também é membro atual do Behavioral Insights & Sciences for Health Technical Advisory Group, da Organização Mundial da Saúde.

Sara Flanagan é designer comportamental do ideas42.