Para alcançar impacto em larga escala, financiadores devem propor diferentes atividades de monitoramento, avaliação e aprendizado à medida que os programas amadurecem

Por Loïc Watine e Lucy Rimmington

O cenário de financiamento está dominado por duas tendências: o modelo tradicional, com exigências rigorosas e padronizadas de prestação de contas para concessão de subsídios, e o modelo emergente de filantropia baseada na confiança, que oferece recursos sem contrapartidas. Nenhuma das abordagens apoia plenamente a experimentação e o aprendizado necessários para desenvolver e expandir soluções eficazes.

O problema das exigências rigorosas de prestação de contas é bem conhecido. Implementadores com frequência enfrentam demandas excessivas e precisam relatar indicadores e metas padronizados que em geral focam no alcance dos programas. Essa obrigação leva alguns a distorcer seus projetos para se alinharem aos indicadores esperados e outros a os expandirem antes de terem garantia de que eles funcionam. Um dos problemas mais preocupantes é a tendência de aderir a um plano predefinido, em vez de desenvolver a abordagem de mais impacto por meio de testes, aprendizado e adaptação a desafios e oportunidades.

Do outro lado, está a filantropia baseada na confiança. Esse modelo apresenta várias vantagens, como permitir que as organizações se concentrem em fornecer e melhorar serviços em vez de elaborar relatórios. No entanto, alguns financiadores, em especial do setor público, precisam de um nível de responsabilização que torna essa opção desafiadora. Mesmo sem isso, alguns argumentam que a aversão à apresentação de números na filantropia baseada na confiança é uma reação exagerada. Por fim, muitos financiadores também desejam melhorar futuras concessões ou gerar ideias e evidências que beneficiem o setor. Por esses motivos, eliminar a prestação de contas nem sempre é uma opção viável.

Na Innovations for Poverty Action (IPA), nossa unidade de Evidência sob Medida aconselha financiadores e implementadores sobre suas abordagens de monitoramento, avaliação e aprendizagem (MAA) para ajudá-los a alcançar maior impacto. Quando os financiadores buscam orientação sobre como apoiar seus beneficiários no desenvolvimento e na expansão de soluções eficazes, com frequência os incentivamos a adotar uma abordagem adaptativa. Para esse fim, criamos o Modelo de Aprendizagem por Etapas, que alinha as expectativas de prestação de contas e avaliações dos financiadores às necessidades dos programas à medida que eles amadurecem. Essa abordagem elimina atividades desnecessárias de monitoramento e avaliação e permite que as necessidades de aprendizagem evoluam conforme as intervenções progridem em direção à ampliação.

O que não está funcionando

Nos últimos oito anos, trabalhamos em mais de 20 países com parceiros de diversos setores e observamos de forma consistente programas que pulam ou aceleram etapas cruciais de aprendizagem.

Consideremos o seguinte cenário fictício, mas típico: um financiador quer abordar desafios relacionados ao emprego na África. Sabendo que a falta de habilidades prejudica o crescimento e o desenvolvimento empresarial, ele se associa a uma rede de empreendedores em um país que deseja realizar um programa de treinamento focado no desenvolvimento de habilidades de proprietários de pequenas empresas. Com o financiamento, a rede contrata instrutores para treinar três mil empreendedores. O programa inclui sessões mensais durante um ano, abordando fundamentos empresariais como contabilidade, marketing e gestão de recursos humanos.

Como parte de seu compromisso com evidências, o financiador paga por um estudo randomizado controlado para avaliar o impacto do programa nos resultados empresariais seis meses após o treinamento.

Passados apenas alguns meses do início do programa, a rede percebe que os participantes não estão engajados nas sessões ou aplicando os conceitos abordados. No entanto, ela segue com o plano, sentindo-se obrigada a realizar o treinamento durante um ano completo e concluir a avaliação de impacto.

Quase dois anos após o início do treinamento, os dados mostram que ele não teve impacto significativo na lucratividade ou no crescimento dos negócios. O financiador deixa de apoiar o programa, que se desfaz.

Esse desfecho é típico de programas que se expandem de forma prematura sem os esforços adequados de aprendizagem, embora o problema possa assumir diferentes formas para diferentes financiadores e implementadores. Muitas vezes, trata-se de dar um salto de fé de que a ideia funcionará, sem espaço para obter feedback, testar e ajustar antes da implementação em larga escala. Outras vezes, trata-se de exigir que os programas passem direto para uma avaliação de impacto sem resolver falhas. Em alguns casos, espera-se passar diretamente de uma prova de conceito bem-sucedida para a escalabilidade em novos contextos ou implementadores, sem adaptação deliberada.

Um caminho melhor para medir impacto na filantropia

Depois de observar esses cenários repetidas vezes, criamos um novo modelo para orientar financiadores e implementadores a avançar intervenções rumo à larga escala. Esse modelo evita exigências padronizadas para monitoramento, avaliação e aprendizagem, sem abandonar por completo as métricas.

O modelo tem cinco etapas:

Idear | Entender o problema e criar uma solução potencial. Pode incluir avaliação de necessidades, revisão de literatura ou testes com usuários.

Aprimorar | Resolver falhas da intervenção por meio de pilotos em pequena escala, com o objetivo de alcançar resultados iniciais, como mudanças em conhecimento e práticas, que podem ser obtidos com rapidez e informar ajustes rápidos e de baixo custo.

Comprovar | Após encontrar uma versão da intervenção que produza os resultados iniciais desejados, essa etapa envolve uma avaliação de impacto propriamente dita. É o momento de testar resultados finais e avaliar a relação custo-efetividade.

Adaptar | Se os resultados forem positivos, é hora de começar a falar em expansão. Essa etapa normalmente exige ajustar a intervenção a novos contextos e/ou novos implementadores.

Ampliar | Uma vez que um programa comprovado esteja operando em grande escala, as atividades de aprendizagem podem se concentrar em monitoramento contínuo para garantir qualidade na implementação.

Para ilustrar o modelo, voltemos ao cenário anterior. Em vez de passar direto para treinar milhares de pessoas e realizar um estudo randomizado controlado, o financiador incentivou que a rede passasse pelas etapas de idear e aprimorar o programa primeiro, esperando uma prestação de contas sobre o nível de sucesso alcançado após 18 meses.

Imaginemos ainda que, durante a etapa inicial de ideação, a rede realizou uma avaliação de necessidades para entender quais habilidades os empresários careciam de verdade e descobriu que eles já possuíam muitas habilidades básicas de negócios. Também revisou literatura emergente indicando que treinamentos bem conduzidos sobre habilidades interpessoais, como comunicação, mindset empreendedor e iniciativa pessoal, têm impactos promissores em pequenos negócios.

Agora, imaginemos que a rede aprimorou o design do programa: durante mais de um ano, testou diferentes versões do treinamento em pequena escala. Para cada teste, coletou dados sobre engajamento, ganhos de conhecimento e práticas empresariais. (Leva muito mais tempo e exige uma avaliação de impacto adequada para medir se essas mudanças se traduzem em maiores lucros ou crescimento, e ainda não era o momento para isso.) Durante esse período, a rede refinou tanto a versão técnica quanto a interpessoal do programa, melhorando o currículo e capacitando os instrutores.

Suponhamos ainda que, uma vez atingidos níveis satisfatórios de conhecimento e prática, a rede se sentiu pronta para comprovar o impacto. O financiador então concordou em financiar um estudo randomizado controlado para medir o impacto nos resultados empresariais, avaliando as diferentes versões do treinamento. O estudo revelou que o treinamento em habilidades interpessoais teve impactos positivos, enquanto o treinamento técnico não teve. O financiador, então, apoiou a expansão do programa de habilidades interpessoais para milhares de empresários em todo o país.

Pensando adiante, imaginemos que o financiador buscou expandir a abordagem para um país vizinho, somente para perceber que lá não havia uma rede como aquela com a qual ele vinha trabalhando. Apenas uma agência governamental possuía o mandato, os recursos e a equipe para apoiar pequenos negócios dessa maneira. O financiador decidiu ajudar a estabelecer uma parceria entre a rede e essa agência governamental para adaptar o conceito a esse contexto. Um parceiro de MAA também foi envolvido para ajudar em protótipos e pilotos em vários distritos. Por meio desse processo, os parceiros simplificaram o conteúdo do programa, ajustaram o mecanismo de entrega e integraram-no como parte de um programa existente da agência governamental. 

Após os participantes demonstrarem grandes avanços em conhecimento e prática no novo contexto, o programa foi ampliado em todo o país, com a rede e o parceiro de MAA permanecendo por um tempo para ajudar a garantir a qualidade da implementação. O programa continuou treinando novos grupos de empreendedores em âmbito nacional após a saída dos parceiros.

Esse pode parecer um trabalho meticuloso, e é. Mas apressar o processo, pulando etapas, muitas vezes leva ao fracasso, a oportunidades perdidas e a desperdício de recursos. 

Todos os financiadores interessados em aplicar em larga escala soluções eficientes desejam usar dados e evidências para aumentar a eficácia de seus investimentos. No entanto, pode ser difícil saber que tipo de esforço de aprendizagem sugerir e financiar, e quando. Com base em nossa experiência trabalhando com financiadores e implementadores ao longo dos anos, esperamos que esse modelo forneça orientações úteis para desenvolver planos de aprendizagem sob medida e construir programas mais fortes voltados para atender às necessidades de pessoas que vivem na pobreza.

OS AUTORES

Loïc Watine é diretor de pesquisa e políticas na Innovations for Poverty Action.
Lucy Rimmington é diretora na unidade Evidência Sob Medida da Innovations for Poverty Action.

*Artigo publicado originalmente na edição 11 da SSIR Brasil com o título Aprender em etapas; leia aqui a edição completa

Leia também: Transformando a filantropia pelos intermediários