Planejar o impacto para além de métricas simples
Para ONGs, o Impacto acontece de diferentes formas e depende de inúmeros fatores, o que torna difícil o seu dimensionamento. Como mudar isso?
Por Natasha Joshi
Há poucos meses, recebemos uma correspondência interna do fundador de uma ONG, trazendo reflexões sobre a relação entre financiadores e fundadores no setor de desenvolvimento. Havia ali uma história sobre impacto, e, nessa história, a comunidade era questionada sobre o que havia mudado como resultado da intervenção da organização. O fundador esperava que a comunidade falasse sobre o emblemático programa da ONG — orientado para melhorar meios de subsistência e renda —, mas em um povoado após o outro, os parceiros da comunidade diziam que “O medo foi embora. Já não sentimos medo”.
Como se mede o medo ou a sua ausência? Como mensurar algo que não tem preço ou quantidade?
Leia também:
Impacto Coletivo
Priorizar a Equidade no Impacto Coletivo
A história nos fez considerar quais suposições podem ser restritivas ao modo como pensamos em impacto. Em comparação com áreas como a manufatura, onde a relação entre inputs e outputs é relativamente direta e causal, verificar o impacto de programas sociais é complicado (o que torna tanto mais importante aprender com nossos parceiros). Na verdade, problemas sociais existem dentro de sistemas que não são estáticos, mas sim, reflexivos: o próprio ato de intervenção muda o sistema, que, por sua vez, demanda intervenções para mudar. No entanto, as abordagens de mensuração e avaliação do setor de desenvolvimento não costumam refletir essa realidade: na maioria das vezes, avaliações são sequenciadas para vir ao final de um programa, quando poderiam evoluir com o programa. A implementação para avaliação costuma ser uma linha reta, enquanto o trabalho de mudança social se dá em ciclos. E quase sempre as avaliações focalizam a métrica sem uma apreciação integral dos efeitos de segunda ou terceira ordem que uma mudança nessas métricas pode exercer sobre variáveis adjacentes.
É por isso que a avaliação tradicional (na qual especialistas determinam o valor de uma intervenção) está dando lugar — conforme Emily Gates descreveu num webinar recente realizado pelo CECAN — a uma nova maneira de pensar, segundo a qual o avaliador é um coaprendiz que está desenvolvendo valor. Uma vez que a Rohini Nilekani Philanthropies (RNP) está mais interessada em procurar entender melhor e articular o impacto (e o aprendizado) de todas as nossas doações, passamos a pedir aos nossos parceiros que compartilhem o modo como eles veem o impacto de seu trabalho. Como eles acham que uma filantropia deveria julgar o seu próprio desempenho?
Nossos parceiros trabalham em muitos campos diferentes — clima, biodiversidade e conservação, gênero, engajamento cívico, justiça, mídia e engajamento do jovem, entre outros — e ao longo de territórios rurais, urbanas e tribais, com orçamentos de operação que vão de US$ 50 mil a US$ 10-15 milhões anuais e equipes ao mesmo tempo enxutas e grandes. Ao tomar feedbacks — via pesquisa online — dessa ampla gama de organizações, tentamos chegar a uma noção abrangente sobre o que o setor como um todo pensa e necessita.
Quando começamos a analisar os dados de impacto que cerca de 80 organizações compartilharam conosco, percebemos que ao reportar resultados como “impacto”, nossos parceiros estavam fazendo toda uma sorte de suposições não enunciadas, além de tratar algumas outras coisas como axiomáticas. Para compreender tudo isso, demos um passo para trás e vasculhamos o que estava escondido. Após ler e discutir todos os feedbacks que apareceram — e escrever uma nota para deixar registrados nossos pensamentos e reações —, trabalhamos para categorizar nossos processos de financiamento, outputs e resultados em Engajamento, Colaborações, Ações Concretas e Mudança de Política, e depois disso dois amplos eixos começaram a surgir, segundo o traçado do quadro abaixo:
O impacto é um espectro: juntamente com o eixo Y, esforços que resultem em clara mudança de política são considerados resultados tangíveis, enquanto as colaborações do ecossistema que uma ONG estabeleceria — a fim de chegar à mudança de política — são tomadas como intangíveis. Do mesmo modo, o eixo X traça os resultados relatados por ONGs de surgimento rápido e lento, de vitórias rápidas até vitórias mais lentas. Ações mensuráveis em números como vacinações ou crianças inscritas seriam representadas sob ações concretas, enquanto qualquer progresso feito na direção de mudanças de políticas ou de um aumento na rede de atores que se importam com a causa da ONG aparecem sob resultados que são de surgimento lento.
O que ficou claro pela classificação dos dados foi o fato de que a maior parte das organizações (se não todas) operam em todos os quatro quadrantes de uma só vez, não existindo uma hierarquia de ações ou de resultados. Resultados concretos não são menos importantes ou “estratégicos” do que esforços de políticas: resultados “contáveis” acrescentam valor tangível a indivíduos que estejam sendo amparados no local. Ações de campo também originam insights e inovação que em algum momento serão convertidas em política. Do mesmo modo, enquanto o engajamento — sob o qual temos resultados como “número de downloads”, “número de visualizações de website/vídeo” e “frequência com que uma rede envia notificações” — pode ser percebido como efêmero, o engajamento consistente é um pré-requisito desejável, de surgimento rápido, para uma colaboração de longo prazo e mais profunda (que é representada sob surgimento lento).
Por exemplo, um de nossos parceiros no espaço da justiça realiza ações concretas, proporcionando assistência jurídica gratuita a menores em conflito com a lei. Contudo, nossos parceiros também colaboram com organizações em rede que operam uma interface com crianças e jovens referente a outras questões; eles impulsionam engajamento em torno de seu trabalho por meio de uma série de eventos e efeitos colaterais de alcance online e offline (e engajando voluntários); e, por fim, em razão da confiança, das relações e dos insights desenvolvidos no campo, eles estão em posição de advogar por reformas no Juvenile Justice Act (e dessas reformas se espera que impactem muitos milhares de crianças).
Dado que os dois eixos existem concomitantemente, e que o trabalho de uma organização desliza para cima e para baixo e de um lado a outro ao longo desses eixos, é de importância crucial olhar para o modo como métricas e indicadores falam um com o outro ao longo da amplitude do trabalho da organização, em vez de focar numa única métrica isolada.
Definindo Formas Distintas de Impacto
1. Ações concretas: A maior parte das organizações sem fins lucrativos tem uma “comunidade” com que trabalham, de tal modo que atividades realizadas para/com a comunidade podem ser captadas como métricas de progresso e impacto. Contudo, as ONGs com frequência sentem a pressão para aumentar a dimensão de seu trabalho — geográfica ou taticamente (mediante parcerias ou mudança de política) — a partir de um desejo de ver uma mudança sistêmica, e não uma mudança específica. Muitos líderes, por essa razão, acham difícil atingir o equilíbrio entre a estratégia (por meio de captação de recursos, desenvolvimento da organização, impulsionamento de parcerias e exercício da advocacia) e a conexão com a causa original que foi a primeira a trazê-las para o setor. As ações concretas são importantes porque trabalhar junto à comunidade e suas pessoas é algo gratificante de um modo relacional que não pode ser substituído. A ações tangíveis no nível da unidade são e sempre serão centrais para o trabalho social porque é aí que reside a alegria e a consciência desse trabalho.
2. Engajamento: Os parceiros costumam apresentar a métrica de engajamento como um sinal de progresso, assumindo que o aumento do interesse, da percepção e do engajamento são bons presságios para a missão. Sejam análises de websites, informações sobre downloads, curtidas/hits em conteúdo digital, aumento no tamanho de uma rede, aumento na frequência de interações entre membros de uma rede e outros indicadores similares, a maior parte das organizações vê o engajamento com o ecossistema mais amplo (ou com o público em geral) como algo desejável. Contudo, a depender dos objetivos da organização, um engajamento menor (mas repetido) pode ser preferível a uma grande série de engajamentos/usos de ocorrência única (ou vice-versa!). No universo do lucro, o pagamento é um bom indicador da demanda ou interesse de uma pessoa por um produto ou ideia. No mundo sem fins lucrativos, porém, onde produtos/serviços não são mensurados em termos de pagamento, a parte interessada deveria ser mensurada em termos de tempo, esforço ou capital social despendidos?
3. Colaborações: As parcerias apareceram como a métrica de impacto mais difícil de definir. As organizações apresentavam colaborações e parcerias como resultados positivos, mas com frequência definiam a colaboração de modo muito diferente. Para alguns, tratava-se de uma definição numérica — mais membros numa rede, mais participantes numa plataforma, mais colaboradores, ou o lançamento de mais coletivos —, enquanto outros falavam em convergência de esforços por diferentes organizações em direção ao mesmo objetivo. Quando se perguntava sobre a necessidade de parcerias e colaboração, o que mais ouvíamos era que a escala do problema seria grande demais para ser assumida por uma organização. As colaborações trazem abordagens diversas para o mix, formando uma massa crítica, ou uma ação coletiva. Mas se essa fundamentação é não raro tomada como um postulado — mesmo ao se reconhecer as dificuldades dos coletivos realmente colaborarem —, as redes muitas vezes terminam competindo, e as parcerias podem se manter superficiais e caprichosas (em vez de congruentes e estáveis).
4. Mudança de política: Algumas organizações sem fins lucrativos mantêm seu foco muito mais em mudança de política, um resultado difícil de obter, mas altamente valorizado. Isso é compreensível, pois a mudança de política afeta milhões de pessoas e abre espaço para que organizações do setor social apoiem a implementação da nova metodologia, tornando-a um objetivo privilegiado. Ao mesmo tempo, muitas veem-se como aliadas e parceiras de outras organizações-âncora que estejam se comprometendo com a mudança política. Apesar disso, a relação entre implementação de campo e política e advocacia pode estar estreitamente vinculada, com o foco organizacional podendo se deslocar entre um e outro (ou incluir ambos). As filantropias também identificam-se de maneiras diferentes quando se trata de influenciar a política. Uma análise dos dados de nossa própria parceira revelou que tendemos a favorecer organizações de apoio que aspirem a desempenhar o papel de coordenadoras de sistema ou que o estejam a desempenhar de fato.
Como a Filantropia Pode Mensurar seu Próprio Impacto?
Entre 80 organizações, alguns pontos eram mais frequentes, e à medida que procuramos reimaginar o que contribui para uma ação impactante, desenvolvemos quatro amplos caminhos a seguir, que relacionam diferentes formas de impacto, mapeadas no quadrante de impacto original.
