Para ONGs, o Impacto acontece de diferentes formas e depende de inúmeros fatores, o que torna difícil o seu dimensionamento. Como mudar isso?

Por Natasha Joshi

Há poucos meses, recebemos uma correspondência interna do fundador de uma ONG, trazendo reflexões sobre a relação entre financiadores e fundadores no setor de desenvolvimento. Havia ali uma história sobre impacto, e, nessa história, a comunidade era questionada sobre o que havia mudado como resultado da intervenção da organização. O fundador esperava que a comunidade falasse sobre o emblemático programa da ONG  — orientado para melhorar meios de subsistência e renda —, mas em um povoado após o outro, os parceiros da comunidade diziam que “O medo foi embora. Já não sentimos medo”.

Como se mede o medo ou a sua ausência? Como mensurar algo que não tem preço ou quantidade?

Leia também:

Impacto Coletivo

Priorizar a Equidade no Impacto Coletivo

A história nos fez considerar quais suposições podem ser restritivas ao modo como pensamos em impacto. Em comparação com áreas como a manufatura, onde a relação entre inputs e outputs é relativamente direta e causal, verificar o impacto de programas sociais é complicado (o que torna tanto mais importante aprender com nossos parceiros). Na verdade, problemas sociais existem dentro de sistemas que não são estáticos, mas sim, reflexivos: o próprio ato de intervenção muda o sistema, que, por sua vez, demanda intervenções para mudar. No entanto, as abordagens de mensuração e avaliação do setor de desenvolvimento não costumam refletir essa realidade: na maioria das vezes, avaliações são sequenciadas para vir ao final de um programa, quando poderiam evoluir com o programa. A implementação para avaliação costuma ser uma linha reta, enquanto o trabalho de mudança social se dá em ciclos. E quase sempre as avaliações focalizam a métrica sem uma apreciação integral dos efeitos de segunda ou terceira ordem que uma mudança nessas métricas pode exercer sobre variáveis adjacentes.

É por isso que a avaliação tradicional (na qual especialistas determinam o valor de uma intervenção) está dando lugar — conforme Emily Gates descreveu num webinar recente realizado pelo CECAN — a uma nova maneira de pensar, segundo a qual o avaliador é um coaprendiz que está desenvolvendo valor. Uma vez que a Rohini Nilekani Philanthropies (RNP) está mais interessada em procurar entender melhor e articular o impacto (e o aprendizado) de todas as nossas doações, passamos a pedir aos nossos parceiros que compartilhem o modo como eles veem o impacto de seu trabalho. Como eles acham que uma filantropia deveria julgar o seu próprio desempenho?

Nossos parceiros trabalham em muitos campos diferentes — clima, biodiversidade e conservação, gênero, engajamento cívico, justiça, mídia e engajamento do jovem, entre outros — e ao longo de territórios rurais, urbanas e tribais, com orçamentos de operação que vão de US$ 50 mil a US$ 10-15 milhões anuais e equipes ao mesmo tempo enxutas e grandes. Ao tomar feedbacks — via pesquisa online — dessa ampla gama de organizações, tentamos chegar a uma noção abrangente sobre o que o setor como um todo pensa e necessita.

Quando começamos a analisar os dados de impacto que cerca de 80 organizações compartilharam conosco, percebemos que ao reportar resultados como “impacto”, nossos parceiros estavam fazendo toda uma sorte de suposições não enunciadas, além de tratar algumas outras coisas como axiomáticas. Para compreender tudo isso, demos um passo para trás e vasculhamos o que estava escondido. Após ler e discutir todos os feedbacks que apareceram — e escrever uma nota para deixar registrados nossos pensamentos e reações —, trabalhamos para categorizar nossos processos de financiamento, outputs e resultados em Engajamento, Colaborações, Ações Concretas e Mudança de Política, e depois disso dois amplos eixos começaram a surgir, segundo o traçado do quadro abaixo:

O impacto é um espectro: juntamente com o eixo Y, esforços que resultem em clara mudança de política são considerados resultados tangíveis, enquanto as colaborações do ecossistema que uma ONG estabeleceria — a fim de chegar à mudança de política — são tomadas como intangíveis. Do mesmo modo, o eixo X traça os resultados relatados por ONGs de surgimento rápido e lento, de vitórias rápidas até vitórias mais lentas. Ações mensuráveis em números como vacinações ou crianças inscritas seriam representadas sob ações concretas, enquanto qualquer progresso feito na direção de mudanças de políticas ou de um aumento na rede de atores que se importam com a causa da ONG aparecem sob resultados que são de surgimento lento.

O que ficou claro pela classificação dos dados foi o fato de que a maior parte das organizações (se não todas) operam em todos os quatro quadrantes de uma só vez, não existindo uma hierarquia de ações ou de resultados. Resultados concretos não são menos importantes ou “estratégicos” do que esforços de políticas: resultados “contáveis” acrescentam valor tangível a indivíduos que estejam sendo amparados no local. Ações de campo também originam insights e inovação que em algum momento serão convertidas em política. Do mesmo modo, enquanto o engajamento — sob o qual temos resultados como “número de downloads”, “número de visualizações de website/vídeo” e “frequência com que uma rede envia notificações” — pode ser percebido como efêmero, o engajamento consistente é um pré-requisito desejável, de surgimento rápido, para uma colaboração de longo prazo e mais profunda (que é representada sob surgimento lento).

Por exemplo, um de nossos parceiros no espaço da justiça realiza ações concretas, proporcionando assistência jurídica gratuita a menores em conflito com a lei. Contudo, nossos parceiros também colaboram com organizações em rede que operam uma interface com crianças e jovens referente a outras questões; eles impulsionam engajamento em torno de seu trabalho por meio de uma série de eventos e efeitos colaterais de alcance online e offline (e engajando voluntários); e, por fim, em razão da confiança, das relações e dos insights desenvolvidos no campo, eles estão em posição de advogar por reformas no Juvenile Justice Act (e dessas reformas se espera que impactem muitos milhares de crianças).

Dado que os dois eixos existem concomitantemente, e que o trabalho de uma organização desliza para cima e para baixo e de um lado a outro ao longo desses eixos, é de importância crucial olhar para o modo como métricas e indicadores falam um com o outro ao longo da amplitude do trabalho da organização, em vez de focar numa única métrica isolada.

Definindo Formas Distintas de Impacto

1. Ações concretas: A maior parte das organizações sem fins lucrativos tem uma “comunidade” com que trabalham, de tal modo que atividades realizadas para/com a comunidade podem ser captadas como métricas de progresso e impacto. Contudo, as ONGs com frequência sentem a pressão para aumentar a dimensão de seu trabalho — geográfica ou taticamente (mediante parcerias ou mudança de política) — a partir de um desejo de ver uma mudança sistêmica, e não uma mudança específica. Muitos líderes, por essa razão, acham difícil atingir o equilíbrio entre a estratégia (por meio de captação de recursos, desenvolvimento da organização, impulsionamento de parcerias e exercício da advocacia) e a conexão com a causa original que foi a primeira a trazê-las para o setor. As ações concretas são importantes porque trabalhar junto à comunidade e suas pessoas é algo gratificante de um modo relacional que não pode ser substituído. A ações tangíveis no nível da unidade são e sempre serão centrais para o trabalho social porque é aí que reside a alegria e a consciência desse trabalho.

2. Engajamento: Os parceiros costumam apresentar a métrica de engajamento como um sinal de progresso, assumindo que o aumento do interesse, da percepção e do engajamento são bons presságios para a missão. Sejam análises de websites, informações sobre downloads, curtidas/hits em conteúdo digital, aumento no tamanho de uma rede, aumento na frequência de interações entre membros de uma rede e outros indicadores similares, a maior parte das organizações vê o engajamento com o ecossistema mais amplo (ou com o público em geral) como algo desejável. Contudo, a depender dos objetivos da organização, um engajamento menor (mas repetido) pode ser preferível a uma grande série de engajamentos/usos de ocorrência única (ou vice-versa!). No universo do lucro, o pagamento é um bom indicador da demanda ou interesse de uma pessoa por um produto ou ideia. No mundo sem fins lucrativos, porém, onde produtos/serviços não são mensurados em termos de pagamento, a parte interessada deveria ser mensurada em termos de tempo, esforço ou capital social despendidos?

3. Colaborações: As parcerias apareceram como a métrica de impacto mais difícil de definir. As organizações apresentavam colaborações e parcerias como resultados positivos, mas com frequência definiam a colaboração de modo muito diferente. Para alguns, tratava-se de uma definição numérica — mais membros numa rede, mais participantes numa plataforma, mais colaboradores, ou o lançamento de mais coletivos —, enquanto outros falavam em convergência de esforços por diferentes organizações em direção ao mesmo objetivo. Quando se perguntava sobre a necessidade de parcerias e colaboração, o que mais ouvíamos era que a escala do problema seria grande demais para ser assumida por uma organização. As colaborações trazem abordagens diversas para o mix, formando uma massa crítica, ou uma ação coletiva. Mas se essa fundamentação é não raro tomada como um postulado — mesmo ao se reconhecer as dificuldades dos coletivos realmente colaborarem —, as redes muitas vezes terminam competindo, e as parcerias podem se manter superficiais e caprichosas (em vez de congruentes e estáveis).

4. Mudança de política: Algumas organizações sem fins lucrativos mantêm seu foco muito mais em mudança de política, um resultado difícil de obter, mas altamente valorizado. Isso é compreensível, pois a mudança de política afeta milhões de pessoas e abre espaço para que organizações do setor social apoiem a implementação da nova metodologia, tornando-a um objetivo privilegiado. Ao mesmo tempo, muitas veem-se como aliadas e parceiras de outras organizações-âncora que estejam se comprometendo com a mudança política. Apesar disso, a relação entre implementação de campo e política e advocacia pode estar estreitamente vinculada, com o foco organizacional podendo se deslocar entre um e outro (ou incluir ambos). As filantropias também identificam-se de maneiras diferentes quando se trata de influenciar a política. Uma análise dos dados de nossa própria parceira revelou que tendemos a favorecer organizações de apoio que aspirem a desempenhar o papel de coordenadoras de sistema ou que o estejam a desempenhar de fato.

Como a Filantropia Pode Mensurar seu Próprio Impacto?

Entre 80 organizações, alguns pontos eram mais frequentes, e à medida que procuramos reimaginar o que contribui para uma ação impactante, desenvolvemos quatro amplos caminhos a seguir, que relacionam diferentes formas de impacto, mapeadas no quadrante de impacto original.

Capacitar as OSCs (organizações do setor social) a se sustentar e a crescer mediante doações plurianuais: a maior parte das organizações do setor social pareceu sugerir que a saúde das organizações da sociedade civil é algo que as filantropias têm a responsabilidade de fomentar e desenvolver. Em ação, isso poderia assumir a forma de mais financiamentos básicos, plurianuais, trazendo mais doadores para uma área temática, financiando organizações e líderes mais diversos e de base. Essas ações são quantificáveis, e podem ser projetadas de maneira relativamente rápida.

Convocar reuniões para chegar a uma compreensão no nível do campo: Nossos parceiros compartilharam que organizações filantrópicas têm uma vantagem que permite a elas ver intersecções entre portfólios e domínios, podendo auxiliar a engendrar coerência temática ou geográfica quando se trata de atacar problemas sistêmicos. A coexistência impulsiona o engajamento com o ecossistema parceiro, bem como entre parceiros, e com o tempo isso pode resultar em mais colaboração e convergência. Representamos essa convergência como um indicador de surgimento rápido, intangível.

Avaliações para aprendizado: As “avaliações para aprendizado” formais que resultem em perspectivas mais ricas e entendimentos compartilhados eram vistas como o arco mais amplo de um trabalho de filantropia. Mediante avaliações para aprendizado, parceiros, financiadores e avaliadores esperam poder visualizar o sistema como um todo e de modo mais claro. O valor de ser capaz de visualizar o sistema em conjunto é difícil de quantificar (intangível) e também leva tempo (surgimento lento), mas vale investir tempo e esforço.

Conduzir conversas mais ricas sobre impacto: Em fóruns, muito se escreve e fala sobre a dificuldade de descobrir o impacto de programas. Em particular, o papel (negativo) de organizações doadoras em impulsionar uma abordagem altamente focalizada na métrica tem desconcertado muitas ONGs, em especial quando uma métrica é mais valorizada que a outra. Como observa Mona Mourshed, “organizações sem fins lucrativos frequentemente recebem orientação (bem intencionada) de partes interessadas como financiadores e membros de conselho, mas desproporcionalmente nenhuma quando se trata de um objetivo: servir ao número máximo de beneficiários”. Dada a dinâmica de poder em jogo, nossos parceiros destacaram que a RNP e outras instituições filantrópicas poderiam explorar modos pelos quais o discurso sobre impacto seria passível de ser enriquecido e expandido, informando melhor as ações futuras. Sem dúvida que essa será uma viagem coletiva (surgimento lento).

À medida que buscamos melhores maneiras de mensurar o progresso, a Fields of View — organização sediada em Bangalore, Índia, que faz com que o pensamento sistêmico seja acionável por meio de ferramentas — mostra que isso pode parecer uma distinção entre “eventos” e “processos”. Eventos são similares ao que chamamos de “ações concretas”: x crianças inscritas, y acres replantados, z kits de ração distribuídos, e assim por diante. O monitoramento e a avaliação têm amadurecido até o ponto de captarem com precisão esses indicadores. Mas não dão conta dos processos que fazem as pessoas se defrontarem com esses problemas em primeiro lugar; se pudermos visualizar melhor o sistema, para com isso intervir no nível do processo, esperamos mudar as trajetórias de pessoas e problemas que atualmente estão aprisionadas num ciclo.

Ao empregar uma abordagem de consciência sistêmica, multimetodológica em se tratando de captar e interpretar dinâmicas de campo, esperamos aumentar a resolução da imagem que surge daí. É evidente que isso não quer dizer que a coisa seja simples. Administrar avaliações para aprendizado é algo que de fato consome tempo e demanda engajamento e cocriação. Mas com tecnologias emergentes, podemos começar a operar novos meios de detecção. Ter melhores ferramentas de detecção de impacto também permite que financiadores invistam mais, uma vez que essa abordagem revela muito mais espaços que demandam apoio e financiamento. A Fields of View bem observa: “Como diriam muitos doadores, depois de 30 anos, nós não queremos estar financiando a mesma coisa”.

A AUTORA

Natasha Joshi é uma profissional do setor de desenvolvimento que tem trabalhado com organizações e fundações multilaterais, e também com governos na Índia, no México e em Singapura. Atualmente é diretora associada da Rohini Nilekani Philanthropies.