O setor social aprendeu a contabilizar seu impacto. Nas últimas décadas, motivado por necessidade e desejo legítimos por transparência e prestação de contas, o ecossistema no Brasil aprimorou suas métricas de avaliação. Hoje, a maior parte dos relatórios institucionais exibe os números de pessoas atendidas e serviços prestados.

Esses dados demonstram capacidade operacional, tração e eficiência na distribuição de recursos. O problema surge quando o alcance passa a ser tratado como única e suficiente evidência de impacto, já que saber quantas pessoas foram tocadas por um programa não diz nada sobre o que mudou na vida delas.

Uma formação que capacita milhares de pessoas, mas as mantém em situação de vulnerabilidade e sem perspectiva de crescimento, gerou que tipo de impacto real? Um atendimento que alivia uma demanda pontual, mas não altera a condição de vulnerabilidade subjacente, ajudou a pessoa atendida de que maneira e até que ponto? Como o impacto na vida dos beneficiários se compara com avanços na vida de pessoas que não foram beneficiadas (chamado grupo controle)? Quando a régua principal é a escala, corremos o risco de financiar iniciativas desenhadas para maximizar o número de beneficiários em detrimento da profundidade e da consistência da transformação.

À medida que nossa atuação social e nossa capacidade de entrega se sofisticam, a necessidade por análises mais robustas aumenta. Não basta colocar números em um gráfico de crescimento exponencial; precisamos ser capazes de responder qual é a qualidade e a durabilidade da transformação de vida que estamos gerando.

Essa é uma questão especialmente relevante para nós na Generation Brasil. A Generation atua em inclusão produtiva e mobilidade socioeconômica, oferecendo programas de formação profissional voltados à preparação de pessoas para o mercado de trabalho, acompanhando e apoiando sua colocação profissional. Atuamos no Brasil desde 2019 e já formamos mais de 4.400 participantes em mais de 140 turmas, com uma taxa de empregabilidade média de 71% em até 180 dias após formação. Entre os ex-alunos formados há dois a cinco anos, 85% estão em empregos permanentes, e 78% dos ex-alunos empregados recebem acima de um salário próspero, que entendemos como um salário pelo menos 40% mais alto do que o salário mínimo vigente.

Para nós, a mobilidade socioeconômica se comprova entendendo a mudança de vida ocorrida quando a pessoa consegue um emprego e acompanhando a trajetória dela ao longo da carreira; portanto, não limitamos nossa mensuração ao número de alunos que atendemos ou quantos graduamos. Esses resultados são importantes, mas não são suficientes para afirmar que houve uma transformação sustentável. Para compreender melhor as trajetórias dos nossos beneficiários, pensamos o impacto a partir de três dimensões complementares: alcance, profundidade e durabilidade.

A tríade do impacto

Entendemos que avaliar impacto exige observar e mensurar três dimensões que devem atuar em equilíbrio e avançar de maneira simultânea:

1. Alcance: A primeira camada do impacto diz respeito a quantas pessoas foram expostas à intervenção ou participaram do programa e quem são elas. Na Generation Brasil, esse olhar inclui o número de pessoas que ingressam nos programas e que se formam, os recortes sociodemográficos desses grupos, como gênero e raça, o número de empregadores que contratam nossos alunos, além do tamanho do portfólio de programas e da presença geográfica no país. Entre nossos alunos, 44% são mulheres e 53% são pessoas pretas e pardas. Temos um compromisso com o alcance dos nossos programas e a diversidade dos participantes, garantindo o acesso de perfis sub-representados em profissões de tecnologia e outras áreas.

2. Profundidade: A dimensão qualitativa diz respeito a quanto a intervenção altera concretamente as condições de vida da pessoa. Entre os indicadores que mostram a profundidade da transformação que movemos estão a taxa de empregabilidade das pessoas formadas, a mudança de renda antes e depois do programa, o nível de renda das pessoas contratadas, o tipo de trabalho ou emprego conquistado, a permanência no emprego em até um ano e a satisfação dos empregadores com as pessoas contratadas. 71% dos alunos graduados pela Generation se empregam em até 180 dias após a formação, e 96% deles permanecem no emprego após um ano. 

3. Durabilidade: A dimensão temporal trata da capacidade dessa mudança se sustentar e continuar produzindo efeitos no longo prazo, resistindo às oscilações do mercado e da vida. Olhamos, por exemplo, para empregabilidade anos após a formação, empregabilidade contínua (monitorando períodos de desemprego superiores a 30 dias), nível de renda, crescimento salarial, tipo de cargo e satisfação pessoal e profissional. Também buscamos compreender conquistas financeiras e educacionais e mudanças na vida pessoal e familiar, como a possibilidade de apoiar dependentes e familiares. Entre os alunos da Generation Brasil, 84% dos graduados há dois a cinco anos continuam empregados, e 96% deles ganham acima do salário próspero a partir do 4º ano após a formação. Também conseguimos identificar que 71% dos graduados há dois a cinco anos se mantiveram continuamente empregados ao longo do tempo, ou seja, não tiveram um período de desemprego maior que 30 dias. Nossos ex-alunos também estão apoiando a mobilidade econômica de seus lares: 32% deles fizeram poupanças para suas famílias, e 34% puderam pagar por uma moradia melhor para os familiares.

O valor desse modelo está na leitura conjunta das três dimensões. Entendemos que não faz sentido um programa ter grande alcance e produzir pouca mudança na renda ou na empregabilidade; tampouco faz sentido gerar uma inserção profissional relevante no curto prazo, mas que não se sustentará ao longo dos anos. Avaliar as três dimensões permite identificar essas diferenças e ajustar programas, intervenções e portfólio. A avaliação de impacto é insumo para decisões estratégicas de atuação da organização. Por exemplo, dois anos atrás decidimos investir em expansão de portfólio de programas ao perceber que o mercado de tecnologia já não estava absorvendo nossos talentos com a rapidez com que estávamos acostumados, com os programas mostrando taxas de empregabilidade mais desafiadoras e de mais lento avanço.

O ecossistema de investimento social e a filantropia corporativa priorizam o alcance, uma vez que é um indicador simples de comunicar em relatórios de sustentabilidade e fácil de entender. A profundidade exige olhar para a trajetória individual e suas mudanças e transformações, o que dá mais trabalho. E a durabilidade exige acompanhamento contínuo, algo que raramente entra no desenho original dos projetos.

Maximizar o alcance sem garantir profundidade e durabilidade pode gerar uma ilusão de solução e, principalmente, acabar guiando o ecossistema para métricas insuficientes de impacto. Cria-se um ciclo vicioso em que os programas entregam volume no curto prazo, mas os problemas estruturais permanecem intactos no longo prazo e não ajudam a elevar o país em seus principais desafios.

Isso não significa que escala não importe. Pelo contrário: ampliar o alcance é fundamental para enfrentar problemas sociais de grandes dimensões. Mas a escala só ganha significado quando é acompanhada pela qualidade e pela permanência da transformação gerada. O desafio, portanto, não é escolher entre alcançar mais pessoas ou transformar vidas de forma consistente, mas construir intervenções capazes de fazer as duas coisas.

Mensuração em três dimensões

Medir quantas pessoas participaram de um programa é relativamente simples. Saber o que aconteceu com elas depois que a intervenção terminou é uma tarefa mais desafiadora e, consequentemente, mais reveladora sobre o impacto que uma organização é capaz de gerar.

Quando pensamos o impacto a partir das dimensões de alcance, profundidade e durabilidade, a mensuração precisa acompanhar essa ambição. É preciso construir mecanismos que permitam entender a intensidade da mudança gerada, acompanhar sua permanência ao longo do tempo e, sempre que possível, avançar na compreensão de quanto dessa transformação pode ser atribuída à intervenção.

Para muitas organizações sociais, porém, é justamente nesse ponto que surge uma barreira: a percepção de que medir dessa forma exige estruturas sofisticadas, equipes numerosas e investimentos incompatíveis com a realidade do setor.

A experiência da Generation Brasil mostra que não precisa ser assim. É possível construir uma avaliação de impacto robusta de maneira progressiva, proporcional aos recursos disponíveis e integrada à operação. 

A objeção do custo

Existe um mito consolidado no ecossistema de que acompanhar a trajetória dos participantes após o fim dos programas é inviável financeiramente. “Não temos verba para pesquisa longitudinal” ou “monitoramento consome recursos que deveriam ir para a ponta” são justificativas comuns para manter a medição restrita ao dia da formatura ou da entrega do serviço.

Essa visão é um equívoco metodológico e orçamentário. O acompanhamento de impacto não necessita de grandes investimentos ou estruturas – o que não quer dizer que seja fácil ou que não tenha custo. Ele exige intencionalidade no desenho, uso inteligente de dados e, principalmente, mudança de cultura.

Nossa experiência também mostrou que esse tipo de avaliação precisa ser proporcional à realidade de cada organização. Nem todo programa terá condições ou necessidade de acompanhar todas as pessoas atendidas por muitos anos. Intervenções pontuais ou emergenciais, por exemplo, podem demandar outros indicadores e horizontes de avaliação. Da mesma forma, organizações que ainda estão estruturando sua cultura de dados talvez precisem começar com poucas métricas consistentes antes de construir sistemas longitudinais mais complexos. O importante é que a metodologia esteja a serviço da pergunta de impacto, e não o contrário.

Do certificado à trajetória

Na Generation Brasil, a aplicação desse olhar à inclusão produtiva e à empregabilidade nos ensinou que o sucesso de um programa não termina na certificação do aluno nem no contrato de trabalho assinado no primeiro mês. A transformação se revela na mobilidade econômica e na capacidade do indivíduo de navegar o mercado de forma autônoma ao longo do tempo. Os dados coletados não servem apenas para demonstrar resultados: eles ajudam a identificar onde a formação pode melhorar, orientando ajustes nos próprios programas.

Para avançar da métrica de alcance para a métrica da transformação duradoura, nossa experiência prática aponta para cinco decisões metodológicas essenciais:

1. Qual o impacto almejado e como ele se traduz em indicadores | A organização precisa ter claro quais são os impactos que espera ter em cada dimensão: alcance, profundidade e durabilidade. É importante ser crítico para garantir indicadores de resultado e não de esforço, embora ambos sejam interessantes de acompanhar. Essas respostas definem quais dados precisam ser coletados e em quais momentos. Na Generation, um exemplo é a renda: para compreender sua evolução, o dado precisa ser coletado antes do programa, quando a pessoa se inscreve; quando ela consegue um emprego; e novamente ao longo dos anos. Assim, podemos observar a mudança antes e depois da formação, acompanhar a trajetória de renda e compará-la também com referências de salário próspero.

2. Construir cultura de dados é um exercício diário | As organizações precisam que equipes e beneficiários entendam a importância dos dados ao longo de todo o período da intervenção. Dados devem ser coletados em todos os principais momentos da jornada do beneficiário. Na Generation, essa cultura começa já no início da formação. Nossos alunos se acostumam desde cedo a responder pesquisas regularmente e a entender por que essas informações são importantes. Quando se tornam ex-alunos, o acompanhamento já não aparece como uma rotina nova. A coleta de dados já é um hábito e torna mais viável acompanhar suas trajetórias mesmo anos depois da conclusão do programa.

Por outro lado, internamente, as organizações precisam de equipes que entendam a importância da coleta de dados e que isso é função de todos, não de uma área de dados apartada da operação. Além da coleta de dados estar na rotina operacional, todos os rituais de gestão, em diversas instâncias de liderança, analisam dados e evidências para discussão e tomada de decisão. A organização precisa respirar dados e fazer deles ferramentas para todas as discussões.

3. A importância da amostragem para impacto de médio e longo prazo | A maior dificuldade para medir o impacto de médio e longo prazo com ex-beneficiários é a perda do contato. É natural que a relação com a organização se distancie uma vez que a intervenção finalizou. Porém, uma avaliação longitudinal não depende necessariamente de conseguir respostas de todas as pessoas que já passaram pelos programas. Com uma estratégia adequada de amostragem, é possível trabalhar com uma parcela dos ex-alunos e ainda produzir análises estatisticamente significativas.

4. Avaliação de impacto como insumo para decisões e ajuste de rotas nos programas | Os dados de acompanhamento longitudinal não existem apenas para prestar contas aos financiadores; eles devem voltar para a operação e orientar decisões. Se os dados mostram, por exemplo, que participantes conquistam um emprego após a formação, mas perdem tração na carreira depois de 12 meses, a equipe pode investigar o motivo e revisar aspectos da formação, como competências socioemocionais ou de liderança, para fortalecer a sustentabilidade do crescimento profissional.

É nesse sentido que a avaliação deixa de ser apenas uma fotografia do impacto e passa a funcionar como ferramenta de gestão. Alcance mostra quem estamos conseguindo atingir; profundidade ajuda a compreender a intensidade da transformação; e durabilidade revela se essa mudança resiste ao tempo. Juntas, essas informações ajudam a identificar lacunas e orientar ajustes no desenho dos programas.

5. A regra do 5% do orçamento para mensuração e monitoramento de impacto | A medição de impacto não deve ter um custo muito alto, já que os recursos devem ser priorizados para a missão da organização. Na Generation, usamos a regra do 5%: a medição de impacto deve custar até 5% do nosso orçamento. O percentual permite que a organização adeque sua avaliação de impacto conforme o seu orçamento. Nenhuma estrutura de coleta de dados e mensuração de impacto precisa começar com os melhores e mais caros sistemas. Trata-se de uma jornada. Pouco importa se você está começando; o que importa é que você não pare e busque melhorar a cada ciclo. Assim, seu sistema de avaliação evolui e amadurece junto com a organização.

Limites para a medição de impacto

Embarcar na jornada de mensuração e avaliação de impacto não é fácil, tampouco infalível. Compartilhamos abaixo três pontos de atenção:

1) A transformação social, principalmente ao ser monitorada ao longo de dois, três ou cinco anos, pode ser atribuída a diversas intervenções. A trajetória de uma pessoa é atravessada por inúmeros fatores: econômicos, familiares, pessoais, acesso a outras oportunidades e pelas próprias condições do mercado de trabalho e da economia. O acompanhamento longitudinal permite observar trajetórias e identificar padrões importantes, mas não podemos perder de vista os múltiplos fatores que impactam a vida das pessoas. Na Generation, entendemos que nossa atuação funciona como um pontapé inicial para jornadas de sucesso e estamos sempre redesenhando intervenções para que essas jornadas tenham a maior chance de sucesso no tempo. Mas também reconhecemos a limitação da nossa influência quando expandimos nosso horizonte de avaliação para mais de dois anos.

2) Avaliar o próprio impacto sempre inclui o risco do viés de confirmação, e consequentemente, limita a credibilidade da sua análise. Eliminar esse risco só seria possível com avaliação de impacto por terceiros, o que tende a ser mais custoso, embora às vezes necessário. Desenhar uma avaliação de impacto com isso em mente ajuda a direcionar a coleta de dados de modo a mitigar os riscos desse viés. Revisões periódicas do processo de avaliação e dos instrumentos de coleta de dados também se mostram essenciais.

3) O próximo passo na jornada de avaliação depois de conseguir implementar monitoramento dos egressos é avaliar os que não ingressaram: o famigerado contrafactual. Poder acompanhar também aqueles que não receberam sua intervenção e têm perfil próximo ao do seu beneficiário ajuda a reforçar a causalidade do seu impacto. Se conseguir provar que seus beneficiários se saíram melhor do que um grupo controle, seu impacto ganha força e credibilidade por ter um contrafactual. A Generation, em outras regiões da América Latina, já consegue fazer avaliações com contrafactual, o que nos permite entender de maneira ainda mais aprofundada o valor da nossa intervenção.

Mudar a pergunta do ecossistema

A transição da régua do alcance para a régua da transformação exige uma mudança de atitude por parte de quem lidera organizações sociais e de quem financia o setor. Enquanto celebrarmos relatórios baseados apenas em volume de atendimentos, continuaremos a incentivar intervenções superficiais.

A liderança no terceiro setor e na inovação social exige coragem para propor novas perguntas para:

• Organizações sociais: Estamos medindo o que é fácil de contar ou o que realmente transforma a vida das pessoas que atendemos?
• Financiadores: Estamos dispostos a garantir que um percentual do investimento seja dedicado a provar e aprimorar a eficácia do programa no longo prazo? Estamos incentivando organizações a buscar profundidade e durabilidade de seu impacto?
• Ecossistema: Preferimos apresentar grandes números de alcance imediato ou evidências concretas de impacto e resiliência sustentadas no tempo?

Mudar a régua não significa ignorar a escala, mas garantir que a escala seja composta por transformações reais e duradouras. O valor de um programa social não está em quantas pessoas ele alcançou, mas em como essas pessoas conseguem seguir avançando quando a intervenção termina.