O desafio de provar que um impacto é real

Desafio não é medir o que aconteceu. É demonstrar, com evidência, o que teria acontecido se nada tivesse sido feito. Sem essa diferença, impacto pode ser apenas narrativa - Imagem gerada por IA - Foto: Ilustrativa/Neo Mondo

POR – CAROLINA DA COSTA*

Bilhões em capital de impacto, subsídio público e filantropia são alocados todo ano a partir da mesma inferência causal: a de que algo mudou porque uma intervenção aconteceu. É o mesmo erro de atribuição que cometemos no cotidiano — confundir a causa mais visível com a causa real —, só que aqui formalizado em relatório, métrica e até selo. A formalização não torna a inferência mais confiável; torna o erro mais difícil de enxergar.

Leia também: Sem seguro e garantias para os vulneráveis, não há transição climática justa

Leia também: Por uma educação que ensine a pensar

Falta, antes de tudo, a pergunta contrafactual. Provar que houve efeito exige responder a uma pergunta simples e incômoda: o que teria acontecido sem a intervenção? Sem essa comparação, qualquer resultado positivo pode ser atribuído ao programa — quando, na verdade, poderia ter ocorrido de qualquer forma. É o erro mais comum e mais caro do setor: medir o "depois" e esquecer de perguntar o que seria o "sem".

Há também o perigo da média. Mesmo quando existe comparação, o resultado costuma ser resumido em um único número — e a média é um recorte perigoso. Um programa pode ter efeito nulo para a maior parte do público e efeito real para uma fração pequena, ou o contrário. "Não funcionou, na média" e "funcionou apenas para quem já tinha uma condição prévia" são frases compatíveis com o mesmo conjunto de dados. A diferença entre elas é a única coisa que interessa a quem decide política pública ou alocação de capital.

O terceiro erro é presumir adicionalidade: se o recurso foi investido e algo mudou, presume-se que o recurso causou a mudança. Mas um resultado positivo em uma dimensão pode coexistir com efeito negativo em outra — e o segundo raramente é medido, porque não estava no escopo do relatório. Um investimento pode aparentar sucesso porque a métrica escolhida foi a que confirma a tese, não a que a testaria.

Ao ler um estudo de impacto, vale sempre perguntar três coisas. Comparado a quê: se a resposta não descrever um grupo ou cenário que não recebeu a intervenção, não há prova de causa — há apenas descrição de resultado. Média de quem: um efeito médio positivo pode nascer de uma minoria beneficiada e de uma maioria inalterada, e pedir a distribuição, não só a média, muda a leitura e abre novas hipóteses. E o que não foi medido: uma intervenção pode ter dois efeitos ao mesmo tempo, um bom e outro ruim — um programa social pode aumentar a renda das famílias atendidas e, simultaneamente, aprofundar a dependência dessas famílias em relação ao próprio programa, efeito que só aparece quando o benefício termina e ninguém mais está acompanhando. Estudos costumam mostrar apenas o primeiro efeito, porque foram desenhados para captar só esse.

Nas próximas colunas, trarei essa mesma lente crítica para outros temas da agenda que reúne capital, risco e transformação social. Meu interesse está em identificar onde esse capital redistribui risco, acesso e poder de forma a sobreviver sem subsídio permanente, com capacidade real de crescimento. Inclusão financeira, investimento de impacto e finanças de transição são questões que precisam ser tratadas, antes de tudo, em termos de desenho e mensuração.

A pergunta que separa evidência de retórica não é se um programa funcionou, mas o que precisaria ser verdade para essa frase fazer sentido: comparado a quê, média de quem, o que não foi medido. Nenhuma dessas perguntas garante uma resposta confortável — e é exatamente por isso que precisam ser feitas antes da destinação do capital.

*Carolina da costa - Chief Impact Officer da Stone Co, liderando as frentes de inclusão produtiva na base da pirâmide (microcrédito, blended finance com veículo filantrópico e educação financeira) e integração ESG financeira e institucional. Foi originadora e captadora de fundos para Maua Capital no tema sustentabilidade no agro. Presidente do Comitê ESG do Grupo Boticário. Prêmio profissional do ano em Inovação em Sustentabilidade pela ANEFAC (2021). Conselheira LATAM Solidaridad Network. Conselheira de Desenvolvimento da PUC Rio. Foi dire­tora de inovação, saúde digital, pesquisa e ensino do Hospital Alemão Oswaldo Cruz, onde permanece como conselheira estratégica. Ex-VP de Graduação do Insper, atualmente Conselheira do Hub de Inovação e do Comitê de Ensino e Pesquisa e também professora de educação executiva nos temas pensamento crítico e sistêmico.

Administradora pública, M.S. pela EAESP-FGV e University of Texas at Austin, e PhD em Educação e Cognição pela Rutgers University. Colunista do portal Neo Mondo.