Factual x contrafactual, métodos quase-experimentais e outras breves explicações
Por Fernanda Schimenes*
Organizações, sejam elas com ou sem fins lucrativos, buscam – ou deveriam buscar, de acordo com as práticas ESG – ter um impacto socioambiental positivo.
Impacto seria o efeito – positivo ou negativo, intencional ou não – que determinada ação ou programa tem na sociedade, ou em alguma parcela dela, e/ou no meio ambiente. Por exemplos: o impacto de um programa de transferência de renda na redução da pobreza extrema ou, lançando mão de uma ação da Casa da Criança e do Adolescente (CCASA) onde atuo, o impacto do Plano Individual de Atendimento (PIA) no tempo de permanência em acolhimento institucional.
OSCs e empresas, ao publicar o que intitulam relatório de impacto, na maior parte das vezes, trazem indicadores tangíveis do alcance e de atividades realizadas em seus programas. Por exemplo, quantidade de: pessoas atendidas, materiais distribuídos, treinamentos realizados, serviços prestados etc. Resumo sobre a organização, demonstrativo financeiro, editorial bem escrito, belas fotos, logos dos investidores ou mesmo depoimentos dos beneficiados costumam compor tais documentos. Alguns trazem índices (ou a variação deles em determinado período) da região ou da população-alvo tais como PIB per capta, renda domiciliar per capta, IDH, IDEB, taxa de notificação de violência, IPDI etc. Mas esses dados tratam, de fato, do impacto?
Mensurar o impacto de um projeto com rigor é tarefa complexa. Ela exige a identificação de um grupo de comparação (que não foi alvo da intervenção) idêntico ao grupo tratado (alvo da intervenção). Apenas dessa forma pode-se obter o contraste entre o que ocorreu (factual) com o que ocorreria caso a ação/intervenção não tivesse sido realizada (contrafactual). Isso porque nem toda variação em determinado índice é fruto da intervenção per se. Voltemos ao exemplo do impacto de um programa de transferência de renda na redução da pobreza extrema: crescimento da economia, melhoria na educação, safras recordes e outros fatores podem ter influenciado tanto ou mais na redução ou aumento da pobreza extrema que o próprio programa.
Ainda nesse ponto, poucas são as intervenções socioambientais que permitem – seja por questões éticas, inviabilidade técnica ou custo elevado – avaliações experimentais padrão ouro com a criação de um grupo de controle idêntico tal como se faz nos estudos duplo-cego randomizados. Nessa hora, é possível lançar mão de métodos de avaliação de impacto quase-experimentais, dentre os quais estão o Diferenças em Diferenças (Diff-in-Diff), Regressão Descontínua (RDD) e Pareamento por Escore de Propensão (PSM). Ou seja, uma avaliação de impacto consistente requer conhecimento técnico. A obra Masteriang ‘Metrics: The Path from Cause to Effect, de Joshua D. Angrist e Jörn-Steffen Pischke (Princeton Unisersity Press, 2014) é indicada para uma visão inicial desses métodos quase-experimentais. No Brasil, o Insper, em seu programa de Educação Executiva, oferece o curso “Mensuração de Impacto Social”.
Além disso, o impacto de uma intervenção é medido em relação ao problema socioambiental que se quer solucionar ou minimizar: pobreza extrema, violência contra a mulher, desmatamento e assim por diante. E só se mede o que é mensurável. Que índices/dados indicam com clareza a transformação almejada? Eles estão e estarão disponíveis? Note que é necessário dispor deles em diferentes etapas – antes, durante e após x, y, z… (z pode ser igual a décadas!) tempo da intervenção.
Mas, se é tão complexo assim, o que fazer?
O ponto de partida é compreender o conceito de impacto social: factual x contrafactual. A partir daí, incluir, já na concepção de um programa, a forma como, no final, o impacto dele será medido.
Nesse sentido, a Teoria da Mudança pode ser de muita ajuda. Trata-se de uma ferramenta de planejamento, uma espécie de trilha ou mapa, que conecta as ações de uma organização à transformação que ela pretende provocar passando pela definição de indicadores de resultado e impacto. O fluxo seria este: Recursos -> Atividades -> Produtos -> Resultados -> Impacto.
Quanto ao que se intitulam relatórios de impacto social tal como os descrevemos acima, que tal chamá-los relatórios de atividades?
*Fernanda Schimenes atua na área de Comunicação da OSC Casa da Criança e do Adolescente de Santo Amaro (CCASA), onde integra o Conselho consultivo. Jornalista pós-graduada em Marketing (ESPM) e Mestre em Ciência da Religião (PUC-SP), coordena a publicação anual do extrato social da organização.
