Por Eva Vival
Os estudos acadêmicos nas ciências sociais com frequência chegam a resultados bem diferentes, até mesmo em disciplinas como a medicina, na qual se imagina uma relação física e direta entre a intervenção a ser testada e suas consequências. Contudo, muitas pessoas acreditam que a situação seja pior nas ciências sociais. Isso ocorre porque a relação entre uma intervenção e seus efeitos pode depender de múltiplos fatores, e diferenças no contexto ou na sua implementação podem ter um grande impacto nos resultados das pesquisas.
Há outras razões pelas quais as pesquisas podem mostrar efeitos diferentes. Por exemplo, os erros do acaso podem afetar os resultados de um estudo. Os pesquisadores também podem consciente ou inconscientemente distorcer seus resultados. Todas essas fontes de variabilidade levaram a temores de enfrentar uma “crise de replicação” na psicologia e em outras ciências sociais relevantes para os negócios. Dada essa variabilidade, como devemos consumir as provas?
A resposta imediata é não confiar demais em um único estudo. Sempre que possível, procure meta-análises ou revisões sistemáticas que sintetizem os resultados de várias pesquisas, pois elas podem fornecer provas mais confiáveis e, algumas vezes, sugerir razões pelas quais os resultados são diferentes.
Ao considerar que importância deve ser dada a um estudo e seus resultados, preste atenção ao tamanho da amostra. Os estudos provavelmente não irão se replicar se forem baseados em uma pequena amostra. Os resultados mais positivos e negativos são geralmente aqueles com as menores amostras ou os intervalos de confiança mais amplos. Em parte, estudos menores são menos propensos a replicar devido ao acaso, mas os efeitos também podem ser menores à medida que o tamanho da amostra aumenta, por várias razões. Se o estudo estava testando uma intervenção, podem ocorrer restrições de capacidade que impeçam a implementação de alta qualidade em escala. Por exemplo, se você estivesse testando um programa de treinamento, talvez não precisasse contratar pessoal em tempo integral para executá-lo. Por outro lado, se você expandisse o programa, precisaria contratar novos funcionários, e eles talvez não o executassem tão bem.
Estudos menores também costumam marcar a amostra exata que produziria os maiores efeitos. Há uma lógica para isso: no caso de uma intervenção cara que pode ser destinada apenas a algumas pessoas, pode-se realizar a triagem e direciona-lá para aqueles que mais podem se beneficiar dela. Entretanto, isso significa que o efeito provavelmente seria menor se a intervenção fosse implementada em um grupo maior. Geralmente, é de grande valia pensar sobre quais fatores poderiam ser diferentes se a intervenção fosse ampliada. Por exemplo, é improvável que pequenas intervenções afetem um mercado mais amplo, mas se forem ampliadas, os concorrentes ou reguladores podem mudar seu comportamento em resposta à mudança.
Da mesma forma, considere peculiaridades da amostra, contexto e implementação. Como os pesquisadores escolheram estudar certas pessoas, empresas ou produtos? Você esperaria que essa amostra tivesse um desempenho melhor ou pior do que a amostra em que você está interessado? O cenário também poderia ter afetado os resultados. Havia algo de especial sobre ele que poderia ter aumentado os resultados?
Se o estudo estivesse avaliando uma intervenção, a forma como ela fora conduzida é de suma importância. Suponha que você saiba que mensagens de lembrete podem melhorar a assiduidade das pessoas em seus compromissos. Se estivesse pensando em implementar um sistema de lembretes, provavelmente gostaria de saber a frequência das mensagens que os pesquisadores enviaram e seu conteúdo, para avaliar a chance de ter resultados diferentes.
Pode-se também confiar mais nos resultados de um estudo se houver algum mecanismo causal claro que explique as descobertas e seja constante em todos os contextos. Alguns resultados na economia comportamental, por exemplo, sugerem que certas regras do comportamento humano são rigidamente interligadas. Infelizmente, esses mecanismos podem ser muito difíceis de descobrir, e muitos experimentos em economia comportamental que inicialmente pareciam refletir uma regra rígida não conseguiram se replicar, como a descoberta de que a felicidade aumenta a paciência. Todavia, se há uma razão convincente pela qual devemos esperar ver os resultados de um estudo, ou se há uma razão teórica contundente pela qual devemos esperar que um resultado específico seja generalizado, isso nos leva a confiar mais nos resultados encontrados.
Por fim, se algo parecer bom demais para ser verdade, provavelmente seja. Isso pode soar como um clichê, mas sustenta-se no princípio da estatística Bayesiana: reclamações incomuns devem exigir provas mais sólidas para mudar nossas crenças ou pontos de partida. Se levarmos nossos conhecimentos a priori a sério — e há razões para acreditar que, em média, os seres humanos são muito bons em fazer vários tipos de previsão —, então os resultados que parecem improváveis têm, de fato, menor probabilidade de serem verdadeiros. Em outras palavras, mantendo constante o significado de um resultado ou o poder de um estudo, a probabilidade de um relatório “falso positivo” ou “falso negativo” varia com a probabilidade de pensarmos que ele seja verdade antes de conhecer novas provas.
Este artigo enfatiza a importância de se basear em muitos estudos, em vez de depender muito de um único. E se não houver muitos estudos? Se esse for o caso, você pode considerar outras fontes de provas, como conselhos ou previsões de outras pessoas. Assim como na pesquisa em ciências sociais, você pode receber conselhos conflitantes, mas previsões combinadas podem ser bastante precisas. Contudo, assegure-se de que suas fontes não estejam valendo-se das mesmas informações. Pesquisas descobriram que as pessoas estão sujeitas à “negligência de correlação”, de modo que quando vários especialistas ou veículos de notícias baseiam seus relatórios no mesmo estudo, as pessoas tratam, de maneira incorreta, essas fontes como independentes e acabam supervalorizando os resultados daquele estudo.
No geral, confie na combinação de sua experiência e evidências, mas tenha cuidado para não ficar confiante demais em suas avaliações. A maioria das pessoas pode se beneficiar pesando mais as evidências, mesmo quando os resultados variam.
Eva Vivalt é pesquisadora associada e professora da Australian National University
Fonte: Harvard Business School Brasil
Matéria: https://hbrbr.uol.com.br/pesquisas-ciencias-sociais/
