Dan Ariely retira estudo de honestidade com base em dados falsos

Notícias BuzzFeed

Um estudo marcante que endossouuma maneira simples de conter a trapaça será retirada quase uma década depois, depois que um grupo de cientistas descobriu que ela se baseava em dados falsos.



De acordo com o jornal de 2012, quando as pessoas assinavam uma declaração de honestidade no início de um formulário, e não no final, era menos provável que mentissem. Um método aparentemente barato e eficaz para combater a fraude, era adotado por pelo menos uma seguradora, testado por governo agências em todo o mundo, e ensinado a executivos corporativos. Ele fez sucesso entre os acadêmicos, que o citaram em suas próprias pesquisas mais de 400 vezes.

O artigo também reforçou a reputação de dois de seus autores - Max Bazerman, professor de administração de empresas da Harvard Business School, e Dan Ariely, psicólogo e economista comportamental da Duke University - como líderes no estudo de tomada de decisão, irracionalidade, e comportamento antiético. Ariely, um palestrante TED Talk frequente e colunista de conselhos do Wall Street Journal , citou o estudo em palestras e em seu best-seller do New York TimesA (honesta) verdade sobre a desonestidade: como mentimos para todos - especialmente para nós mesmos.



Anos depois, ele e seus co-autores descobriram que os experimentos subsequentes não mostraram a mesma redução no comportamento desonesto. Mas, mais recentemente, um grupo de detetives externos examinou os dados subjacentes do artigo original e tropeçou em um problema maior: um de seus principais experimentos foi simulado sem sombra de dúvida, três acadêmicos escreveram em uma postagem em seu blog, Data Colada, na terça-feira .



Todos os pesquisadores que publicaram o estudo concordam que seus dados parecem ser fraudulentos e solicitaram que a revista Proceedings of the National Academy of Sciences os retirasse. Mas ainda não está claro quem criou os dados ou por quê - e quatro dos cinco autores disseram que não participaram da coleta de dados para o teste em questão.

Resta Ariely, que confirmou que só ele estava em contato com a seguradora que fez o teste com seus clientes e lhe forneceu os dados. Mas ele insistiu que era inocente, dando a entender que a empresa era a responsável. Posso ver por que é tentador pensar que tive algo a ver com a criação de dados de forma fraudulenta, disse ele ao BuzzFeed News. Posso ver por que seria tentador tirar essa conclusão, mas não o fiz.

Ele acrescentou: Se eu soubesse que os dados eram fraudulentos, nunca os postaria.

Se eu soubesse que os dados eram fraudulentos, nunca os postaria.



Mas Ariely deu respostas conflitantes sobre as origens do arquivo de dados que serviu de base para a análise. Citando acordos de confidencialidade, ele também se recusou a nomear a seguradora com a qual fez parceria. E ele disse que todos os seus contatos na seguradora foram embora e nenhum deles se lembrava do ocorrido também.

De acordo com a correspondência revisada pelo BuzzFeed News, Ariely disse que a empresa com a qual ele se associou foi a Hartford, uma seguradora de automóveis com sede em Hartford, Connecticut. Duas pessoas familiarizadas com o estudo, que solicitaram anonimato por medo de retaliação, confirmaram que Ariely se referiu ao Hartford como o parceiro de pesquisa.

Dias após a publicação desta história, Suzanne Barlyn, porta-voz do Hartford, confirmou ao BuzzFeed News que examinamos nossos arquivos e descobrimos que havia um pequeno projeto com a Dra. Ariely. No entanto, a empresa disse em um comunicado, não conseguimos localizar quaisquer dados, entregas ou resultados que possam ter sido produzidos. Solicitada a descrever o que havia encontrado em seus arquivos, a empresa se recusou a comentar.



Ariely não retornou um pedido de comentário sobre a seguradora.

Você tem mais informações para compartilhar sobre esta história? Contate esta repórter em stephanie.lee@buzzfeed.com ou entre em contato com ela com segurança em stephaniemlee@protonmail.com. Você também pode nos enviar um e-mail para tips.buzzfeed.com.

A descoberta implodida é o mais recente golpe no movimentado campo da economia comportamental. Diversos alto perfil , estratégias supostamente apoiadas pela ciência para influenciam sutilmente a psicologia das pessoas e tomada de decisão não conseguiram aguentar sob escrutínio , estimulando o que foi apelidado de crise de replicação . Mas é mais raro que os dados sejam totalmente falsificados.

E esta não é a primeira vez que questões são levantadas sobre a pesquisa de Ariely em particular. No um famoso estudo de 2008, ele afirmou que levar as pessoas a relembrar os Dez Mandamentos antes de um teste reduz a trapaça, mas uma equipe externa mais tarde falhou em replicar o efeito . Um Nota do editor foi adicionado a um Estudo de 2004 de seu no mês passado, quando outros pesquisadores levantaram preocupações sobre discrepâncias estatísticas e Ariely não tinha os dados originais para verificar. E em 2010, Ariely disse à NPR que os dentistas frequentemente discordam sobre se os raios-X mostram uma cavidade , citando a Delta Dental insurance como sua fonte. Mais tarde, ele rebateu a alegação quando a empresa disse que não poderia ter compartilhado essa informação com ele porque não a coletou.

É uma falha da ciência ter demorado tanto para os dados de 2012 serem revelados como falsos, argumentaram os cientistas por trás do blog Data Colada.

Abordar o problema da fraude científica não deve ser deixado para alguns denunciantes anônimos (e fartos e amedrontados) e alguns (fartos e assustados) blogueiros para erradicar, escreveu Joe Simmons da Universidade da Pensilvânia, Leif Nelson da UC Berkeley, e Uri Simonsohn da Esade Business School na Espanha.

Algum são agora questionando se o cientista que literalmente escreveu o livro sobre desonestidade está sendo desonesto. Mas quando questionado se ele se preocupa com sua reputação, Ariely disse que não está preocupado.

Acho que a ciência funciona com o tempo e as coisas se consertam, disse ele.

Sean Gallup / Getty Images para Burda Media

Dan Ariely falando em uma conferência em 2009

O jornal de 2012 relatado em umsérie de experimentos realizados em laboratório e em campo. No principal experimento do mundo real, os pesquisadores se juntaram a uma seguradora de automóveis não identificada nos Estados Unidos. Quase 13.500 motoristas receberam aleatoriamente um dos dois formulários de revisão de políticas para assinar: um em que a declaração Prometo que as informações que estou fornecendo são verdadeiras aparecia normalmente na parte inferior do documento e o outro em que a declaração foi movida para a parte superior. As pessoas são naturalmente incentivadas a mentir nesses formulários, explicaram os cientistas na época, porque uma quilometragem menor significa menor risco de acidentes e prêmios menores.

Quer eles assinassem ao lado do compromisso de honestidade na parte inferior ou superior, os clientes eram solicitados a relatar a quilometragem atual do hodômetro de seus carros cobertos pela seguradora. Esse número foi comparado à quilometragem que eles relataram em um período não especificado no passado. Os pesquisadores relataram que as pessoas que assinaram a parte superior do documento relataram dirigir mais milhas - cerca de 2.400, ou 10%, mais - do que aquelas que assinaram na parte inferior.

Embora a quilometragem real não pudesse ser verificada, os pesquisadores levantaram a hipótese de que essa diferença considerável se devia à troca nos locais de assinatura. Esse ajuste fácil, escreveram eles, provavelmente reduziu a extensão em que os clientes falsificaram informações de quilometragem em seu próprio interesse financeiro, a um custo para a seguradora.

A descoberta se encaixa perfeitamente em um crescente corpo de pesquisas sobre acotovelando : a ideia de que pistas sutis podem encorajar as pessoas a tomarem as decisões certas inconscientemente. O conceito de assinaturas top-of-form foi testado em contribuintes em o Reino Unido e Guatemala , embora com resultados mistos. Um governo no Canadá também supostamente gastou milhares tentando alterar seus formulários de impostos. Nos E.U.A, a administração Obama percebeu , e o IRS creditado o método em ajudar a coletar um adicional de $ 1,6 milhão de fornecedores do governo em um quarto.

Esses truques não vão nos salvar do próximo grande esquema de Ponzi, de um atleta de doping ou de um político ladrão, escreveu Ariely em um ano de 2012 Wall Street Journal trecho deA (honesta) verdade sobre a desonestidade. Mas eles poderiam controlar a grande maioria das pessoas que trapaceiam 'apenas um pouco'.

Acho que a ciência funciona com o tempo e as coisas se consertam.

Ariely passou a fazer parte da startup de seguros com foco no milênio Lemonade como diretor comportamental. Seu campo toca todos os aspectos de nossas vidas, a empresa notou em 2016 , incluindo trapaça em nossos formulários fiscais e reclamações de seguros. A Lemonade pegou uma página direto do manual do economista comportamental: para enviar reivindicações de fraude, os clientes devem assinar seu nome em uma promessa digital de honestidade no início do processo de reivindicações, e não no final, Fast Company relatado em 2017. (Ariely saiu no final de 2020, de acordo com seu perfil no LinkedIn.)

Simmons, um dos detetives da Data Colada, ensinou o estudo por anos em sua classe de tomada de decisões na Escola Wharton da Universidade da Pensilvânia. É uma intervenção simples que qualquer legislador interessado em reprimir a desonestidade poderia facilmente colocar em prática, disse ele ao BuzzFeed News.

Porém, oito anos após a publicação do estudo, os autores originais anunciaram que não confiavam mais em suas conclusões.

Alguns outros pesquisadores haviam tentado sem sucesso replicar e desenvolver alguns dos experimentos, então eles juntaram forças com os cinco cientistas originais, incluindo Ariely, para executar um desses testes novamente. Este também envolveu assinaturas na parte superior versus inferior, mas em formulários de declaração de impostos e com um grupo maior de participantes em um ambiente de laboratório. Eles falharam em ver qualquer diferença na honestidade entre os dois grupos.

Olhando para o experimento de relatório de quilometragem original, os pesquisadores perceberam que os dois grupos - os signatários superior e inferior - tinham registros de quilometragem significativamente diferentes para começar. A honestidade provavelmente não teve nada a ver com as diferenças entre suas respostas, explicaram os autores no ano passado em um artigo de opinião intitulado Quando estamos errados, é nossa responsabilidade como cientistas dizê-lo. Eles também detalhavam o fracasso de sua tentativa de replicação em um novo papel.

Na época, o jornal perguntou se os cientistas queriam retratar a descoberta original. Bazerman, o cientista de Harvard, disse aos blogueiros do Data Colada que ele e outra autora, Lisa Shu, então na Northwestern University, eram os únicos dois autores fortemente a favor. No final, o grupo não avançou com uma retração. (Bazerman recusou-se a ser entrevistado pelo BuzzFeed News.)

Mas esse erro acabou sendo apenas a ponta do iceberg.

Quando os pesquisadores publicaram sua atualização de 2020, eles postaram os dados de seu artigo de 2012 pela primeira vez. Compartilhar dados publicamente já foi uma raridade na ciência, mas aos poucos está se tornando mais comum em meio a pedidos de maior transparência.

Analisando a planilha do Microsoft Excel, Simmons e os outros detetives de dados descobriram uma série de anomalias implausíveis que apontavam para pelo menos dois tipos de fabricação: muitas das milhagens pré-experimento, da linha de base pareciam estar duplicadas e ligeiramente alteradas, e todas as milhas supostamente coletadas durante o teste de formulários parecia que eles foram inventados. Muitos desses dados parecem ter sido produzidos por um gerador de números aleatórios, eles escreveram em seu post sobre o Data Colada.

Ao primeiro sinal de algo errado, os 13.488 motoristas no estudo relataram níveis igualmente distribuídos de direção ao longo do período coberto no estudo. Em outras palavras, tantas pessoas acumularam 500 milhas quanto aquelas que dirigiram 10.000 milhas como 40.000 milhas. Além disso, nem um único ultrapassou 50.000. Este padrão se aplica a todos os carros dos motoristas (cada um pode relatar a quilometragem de até quatro veículos).

Não é assim que os dados reais se parecem, e não podemos pensar em uma explicação benigna plausível para isso, escreveram Simmons, Nelson e Simonsohn. (A maioria das questões, eles acrescentaram, foi inicialmente levantada por um grupo de pesquisadores que pediu para permanecer anônimo.)

'Não são assim os dados reais.'

Essas milhas altamente improváveis ​​foram criadas em parte por dados que pareciam ter sido sutilmente duplicados. Quase exatamente metade das milhas nos dados de linha de base foram inseridos na fonte Calibri e a outra metade em Cambria. Os dois conjuntos eram impossivelmente semelhantes, escreveram os pesquisadores. Todas as entradas do Calibri tinham gêmeos Cambria, participantes com quilometragem sempre maior, mas consistentemente dentro da mesma pequena faixa - um indicador de um gerador de números aleatórios no trabalho.

Outra estranheza: quase nenhuma das milhas no experimento de formas de Ariely foi arredondada. Isso foi estranho porque estes foram supostamente relatados pela própria pessoa, e seria de se esperar que muitos motoristas dessem estimativas aproximadas em vez de consultar os números exatos em seus hodômetros. Quando pessoas reais relatam grandes números à mão, tendem a contorná-los, escreveram Simmons, Nelson e Simonsohn. Era mais um sinal de um gerador de números aleatórios em ação.

A conclusão deles foi clara: há evidências muito fortes de que os dados foram fabricados. Os periódicos claramente precisam exigir que os autores compartilhem seus dados, argumentaram eles em sua postagem.

Um campo que ignora o problema da fraude, ou finge que não existe, corre o risco de perder a sua credibilidade, acrescentaram. E merecidamente.

Todos os cinco autores originais, incluindo Ariely, declararam que concordam com a conclusão dos blogueiros do Data Colada de que os dados foram falsificados e expressaram pesar por não terem tomado conhecimento antes. Um grupo deles solicitou que os Proceedings of the National Academy of Sciences retirassem o estudo no mês passado.

Estamos cientes da situação e em comunicação com os autores, disse o gerente de ética editorial do PNAS, Yael FitzPatrick, ao BuzzFeed News.

Em um demonstração ao blog, escreveu Francesca Gino, professora da Harvard Business School e uma das autoras: Não estive envolvida em conversas com a seguradora que conduziu o experimento de campo, nem em nenhuma das etapas de sua execução ou análise de dados. Outra autora, Nina Mazar, na época na Universidade de Toronto e agora professora de marketing na Universidade de Boston, disse ao blog , Quero deixar claro que não estive envolvido na realização do estudo de campo, não tive nenhuma interação com a seguradora e não sei quando, como ou por quem exatamente os dados foram coletados e inseridos. Não tenho conhecimento de quem fabricou os dados.

Gino se recusou a ser entrevistado para esta história, e Mazar não retornou um pedido de comentário.

Thos Robinson / Getty Images

A partir da esquerda: Jad Abumrad, Jonah Lehrer, Dan Ariely e Robert Krulwich aparecem em um painel no World Science Festival em Nova York em 2008.

Enquanto isso, Ariely deu vagase respostas conflitantes sobre como ele obteve os dados.

Questionado pelo BuzzFeed News quando o experimento foi conduzido pela seguradora, ele primeiro respondeu: Não me lembro se foi em 2010 ou em 2011. Uma dessas coisas.

O arquivo Excel que foi postado publicamente - o arquivo com os dados originais, segundo ele e sua equipe - foi criado por Ariely em fevereiro de 2011, mostra seus metadados. Mas Ariely discutiu os resultados do estudo em um Palestra de julho de 2008 no Google e escreveu um ensaio sobre o assunto, embora com resultados ligeiramente diferentes, em 2009 para o Harvard Business Review . Isso sugere que o arquivo de dados foi criado até três anos após a realização do experimento.

O porta-voz do Hartford disse que o projeto com a Ariely foi feito entre 2007-2008, e que a maioria dos funcionários associados à obra não está mais na empresa.

Ariely contado aos blogueiros do Data Colada que a planilha era exatamente o que ele havia recebido da empresa. Os dados foram coletados, inseridos, mesclados e tornados anônimos pela empresa e depois enviados para mim, escreveu ele. Este foi o arquivo de dados que foi usado para a análise e depois compartilhado publicamente.

Mas em uma entrevista ao BuzzFeed News, sua lembrança da evolução do arquivo era mais sombria. Veio em Excel ou em texto e coloquei no Excel? Não sei, disse ele, acrescentando: O que eu queria deixar claro é que os dados que consegui eram os dados.

E há evidências de que Ariely editou o arquivo até certo ponto antes de entregá-lo ao resto da equipe.

Em 16 de fevereiro de 2011, Ariely enviou um e-mail para Mazar com uma versão do mesmo arquivo Excel, de acordo com os e-mails que ela compartilhou com Data Colada. Houve o que parecia ser um grande erro: os signatários do fundo do poço pareciam mais propensos a ser honestos, o oposto da hipótese dos cientistas. Quando Mazar apontou isso para Ariely, ele disse a ela que, ao preparar o conjunto de dados para ela, havia acidentalmente trocado os rótulos dos signatários superiores e inferiores. Mazar os trocou a seu pedido. O arquivo postado em 2020 não continha esse erro.

Ariely disse ao BuzzFeed News que, embora estivesse ciente do relato de Mazar sobre essa troca, ele não se lembrava pessoalmente de tê-la e não tinha nenhum e-mail daquela época para revisar.

Em vez disso, ele parecia culpar a seguradora pelos dados fraudulentos, dizendo que seu erro foi manter-se afastado durante o processo de coleta de dados. Olhar os dados apenas quando eles foram agregados, tornados anônimos e enviados a ele, disse ele, o livrou do trabalho de obter a aprovação ética da universidade para realizar pesquisas em seres humanos.

Por preocupação com a privacidade, evitei os detalhes, disse Ariely. Em retrospecto, essa não foi uma boa escolha.

Pelo menos um membro da equipe afirma ter tido dúvidas desde o início.

Bazerman, de Harvard, disse ao Data Colada que quando leu pela primeira vez um rascunho do artigo, em fevereiro de 2011, ele tinha dúvidas sobre os dados aparentemente implausíveis do experimento de seguro. Um co-autor garantiu-lhe que os dados eram corretos e outro mostrou-lhe o arquivo, embora ele admitisse que não o examinou pessoalmente.

Quando o jornal de 2012 fez ondas, ele acreditou no resultado principal e o ensinou a alunos e executivos corporativos. Em retrospecto, ele escreveu, eu gostaria de ter trabalhado mais para identificar se os dados eram fraudulentos, para garantir uma pesquisa rigorosa em um contexto colaborativo e para retirar prontamente o artigo de 2012.

Shu, outro co-autor que agora trabalha com capital de risco, expressou pesares semelhantes no Twitter esta semana. Começamos nossa colaboração a partir de um lugar de confiança assumida - em vez de confiança conquistada, ela escreveu . Lição aprendida. Ela se recusou a comentar para esta história.

Ariely afirma que também aprendeu a lição. Ele disse que desde o estudo de 2012, seu laboratório tem se envolvido mais nos esforços de coleta de dados quando faz parcerias com empresas para fazer pesquisas. Seus membros de laboratório agora armazenam dados na nuvem e os compartilham publicamente regularmente, acrescentou ele.

Depois que os detetives de dados o abordaram com suas descobertas neste verão, o escritório de integridade de pesquisa de Duke o entrevistou e teve acesso a seu e-mail, disse ele. Questionado sobre como a revisão foi conduzida e o que foi encontrado, um porta-voz da Duke se recusou a comentar.

Com a revelação de que dados falsos sustentaram um famoso estudo sobre honestidade, as ciências sociais têm seu mais recente conto de advertência.

As pessoas ainda vão continuar estudando a desonestidade, Nelson, um dos pesquisadores que desenterrou os problemas no estudo, disse ao BuzzFeed News. Mas meu palpite é que eles serão um pouco mais circunspectos sobre o quanto o celebraram na década anterior.

Enquanto isso, Ariely disse que tem esperança de que a ideia básica do estudo ainda seja verdadeira, apontando para outra pesquisa sobre preparar as pessoas para serem honestas. Ele disse que mais experimentos de assinatura em andamento no Reino Unido, que ainda não foram publicados, irão justificá-lo.

Os dados de 2012 não são confiáveis, disse ele. Mas ainda há a questão de se o princípio por trás disso é correto. Essas são questões distintas. ●

ATUALIZAR

25 de agosto de 2021, às 17:15

Esta história foi atualizada para incluir uma declaração do Hartford.


Mais sobre isso