Según Are Customers Lying to your Chatbot?, un artículo recién publicado en Harvard Business Review, las personas mentimos más cuando interactuamos con un bot o un formulario on línea, que cuando lo hacemos con una persona.
El título me ha llamado la atención (¿soy víctima del clickbait?), pensaba que en una publicación como HBR encontraría un análisis minucioso y completo, pero al terminar de leerlo por tercera vez me he quedado con la sensación de que el investigador se ha quedado muy en la superficie y de que, o bien tengo que refrescar mis fundamentos de probabilidad, o bien tiene que hacerlo el autor. Lo primero sería lo lógico, porque lo segundo me supondría cuestionarme seriamente la credibilidad del medio.
Y no digo que no sea cierta la conclusión a la que llega, pero me cuestiono muy seriamente el método para llegar a ella.
El artículo describe dos experimentos:
- Piden a 848 personas que tiren 10 veces una moneda al aire. A unos les piden que le den los resultados a un investigador, a otros que se lo den a un chatbot o a un formulario.
- De los resultados clasifican a los participantes en «probablemente tramposos» y «probablemente no tramposos» y se les pide que elijan un medio: investigador o medio automatizado
a researcher asked participants to flip a coin ten times and told them they’d get a cash prize depending on the results. We had some participants report their coin flip outcomes to the researcher via video call or chat, while others reported their outcomes via an online form or voice assistant bot
we first assessed participants’ general tendency to cheat by asking them to flip a coin ten times and report the results via an online form, and then categorized them accordingly as “likely cheaters” and “likely truth-tellers.” In the next part of the experiment, we offered them the choice between reporting their coin flips to a human or via an online form
Lo que me ha hecho cuestionarme mis fundamentos de probabilidad (o los de los investigadores) es la premisa de la que ha partido el autor y cómo han empezado a sacar conclusiones (las negritas son mías):
They flipped the coins in private, so there was no way to know if any individual participant lied, but we were able to estimate the cheating rate for a group of participants (since overall, only 50% of the coin flips should be successful).
What did we find? On average, when participants reported to a human, they reported 54.5% successful coin flips, corresponding to an estimated cheating rate of 9%
¡Parten de la base de que en la muestra el 50% de los resultados debería ser cara y el otro 50% debería ser cruz!
Es decir, están asumiendo que una probabilidad del 50% antes de realizar cada lanzamiento de moneda implica que el resultado de una serie deba ser inexorablemente el 50% para cada uno de los resultados. Por eso estiman que un resultado del 54,5% de un resultado en la mitad de la muestra que habló con un investigador se corresponde con la conclusión de que se hayan hecho trampas en el 9% de los casos.
Y por tanto, para el segundo paso del experimento, califican a los que han reportado más de un 50% de resultados favorables como «probablemente tramposos».
Es decir (y aquí, por favor, pido que si mis conclusiones son erróneas algún amable lector me ayude a entender mi error), que presumen las conclusiones apoyándose en un error de base de conceptos de probabilidad ¡y se lo publican en HBR!
Hace casi dos años publiqué sobre lo que entendía como un grave error metodológico en una investigación del MIT sobre Inteligencia Artificial. Ahora publico sobre lo que entiendo como un error básico a la hora de analizar y sacar conclusiones, en este caso publicado en HBR, y me pregunto ¿es esto la norma? Lo que sale de instituciones con este enorme prestigio ¿tiene con frecuencia estos errores de base?
Siento que cada día cuesta más encontrar fuentes en las que confiar. Y siento que cada día tengo que dedicar más tiempo a profundizar antes de dar ningún texto por fiable.