En esta entrada de blog, examinaremos si la prueba de Turing es un estándar adecuado para evaluar la inteligencia de la inteligencia artificial, y exploraremos sus limitaciones y posibles áreas de mejora.
En 2014, la noticia de que "Eugene Goostman", un chatbot creado por desarrolladores rusos, había superado la prueba de Turing causó conmoción y confusión en muchos. Esto demostró claramente que la inteligencia artificial ya no es solo producto de una sociedad futura imaginaria propia de las películas de ciencia ficción. La IA ya está profundamente integrada en nuestras vidas y avanza a un ritmo vertiginoso, en consonancia con la "Ley de los Rendimientos Acelerados" de Ray Kurzweil. Sin embargo, no podemos quedarnos de brazos cruzados mientras la IA, que evoluciona a pasos agigantados, se consolida en la sociedad. Necesitamos determinar si la IA puede pensar como los humanos y también debemos considerar la dirección que debería tomar su desarrollo en el futuro.
Estos temas están relacionados con la prueba de Turing. Esta prueba es un método de evaluación que surgió de la pregunta: "¿Es posible crear una computadora que posea inteligencia y capacidad de razonamiento?". Es bien sabido que Alan Turing la propuso en 1950 para responder a la pregunta: "¿Pueden pensar las máquinas?". Sin embargo, al diseñar el experimento, Turing reformuló la pregunta como "¿Pueden las máquinas comportarse de la misma manera que los humanos?". La prueba consiste en que un juez formule preguntas tanto a un humano como a una IA, y luego determine qué respuestas son más humanas. En la prueba de Turing, se pueden utilizar diversos métodos para engañar al juez, y está permitido ralentizar los tiempos de respuesta o continuar la conversación en un formato similar al de un chat. Además, la prueba se considera superada si la IA logra engañar aproximadamente al 30% de los jueces dentro del alcance y tema limitados de la discusión.
Cuestioné si la prueba de Turing, con estas condiciones y reglas, es realmente una medida apropiada para evaluar la inteligencia artificial. En otras palabras, creo que la prueba de Turing no es adecuada para evaluar la IA. Para fundamentar esta opinión, presentaré tres argumentos y propondré la «prueba de Turing inversa» como solución. Sin embargo, antes de hacerlo, es necesario examinar otros ejemplos notables de IA que han superado la prueba de Turing, además de Eugene Goostman.
“ELIZA”, desarrollada por Joseph Weizenbaum en 1966, es el ejemplo más conocido entre los primeros programas de diálogo en lenguaje natural. Esta IA fue diseñada para identificar palabras clave en las oraciones de entrada y devolver las respuestas correspondientes; si no encontraba palabras clave adecuadas, repetía las palabras del usuario o proporcionaba una respuesta genérica.
También existe "PARRY", desarrollada por Kenneth Colby en 1972. Esta IA se basó en el estilo de conversación de un paciente paranoico, e incluso se realizaron experimentos en los que varios psiquiatras intentaron distinguir entre pacientes reales y PARRY.
A partir de ahora, analizaré por qué la prueba de Turing no es un estándar adecuado para evaluar la IA.
En primer lugar, la prueba de Turing no evalúa con precisión la inteligencia en sí misma. En otras palabras, en lugar de evaluar cuán inteligentemente piensa una IA, esta prueba determina a través de la conversación si se comporta como un ser humano. Esto presenta dos problemas.
En primer lugar, no todos los humanos se comportan siempre de forma inteligente. Aquí, «inteligente» se refiere a la actividad intelectual que implica comprender un fenómeno u objeto y procesarlo racionalmente. Además, según el artículo de Alan Turing, algunas capacidades intelectuales de la IA pueden manifestarse de maneras diferentes a las de los humanos. En pocas palabras, si una IA resuelve un problema que los humanos no pueden, es más probable que el evaluador se dé cuenta de que la otra parte es una computadora. En definitiva, la prueba de Turing no logra evaluar adecuadamente las formas de inteligencia que superan las capacidades humanas.
En segundo lugar, los criterios de evaluación de la prueba de Turing son subjetivos y las condiciones experimentales son excesivamente restrictivas. En otras palabras, los resultados de la prueba pueden verse significativamente influenciados por la actitud, la experiencia, las habilidades y los conocimientos del evaluador, más que por el nivel real de inteligencia de la IA, lo que dificulta garantizar la objetividad.
En última instancia, quien determina si algo es una IA o un humano es una persona, por lo que resulta difícil eliminar por completo la subjetividad del evaluador. Además, las preguntas formuladas en el limitado tiempo de unos cinco minutos también son muy restrictivas. Mientras el evaluador sea humano, siempre existe la posibilidad de que se vea influenciado por diversos factores externos.
Además, la mayoría de las IA que participan en la prueba de Turing se basan en modelos humanos con situaciones o características específicas. Por lo tanto, incluso si una IA supera la prueba, es difícil concluir que se comporta de la misma manera que los humanos en general. Por ejemplo, "Eugene Goostman", presentado anteriormente, se desarrolló bajo la premisa de que era un niño de 13 años que vivía en Ucrania. Este fue un intento deliberado de crear una situación en la que incluso un inglés algo torpe se aceptara como natural. "PARRY" se basó en un paciente paranoico, y "ELIZA" se diseñó para imitar a una consejera psicológica profesional.
De esta forma, cuando una IA se configura para representar a un ser humano con características específicas y luego entabla una conversación, los jueces la evalúan teniendo en cuenta dichas características. Por ejemplo, incluso si surge una respuesta algo extraña al conversar con una IA programada para representar a una persona con una enfermedad mental, es probable que los jueces la acepten como una reacción natural coherente con esa caracterización. En otras palabras, si bien se supone que los jueces deben evaluar sin prejuicios, en realidad se encuentran en un entorno donde hacerlo resulta difícil.
Por supuesto, las personas con enfermedades mentales son capaces de pensar. Sin embargo, el hecho de que una IA modelada a partir de una persona con una enfermedad mental supere la prueba de Turing no significa que piense de forma más «humana» que un ser humano. Para ser fieles a la pregunta planteada por Alan Turing —«¿Puede una máquina comportarse como un ser humano?»—, la prueba debe diseñarse en base a situaciones generales que la mayoría de la gente pueda comprender.
En tercer lugar, la IA puede superar la prueba de Turing simplemente manipulando símbolos en lugar de comprender realmente el contenido. Un ejemplo claro es «ELIZA». Para que una persona piense sobre un tema, debe comprenderlo y emitir juicios basados en la experiencia pertinente. Por esta razón, el filósofo John Searle también argumentó que la prueba de Turing por sí sola no puede demostrar si una máquina está pensando realmente.
Además, dado que la inteligencia artificial opera según algoritmos predeterminados, puede detectar fácilmente errores ante situaciones inesperadas. El siguiente ejemplo ilustra esto.
Interlocutor: ¿Sigue usted apoyando a Bill Clinton?
Juez: Nunca he conocido a Clinton.
Interlocutor: Realmente te cae mal Bill Clinton. Al menos, es evidente que te cae mal. En mi opinión, parece que a la mayoría de la gente simplemente no le ha interesado o no le ha prestado mucha atención hasta ahora.
Juez: ¿Ha visto 'El marciano'?
Interlocutor: Con calma. No estoy aquí para responder preguntas estúpidas. No es eso. ¿De qué estábamos hablando? Bien. ¿Lo que acaba de decir significa que los problemas subyacentes, como el caso Whitewater y el fiscal especial, son graves?
Esta conversación se produce entre un juez y «Catherine», una IA diseñada para continuar un diálogo basado en información preprogramada sobre acontecimientos que se convirtieron en noticia el día anterior a la realización de la Prueba de Turing. Si el juez hubiera continuado la conversación política relacionada con Bill Clinton, el diálogo podría haber transcurrido con bastante naturalidad. Sin embargo, cuando el juez cambió repentinamente de tema, la IA no pudo gestionar adecuadamente el asunto no programado y reveló el error que se muestra arriba.
Por lo tanto, no podemos concluir que una IA se comporta como un humano simplemente porque sea capaz de cierto nivel de comunicación. Si bien puede parecer que entabla una conversación humana superficialmente, en realidad no comprende el contenido, sino que simplemente responde de una manera que la hace parecer humana. Por consiguiente, no alcanza el nivel de «inteligencia» definido anteriormente. La prueba de Turing actual, que aprueba los sistemas de IA que simplemente imitan el comportamiento humano sin comprender realmente su significado, tiene claras limitaciones.
Al evaluar la IA comparándola con los humanos, la prueba de Turing constituye un experimento significativo que explora la frontera entre humanos e IA. Dado que los propios humanos no pueden definir con claridad la esencia del pensamiento o la mente, este intento en sí mismo tiene un valor considerable. Por otro lado, puesto que la IA opera basándose en estructuras y principios relativamente simples, es posible medirla y analizarla hasta cierto punto, aunque no a la perfección.
Sin embargo, la prueba de Turing no logra evaluar la inteligencia con precisión, y sus criterios de evaluación son excesivamente subjetivos. Un análisis más detallado del proceso de prueba revela que resulta difícil considerarlo un entorno capaz de evaluar exhaustivamente la inteligencia de una IA. Incluso con la participación de varios jueces y la supervisión de una institución, el número de evaluadores es limitado y no es fácil llegar a una conclusión objetiva que tenga en cuenta todas las variables. Por lo tanto, existen limitaciones fundamentales para obtener un resultado perfecto que sea aceptable para todos.
La prueba de Turing es de gran importancia, ya que demostró que la IA puede, hasta cierto punto, replicar las capacidades cognitivas que antes se consideraban exclusivas de los humanos. Por lo tanto, en lugar de descartar por completo esta prueba, es necesario establecer criterios y procedimientos de evaluación más precisos y aceptables para un público más amplio que los que se utilizan actualmente.
En este sentido, me gustaría proponer la «Prueba de Turing Inversa» como alternativa. En esta prueba, el evaluador es un ordenador en lugar de un ser humano. En otras palabras, es un método en el que un ordenador evalúa a un humano o a otro ordenador mientras interactúa con él. La introducción de este enfoque en las pruebas existentes reduciría el problema de la subjetividad humana y permitiría realizar evaluaciones en un entorno más objetivo. Por supuesto, el hecho de que el evaluador sea una IA también plantea la posibilidad de que surjan nuevos problemas.
Independientemente del tema, es improbable que las pruebas diseñadas para la evaluación y el juicio satisfagan a todos, y no es fácil establecer criterios perfectos que todos puedan aceptar. Por lo tanto, debemos explorar continuamente formas de mejorarlas. En particular, dado que la prueba de Turing es un método de evaluación crucial que podría influir significativamente en el futuro de la industria y en la dirección del desarrollo de la tecnología de IA, debe evolucionar hacia una forma más eficiente y fiable.
Hoy en día, la IA avanza a un ritmo sin precedentes y ya se utiliza en todos los aspectos de nuestra vida cotidiana. Al evaluar dicha IA, no debemos juzgarla únicamente por su capacidad para engañar a los humanos, sino más bien por su habilidad para comprender el significado, captar el contexto y comunicarse con naturalidad en diversas situaciones. Por supuesto, dado que este no es un campo con "respuestas correctas" claramente definidas, como un problema matemático, establecer criterios objetivos no es fácil. Sin embargo, para evaluar la IA que coexistirá con los humanos en el futuro, la prueba de Turing debe evolucionar para considerar de forma integral los factores éticos y la capacidad de comunicarse eficazmente.
