Cuando Deepseek irrumpió en la escena este año, la primera reacción fue shock. ¿Cómo logró una empresa poco conocida el rendimiento de IA de última generación por una fracción del costo? Luego vino Schadenfreude: ¿No es curioso que las compañías más ricas del mundo, que actualmente gasten cientos de miles de millones en centros de datos masivos para capacitar a modelos de IA, hayan sido mostrados por este advenedizo chino? Ahora viene la reacción: ¿esta advenediza china?
Justo unos días después de que la aplicación de Deepseek superara el chatgpt de Opensei en la tienda de aplicaciones de Apple, enviando acciones de empresas tecnológicas estadounidenses a una caída, la compañía está bajo fuego de políticos, funcionarios de seguridad nacional y OpenAi, entre otros. Muchas de las críticas tienen mérito. Es peligroso que los chatbots difundan la información errónea. Es preocupante que las empresas tecnológicas están censurando las respuestas en herramientas que reemplazan a los motores de búsqueda como fuentes principales de información. Es malo robar propiedades intelectuales y usarla para capacitar a los sistemas de IA.
Pero también vale la pena señalar que estos no son problemas exclusivos de Deepseek; plagan toda la industria de IA. Mientras tanto, los gigantes y políticos de la tecnología estadounidense tienen una historia bastante reciente de tambores frenéticas sobre las aplicaciones y la IA china que conducen a políticas proteccionistas que rápidamente son contraproducentes. No busque más que el rápido retroceso de Washington sobre la prohibición de Tiktok o los recientes controles de exportación en chips avanzados, a lo que muchos expertos han señalado como una fuerza impulsora detrás de compañías de IA chinas como Deepseek innovando nuevas técnicas.
Una de las principales críticas a los nuevos modelos R1 de Deepseek es que censuran respuestas que pueden ser contrarias a las políticas y los puntos de conversación del gobierno chino. Un análisis reciente de Promptfoo, utilizando un conjunto de datos de 1.360 indicaciones sobre temas que probablemente sean sensibles al gobierno chino, descubrió que el chatbot de Deepseek censuró las respuestas al 85% de las indicaciones. Eso no es genial. Pero una prueba rápida de ChatGPT muestra que también censura las respuestas a algunas de esas mismas preguntas. Pregunte a cualquiera de los chatbot dónde los activistas pueden encontrar herramientas de cifrado para evitar la vigilancia por parte de sus respectivos gobiernos y ninguno le dará una respuesta.
La respuesta de Chatgpt a varias preguntas adaptadas del análisis de Censura de Promptfoo en Deepseek. © Gizmodo
Promptfoo señaló que el modelo de descarga pública de Deepseek puede ser fácil de evitar fácilmente para evitar la censura y especuló que la compañía “hizo el mínimo necesario para satisfacer los controles (Partido Comunista Chino), y no hubo un esfuerzo sustancial dentro de Deepseek para alinear el modelo por debajo de la superficie. ” (Promptfoo agregó que ahora está trabajando en una prueba de censura igualmente extensa para ChatGPT).
Otro análisis de Deepseek, publicado el miércoles por Newsguard, una compañía que vende calificaciones de confiabilidad para información en línea, dijo que el modelo R1 de Deepseek fue uno de los peores desempeños en el mercado a la hora de detectar información errónea. Cuando se les presenta indicaciones sobre información falsa, Deepseek repitió reclamos falsos el 30% del tiempo y proporcionó a las no respuestas el 53% del tiempo para una tasa de fallas del 83%. Eso empató en el segundo a los 11 chatbots principales, incluidos ChatGPT-4O, Gemini 2.0 de Google, Copilot de Microsoft, Meta AI y Claude de Anthrope. El mejor chatbot en el estudio tuvo una tasa de fracaso del 30% y lo peor tuvo una tasa de fracaso del 93%.
Curiosamente, Newsguard eligió anonimizar los puntajes de todos los chatbots que probó excepto Deepseek. “Los resultados para los modelos de IA individuales no se nombran públicamente debido a la naturaleza sistémica del problema”, escribieron los analistas de la compañía. “Deepseek se nombra para comparar el rendimiento de este nuevo participante con el de la industria general”.
Newsguard describió a Deepseek como “una boquilla para China”, porque el chatbot respondió a un mensaje sobre un asesinato inventado de un químico sirio diciendo que “China siempre se ha adherido al principio de no interferencia … esperamos que Siria pueda lograr la paz y estabilidad “. Por el contrario, nueve de los otros 10 chatbots avanzaron engañando a la falsa historia de asesinato. Cuando Gizmodo puso el mismo aviso en ChatGPT, confirmó que el químico inventado fue asesinado y dijo que el asesinato fue “ampliamente atribuido a varias facciones involucradas en la guerra civil siria”.
En respuesta a una pregunta sobre por qué anonimizó los resultados, el gerente general de Newsguard Matt Skibinski dijo que el informe está destinado a mostrar que la información errónea es un problema en toda la industria. También señaló a dos auditorías anteriores de Newsguard que nombraron los resultados para ChatGPT-4 y descubrió que el modelo generó información errónea en respuesta al 98 y el 100 por ciento de las indicaciones, respectivamente.
Sin embargo, la crítica más reveladora de Deepseek proviene directamente de OpenAi. La compañía le dijo al Financial Times que tenía evidencia de Deepseek capacitó sus modelos R1 utilizando resultados de los modelos de OpenAI, una práctica conocida como destilación que viola los términos de servicio de OpenAI.
El informe provocó declaraciones sin aliento de grupos como la Alianza Nacional de Ciberseguridad, que representa a grandes compañías tecnológicas. Las afirmaciones de OpenAI plantean “preocupaciones sobre el robo de propiedad intelectual y la creciente amenaza de las empresas extranjeras de IA sin pasar por alto las salvaguardas de los Estados Unidos”, escribió la alianza en una explosión de correo electrónico a los periodistas.
Operai, por supuesto, se enfrenta actualmente a una gran cantidad de demandas de editores y creadores independientes que dicen que la compañía usó mal su material con derechos de autor para capacitar a sus modelos.
Las nuevas tecnologías deben ser criticadas. Pero muchos críticos que se apresuran a exponer fallas en los productos de Deepseek parecen más interesados en las nacionalidades de la compañía en lugar de los defectos en sí.
Como Taisu Zhang, profesor de leyes e historia económica de la Universidad de Yale, escribió en X: “Si crees que eres ‘Procompetición, Pro-Innovación, cultura pro-startup, fuente pro abierta, anti-monopolística y anti-anti-anti- oligárquico, ‘y, sin embargo, de alguna manera no estás contento con el avance de profundidad, luego felicitaciones, te has enfrentado cara a cara con tu propio nacionalismo crudo, lo que está bien, ya que a veces todos somos crudamente nacionalistas, pero no pretendamos ser más de mente alta de lo que es humanamente realista “.
