OpenAI presenta Sora en medio de aumento de deepfakes
ChatGPT fue solo el inicio. OpenAI presentó una herramienta de Inteligencia Artificial (IA) llamada "Sora", que tiene la capacidad de transformar texto en videos de alta calidad, generando clips de hasta un minuto de duración basados en solicitudes por escrito.
here is sora, our video generation model:https://t.co/CDr4DdCrh1
today we are starting red-teaming and offering access to a limited number of creators.@_tim_brooks @billpeeb @model_mechanic are really incredible; amazing work by them and the team.
remarkable moment.— Sam Altman (@sama) February 15, 2024
"Sora es capaz de generar escenas complejas con múltiples personajes, tipos específicos de movimiento y detalles precisos del sujeto y el fondo", dice el comunicado, además de que puede crear múltiples tomas dentro de un solo video. Sora aprovecha el modelo de lenguaje GPT para transformar mensajes breves de usuarios en subtítulos más extensos y detallados.
Estos subtítulos extendidos se envían al modelo de vídeo, permitiendo que Sora genere videos de alta calidad que sigan de manera precisa las indicaciones proporcionadas por el usuario.
Introducing Sora, our text-to-video model.
Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W
Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf— OpenAI (@OpenAI) February 15, 2024
Pero las desarrolladas habilidades de este software nace en un contexto donde el contenido audiovisual falso, también llamado deepfake, ha ganado popularidad, representando riesgos de desinformación y peligros a la seguridad de las personas, una preocupación latente en las empresas tecnológicas.
Esta preocupación se vio reflejada después de que 20 empresas tecnológicas anunciaron el viernes su colaboración para prevenir la interferencia de contenidos engañosos generados por IA en las elecciones a nivel mundial este año, esto un día después del lanzamiento de Sora.
Las compañías firmantes de este acuerdo tecnológico, anunciado durante la Conferencia de Seguridad de Múnich, incluyen a empresas que construyen modelos de IA generativa, como OpenAI, Microsoft, Anthropic, Stability AI y Adobe. También participan plataformas de redes sociales como Meta Platforms, TikTok, X (anteriormente conocido como Twitter) y Snapchat. Este pacto se centra en abordar específicamente los deepfakes.
Dichas empresas han acordado ocho compromisos de alto nivel, que incluyen la evaluación de riesgos, la detección y abordaje del contenido engañoso en sus plataformas, y la transparencia en sus procesos para el público.
En medio del año electoral más grande de la historia, con elecciones en más de 40 países que afectarán a más de cuatro mil millones de personas, las plataformas tecnológicas se preparan para afrontar un año crucial, que plantea preguntas sobre los escenarios que se desencadenarían tras el lanzamiento de esta herramienta.
Un informe reciente del periódico estadounidense Los Angeles Times, destaca que las elecciones presidenciales de 2024 en Estados Unidos serán las primeras donde las avanzadas herramientas de IA estarán al alcance de cualquiera, permitiendo la creación de deepfakes de manera rápida y accesible.
Las preocupaciones sobre deepfakes no son exclusivas de Estados Unidos; a nivel mundial, se han registrado incidentes en los que estas manipulaciones han afectado elecciones y sociedades. En algunos casos, como en Eslovaquia, grabaciones de audio generadas por IA suplantaron la identidad de candidatos, creando confusión en el electorado
La encuesta de LocalCircles, plataforma de redes sociales y encuestas en línea centrada en gobernanza, interés público y consumo, revela que la amenaza de deepfakes se ha intensificado, con el 25% de los vídeos visualizados por usuarios de redes sociales en la India que resultan ser falsos.
Además, el aumento del contenido generado por IA ha generado preocupaciones significativas sobre la desinformación electoral, y la cantidad de deepfakes ha experimentado un aumento del 900 % año tras año, según datos de Clarity, una empresa de aprendizaje automático.
La respuesta insatisfactoria de las plataformas de redes sociales ante esta amenaza ha llevado a la preocupación pública y a la propuesta de reducir el plazo para eliminar videos deepfake de 36 a 24 horas.
Expertos advierten sobre posibles escenarios alarmantes, desde la difusión de declaraciones falsas de candidatos hasta la creación de situaciones ficticias que podrían influir en la percepción pública.
Aunque por ahora la regulación a nivel internacional aún está en proceso de desarrollo. A pesar de los esfuerzos, las tecnologías de detección y marcas de agua utilizadas para identificar deepfakes aún no han avanzado lo suficiente. Las empresas acordaron estándares técnicos y mecanismos de detección, pero reconocen que queda un largo camino por recorrer. Además, existen desafíos, ya que las señales invisibles en imágenes generadas por IA no se han implementado completamente en generadores de audio y video.
Sin embargo, esta regulación aún es escasa. “A diferencia de otras industrias como la farmacéutica, la automovilística y la alimentaria, las empresas de IA no tienen ninguna obligación reglamentaria de divulgar los detalles de sus prácticas de seguridad. (...) Pero el mundo no puede permitirse que las herramientas de IA tengan rienda suelta durante tanto tiempo cuando evolucionan tan rápidamente”, opina Parmy Olson, columnista de tecnología en Bloomberg Línea.
Por su parte, Sora actualmente se encuentra disponible para los llamados "equipos rojos", cuyos miembros se dedican a cuestionar, poner a prueba y evaluar productos o servicios como si fueran adversarios de la empresa.
La misión específica de estos equipos rojos será identificar posibles daños o riesgos, con expertos especializados en áreas como desinformación, contenido que incita al odio y parcialidad.
OpenAI también ha extendido el acceso a artistas visuales, diseñadores y cineastas, buscando obtener sus opiniones para mejorar el modelo y hacerlo más útil para profesionales creativos.
Antes de lanzar la herramienta al público, OpenAI tomará en cuenta la consideración de las evaluaciones de los equipos rojos. Adicionalmente, según lo informa la empresa, se desarrollan herramientas para detectar contenidos engañosos, implementando detectores capaces de identificar si un video ha sido generado por Sora. Además, han creado clasificadores de imágenes robustos para revisar los fotogramas de los videos generados, asegurando que cumplan con las políticas de uso antes de ser mostrados a los usuarios.
OpenAI también reutilizará los métodos de seguridad previamente establecidos en productos como DALL-E 3, empleando un clasificador de texto que verifica y rechaza solicitudes de entrada que violen las políticas de uso, como aquellas que solicitan violencia extrema, contenido sexual, imágenes que incitan al odio, imágenes de celebridades o la propiedad intelectual de terceros.
