La semana en IA: Google apuesta por E/S a medida que las regulaciones se endurecen

Mantenerse al día con una industria tan acelerada como la IA es un gran desafío. Hasta que una IA pueda hacerlo por usted, aquí hay un resumen útil de las historias de la semana pasada en el mundo del aprendizaje automático, así como investigaciones y experimentos notables que no hemos cubierto solos.

Esta semana, Google dominó el ciclo de noticias de IA con una gran cantidad de nuevos productos presentados en su conferencia anual de desarrolladores de I/O. Van desde una IA generadora de código destinada a competir con Copilot de GitHub, hasta un generador de música de IA que convierte anuncios de texto en canciones cortas.

Bastantes de estas herramientas parecen ahorrar mucho trabajo, lo que significa más que solo cosas de marketing. Estoy particularmente intrigado por Project Tailwind, una aplicación para tomar notas que usa IA para organizar, resumir y analizar archivos de una carpeta personal de Google Docs. Pero también revelan las limitaciones y deficiencias de incluso las mejores tecnologías de inteligencia artificial de la actualidad.

Tome PaLM 2, el modelo de lenguaje grande (LLM) más reciente de Google, por ejemplo. PaLM 2 admitirá la herramienta de chat Bard actualizada de Google, el competidor de la compañía para ChatGPT de OpenAI, y servirá como base para la mayoría de las nuevas funciones de IA de Google. Pero si bien PaLM 2 puede escribir código, correo electrónico y más LLM comparables, también responde a las preguntas de una manera tóxica y sesgada.

El generador de música de Google también es bastante limitado en sus posibilidades. Si bien lo escribí yo mismo, la mayoría de las canciones que he creado con MusicLM suenan pasables en el mejor de los casos, y como un niño de cuatro años conectado a un DAW en el peor.

Mucho se ha escrito sobre cómo la IA reemplazará los puestos de trabajo, potencialmente el equivalente a 300 millones de puestos de trabajo a tiempo completo, según un informe de Goldman Sachs. En una encuesta realizada por Harris, el 40% de los trabajadores familiarizados con ChatGPT, la herramienta de chatbot impulsada por IA de OpenAI, temen que reemplace por completo sus trabajos.

La IA de Google no es el todo y el final, de hecho, se puede decir que la compañía se está quedando atrás en la competencia de IA. Pero el hecho innegable es que Google emplea a algunos de los mejores investigadores de inteligencia artificial del mundo. Y si eso es lo mejor que pueden hacer, es una prueba de que la IA está lejos de ser un problema resuelto.

Aquí están los otros titulares notables de IA en los últimos días:

• Meta trae IA generativa a los anuncios: Meta anunció esta semana una especie de caja de arena de IA para los anunciantes para ayudarlos a crear copias alternativas, generar fondos a partir de indicaciones de texto y recortar imágenes para anuncios de Facebook o Instagram. La compañía dijo que las funciones están actualmente disponibles para anunciantes selectos y ampliará el acceso a más anunciantes en julio.
• Contexto añadido: Anthropic ha ampliado la ventana de contexto para Claude, su modelo de IA de generación de texto insignia, que aún se encuentra en versión preliminar, de 9000 tokens a 100 000 tokens. La ventana de contexto se refiere al texto que el modelo considera antes de generar texto adicional, mientras que los tokens representan texto sin procesar (por ejemplo, la palabra "fantástico" se dividiría en los tokens "fan", "tas" y "tic"). En el pasado, y todavía hoy, la mala memoria ha sido una barrera para la utilidad de la IA generadora de texto. Pero las ventanas de contexto más grandes podrían cambiar eso.
• Anthropic promueve la “IA constitucional”: Las ventanas de contexto más grandes no son el único diferenciador de los modelos antrópicos. Esta semana, la compañía detalló la "IA constitucional", su técnica interna de capacitación en IA destinada a infundir a los sistemas de IA "valores" definidos por una "constitución". A diferencia de otros enfoques, Anthropic argumenta que la IA constitucional hace que el comportamiento de los sistemas sea más fácil de entender y de ajustar cuando sea necesario.
• Un LLM para la investigación: El Allen Institute for AI Research (AI2), una organización sin fines de lucro, anunció planes para capacitar a un LLM centrado en la investigación llamado Open Language Model, que se suma a la gran y creciente biblioteca de código abierto. AI2 ve el modelo de lenguaje abierto, o OLMo para abreviar, como una plataforma y no solo como un modelo, que permite a la comunidad de investigación tomar cualquier componente creado por AI2 y usarlo por sí mismos o mejorarlo.
• Nuevo fondo para IA: En otras noticias de AI2, AI2 Incubator, el fondo de inicio de IA de la organización sin fines de lucro, ha vuelto a crecer hasta triplicar su tamaño anterior: $ 30 millones frente a $ 10 millones. Desde 2017, 21 empresas han pasado por la incubadora, atrayendo unos 160 millones de dólares en inversiones adicionales y al menos una adquisición importante: XNOR, una empresa de aceleración y eficiencia de IA que posteriormente fue comprada por Apple por unos 200 millones de dólares.
• Reglas de implementación de la UE para la IA generativa: En una serie de votaciones en el Parlamento Europeo esta semana, los eurodiputados respaldaron una serie de enmiendas al proyecto de ley de IA del bloque, incluido el establecimiento de requisitos para los llamados modelos básicos subyacentes a las tecnologías de IA generativa como ChatGPT de OpenAI. Los cambios impondrán a los proveedores de modelos base la obligación de realizar revisiones de seguridad, medidas de control de datos y mitigación de riesgos antes de lanzar sus modelos al mercado.
• Un traductor universal: Google está probando un nuevo y poderoso servicio de traducción que convierte videos a un nuevo idioma mientras sincroniza los labios del hablante con palabras que nunca ha dicho. Podría ser muy útil por muchas razones, pero la empresa advirtió abiertamente sobre la posibilidad de abuso y las medidas tomadas para prevenirlo.
• Explicaciones automatizadas: A menudo se dice que los LLM son una caja negra en la línea de ChatGPT de OpenAI, y ciertamente hay algo de verdad en eso. Para desglosar estas capas, OpenAI está desarrollando una herramienta para identificar automáticamente qué partes de un LLM son responsables de cuál de sus comportamientos. Los ingenieros detrás de él enfatizan que todavía está en sus primeras etapas, pero el código para ejecutarlo está disponible como código abierto en GitHub a partir de esta semana.
• IBM presenta nuevos servicios de IA: En su conferencia anual Think, IBM anunció IBM Watsonx, una nueva plataforma que proporciona herramientas para construir modelos de IA y acceder a modelos pre-entrenados para generar código de computadora, texto y más. La compañía afirma que el lanzamiento estuvo motivado por los desafíos que muchas empresas aún enfrentan al implementar IA en el lugar de trabajo.

Otro aprendizaje automático

La nueva empresa de Andrew Ng, Landing AI, adopta un enfoque más intuitivo para desarrollar el entrenamiento de visión artificial. Conseguir que un modelo entienda lo que quieres identificar en las imágenes es bastante tedioso, pero con la técnica de "indicación visual" puedes hacer unas pocas pinceladas y a partir de ahí se determinará tu intención. Todos los que tienen que crear modelos de segmentación dicen "¡Dios mío, por fin!" Probablemente muchos estudiantes de doctorado que actualmente pasan horas enmascarando orgánulos y artículos para el hogar.

Microsoft ha aplicado modelos de difusión de una manera única e interesante, usándolos esencialmente para generar un vector de acción en lugar de una imagen entrenándolo en muchas acciones humanas observadas. Es muy temprano y la difusión no es la solución obvia para esto, pero dado que son estables y versátiles, es interesante ver cómo se pueden usar más allá de las tareas puramente visuales. Su trabajo será presentado en ICLR a finales de este año.

Con ImageBind, Meta también supera los límites de la IA. Se dice que es el primer modelo capaz de procesar e integrar datos de seis modalidades diferentes: imágenes y video, audio, datos de profundidad 3D, información térmica y datos de movimiento o posición. Esto significa que en su pequeña sala de incrustación de aprendizaje automático, una imagen se puede asociar con un sonido, una forma 3D y varias descripciones de texto, cada una de las cuales se puede preguntar o usar en la toma de decisiones. Es un paso hacia la IA "general", ya que toma y conecta datos más como lo hace el cerebro, pero sigue siendo simple y experimental, así que no te emociones demasiado todavía.

Todo el mundo estaba entusiasmado con AlphaFold, y por una buena razón, pero la estructura es en realidad solo una pequeña parte de la compleja ciencia de la proteómica. La forma en que interactúan estas proteínas es importante y difícil de predecir, pero el nuevo modelo PeSTo de EPFL intenta hacer precisamente eso. "Se enfoca en átomos e interacciones importantes dentro de la estructura de la proteína", dijo el desarrollador principal Lucien Krapp. "Esto significa que este método captura de manera efectiva las interacciones complejas dentro de las estructuras de las proteínas para permitir una predicción precisa de las interfaces de unión de las proteínas".

El gobierno pone mucho énfasis en la IA. El presidente incluso acudió a una reunión con varios directores ejecutivos líderes de IA para señalar la importancia de hacer esto bien. Tal vez algunas empresas no sean necesariamente las correctas, pero al menos tienen algunas ideas que vale la pena considerar. Pero ya tienen cabilderos, ¿no?

Estoy más entusiasmado con los nuevos centros de investigación de IA que surgen con fondos federales. Se necesita urgentemente investigación básica para contrarrestar el trabajo orientado a productos de empresas como OpenAI y Google. Entonces, cuando hay centros de IA con la misión de abordar temas como las ciencias sociales (en CMU) o el cambio climático y la agricultura (en la U de Minnesota), se siente como campos verdes (tanto en sentido figurado como literal). Sin embargo, también me gustaría hacer un pequeño cumplido a esta meta-investigación sobre medición forestal.

Hay muchas conversaciones interesantes sobre la IA. Encontré interesante esta entrevista con los académicos de UCLA (mi alma mater, go Bruins) Jacob Foster y Danny Snelson. Aquí hay una gran idea sobre los LLM para fingir que se te ocurrió este fin de semana mientras la gente hablaba sobre la IA:

Estos sistemas muestran cuán formalmente consistentes son la mayoría de los tipos de letra. Cuanto más generales sean los formatos que simulan estos modelos predictivos, más exitosos son. Estos desarrollos nos empujan a reconocer las funciones normativas de nuestras formas y posiblemente a transformarlas. Después de la introducción de la fotografía, que es muy buena para capturar un espacio de representación, el impresionismo se desarrolló en el medio pictórico, un estilo que rechazó por completo la representación precisa y, en cambio, se limitó a la materialidad de la pintura misma.

¡Definitivamente usaré eso!