Meta lanza Llama 2, un conjunto más "útil" de modelos generadores de texto

El panorama de la IA generativa crece día a día.

Hoy, Meta anunció una nueva familia de modelos de IA, Llama 2, diseñada para aplicaciones como ChatGPT de OpenAI, Bing Chat y otros chatbots modernos. Según una combinación de datos disponibles públicamente, Meta afirma que el rendimiento de Llama 2 mejora significativamente en comparación con la generación anterior de modelos Llama.

Llama 2 es el sucesor de Llama, una colección de modelos que pueden generar texto y código en respuesta a indicaciones, comparable a otros sistemas similares a chatbots. Pero la llama solo estaba disponible a pedido; Por temor a los abusos, Meta decidió bloquear el acceso a las modelos. (A pesar de esta precaución, Llama luego llegó a Internet y se extendió a varias comunidades de IA).

Por el contrario, Llama 2, que es gratuito para investigación y uso comercial, estará disponible en formato preentrenado para realizar ajustes en AWS, Azure y la plataforma de alojamiento de modelos de IA de Hugging Face. Y será más fácil de usar, dice Meta, optimizado para Windows gracias a una asociación ampliada con Microsoft y teléfonos inteligentes y PC con el sistema en chip Snapdragon de Qualcomm. (Qualcomm dice que está trabajando para llevar Llama 2 a los dispositivos Snapdragon en 2024).

¿En qué se diferencia Llama 2 de Llama? En muchos sentidos, Meta destaca todo esto en un informe detallado.

Llama 2 viene en dos sabores: Llama 2 y Llama 2 Chat, este último está diseñado específicamente para conversaciones bidireccionales. Llama 2 y Llama 2 chat se dividen en versiones de diferente complejidad: 7 mil millones de parámetros, 13 mil millones de parámetros y 70 mil millones de parámetros. (“Parámetros” son las partes de un modelo, aprendidas de los datos de entrenamiento, que esencialmente definen la capacidad del modelo para resolver un problema, en este caso, la generación de texto).

Llama 2 se entrenó con dos millones de tokens, donde los "tokens" representan texto sin procesar, p. Por ejemplo, "fan", "tas" y "tic" para la palabra "awesome". Eso es casi el doble de los que Llama ha entrenado (1,4 billones) y, en términos generales, cuantos más tokens, mejor cuando se trata de IA generativa. Según los informes, el LLM (modelo de lenguaje grande) insignia actual de Google, PaLM 2, ha sido entrenado en 3,6 millones de tokens, y se especula que GPT-4 también ha sido entrenado en billones de tokens.

Meta no revela las fuentes específicas de los datos de capacitación en el libro blanco, aparte de que son de la web, principalmente en inglés, y no de los propios productos o servicios de la empresa, enfatizando que el texto es de naturaleza "fáctica".

Me atrevo a suponer que la renuencia a revelar los detalles del entrenamiento no se debe solo a razones competitivas, sino también a las controversias legales que rodean a la IA generativa. Justo hoy, miles de autores firmaron una carta instando a las empresas tecnológicas a dejar de usar su escritura para entrenar modelos de IA sin permiso ni compensación.

Pero yo divago. Según Meta, los modelos Llama 2 funcionan un poco peor que los competidores de código cerrado más destacados, el GPT-4 y el PaLM 2, en una serie de puntos de referencia, y el Llama 2 se queda significativamente por detrás del GPT-4 en términos de programación informática. . Pero los revisores humanos consideran que Llama 2 es tan "útil" como ChatGPT, afirma Meta; Llama 2 dio respuestas iguales a una serie de alrededor de 4.000 preguntas destinadas a preguntar sobre "utilidad" y "seguridad".

Los modelos Llama 2 de Meta pueden responder preguntas en emoji.

Sin embargo, tome los resultados con precaución. Meta reconoce que sus pruebas no pueden representar todos los escenarios del mundo real y que sus puntos de referencia pueden carecer de diversidad; en otras palabras, no cubren adecuadamente áreas como la codificación y el razonamiento humano.

Meta también admite que, como todos los modelos generativos de IA, Llama 2 tiene sesgos en ciertos ejes. Por ejemplo, debido a los desequilibrios en los datos de entrenamiento, existe el riesgo de que los pronombres "él" se generen con más frecuencia que los pronombres "ella". No supera a otros modelos en los puntos de referencia de toxicidad debido al texto tóxico en los datos de entrenamiento. Y Llama 2 exhibe un sesgo occidental, nuevamente gracias a los desequilibrios de datos, que incluyen una gran cantidad de palabras "cristiano", "católico" y "judío".

Los modelos Llama 2 Chat funcionan mejor que los modelos Llama 2 en los puntos de referencia internos de "Utilidad" y Toxicidad de Meta. Pero también tienden a ser sobreprotectores y los modelos tienden a rechazar ciertas solicitudes o responder con demasiados detalles de seguridad.

Para ser justos, los puntos de referencia no tienen en cuenta las capas adicionales de seguridad que se pueden aplicar a los modelos Llama 2 alojados. Por ejemplo, como parte de la colaboración con Microsoft, Meta utiliza Azure AI Content Safety, un servicio diseñado para detectar contenido "inapropiado" en imágenes y texto generados por IA, para reducir las salidas maliciosas de Llama-2 en Azure.

Con esto en mente, Meta todavía hace todo lo posible por distanciarse de las consecuencias potencialmente dañinas relacionadas con Llama 2, y enfatiza en el libro blanco que los usuarios de Llama 2 deben respetar los términos de licencia y las políticas de uso aceptable de Meta, así como el "desarrollo seguro". las políticas deben cumplir con el compromiso”.

"Creemos que el intercambio abierto de los grandes modelos de lenguaje actuales también respaldará el desarrollo de una IA generativa útil y más segura", escribe Meta en una publicación de blog. "Esperamos ver lo que el mundo construye con Llama 2".

Sin embargo, dada la naturaleza de los modelos de código abierto, no es posible decir exactamente cómo y dónde se pueden usar los modelos. Dada la velocidad vertiginosa a la que se mueve Internet, no pasará mucho tiempo antes de que lo descubramos.