¿Qué es Google LaMDA? Esto es lo que necesita saber


Google IO 2021 Sundar Pichai habla sobre LaMDA

Luka Mlinar / Autoridad de Android

Si ha leído acerca de los chatbots de inteligencia artificial de vanguardia como ChatGPT y Google Bard, probablemente se haya topado con el término modelos de lenguaje grande (LLM). La familia GPT de LLM de OpenAI potencia ChatGPT, mientras que Google usa LaMDA para su chatbot Bard. Debajo del capó, estos son poderosos modelos de aprendizaje automático que pueden generar texto con un sonido natural. Sin embargo, como es común con las nuevas tecnologías, no todos los principales modelos de lenguaje son iguales.

En este artículo, echemos un vistazo más de cerca a LaMDA, el modelo de lenguaje grande que impulsa el chatbot Bard de Google.

Índice del contenido

¿Qué es Google LaMDA?

Google IO 2022 Sundar habla de LaMDA 2

LaMDA es un modelo de lenguaje conversacional desarrollado íntegramente por Google. Puede considerarlo como un rival directo de GPT-4, el modelo de lenguaje de última generación de OpenAI. El término LaMDA significa Modelo de lenguaje para aplicaciones de diálogo. Como habrás adivinado, esto sugiere que el modelo fue diseñado específicamente para imitar el diálogo humano.

Cuando Google presentó por primera vez su modelo de lenguaje grande en 2020, aún no se llamaba LaMDA. En ese entonces lo conocíamos como Meena, una IA conversacional entrenada para usar alrededor de 40 mil millones de palabras. Una demostración anterior mostró que el modelo podía contar chistes por sí mismo, sin hacer referencia a una base de datos o una lista preprogramada.

Google presentaría su modelo de lenguaje como LaMDA a una audiencia más amplia en su discurso de apertura anual de I/O en 2021. La compañía dijo que LaMDA fue entrenada en conversación humana y narración de historias. Esto le permitió sonar más natural e incluso asumir diferentes roles; por ejemplo, LaMDA podría pretender hablar en nombre de Plutón o incluso de un avión de papel.

LaMDA puede generar texto similar al humano, al igual que ChatGPT.

Además de generar un diálogo similar al humano, LaMDA se diferenciaba de los chatbots existentes porque podía priorizar respuestas significativas e interesantes. Por ejemplo, se evitan respuestas generales como "está bien" o "no estoy seguro". En cambio, LaMDA prioriza las sugerencias útiles y las respuestas ingeniosas.

Según una publicación de blog de Google sobre LaMDA, la precisión de los hechos era un problema importante, ya que los chatbots existentes generaban texto contradictorio o completamente ficticio cuando se les preguntaba sobre un tema nuevo. Entonces, para evitar que su modelo de lenguaje difunda información errónea, la compañía le permitió extraer datos de fuentes de información de terceros. Este llamado LaMDA de segunda generación podría buscar información en Internet como un ser humano.

¿Cómo se entrenó LaMDA?

Google LaMDA

Antes de hablar específicamente de LaMDA, vale la pena hablar sobre cómo funcionan los modelos de lenguaje moderno en general. Los modelos LaMDA y OpenAI GPT se basan en la arquitectura de aprendizaje profundo Transformer de Google 2017. Los transformadores esencialmente permiten que el modelo "lea" varias palabras a la vez y analice cómo se relacionan entre sí. Armado con este conocimiento, un modelo entrenado puede hacer predicciones para combinar palabras para formar oraciones completamente nuevas.

En cuanto a LaMDA en concreto, su formación se desarrolló en dos fases:

  1. Pre-entrenamiento: En la primera fase, LaMDA se entrenó en un conjunto de datos de 1,56 billones de palabras extraídas de "Diálogos públicos y datos de texto web". Según Google, LaMDA usó un conjunto de datos 40 veces más grande que los modelos de lenguaje anteriores de la empresa.
  2. afinar: Es tentador pensar que los modelos de lenguaje como LaMDA funcionan mejor simplemente alimentándolos con más datos. Sin embargo, este no es necesariamente el caso. Según los investigadores de Google, el ajuste fino fue mucho más efectivo para mejorar la seguridad y la precisión de los hechos del modelo. Medidas de seguridad, con qué frecuencia el modelo genera texto potencialmente dañino, incluidos insultos y opiniones polarizadas.

Para afinar, Google reclutó personas para tener entrevistas con LaMDA y evaluar su desempeño. Si responde de una manera potencialmente dañina, el trabajador humano comenta la conversación y califica la respuesta. En última instancia, este ajuste fino mejoró la calidad de respuesta de LaMDA mucho más allá del estado inicial de entrenamiento previo.

Ajuste fino de la seguridad de Google Bard

En la captura de pantalla anterior, puede ver cómo los ajustes han mejorado el modelo de lenguaje de Google. La columna central muestra cómo reaccionaría el modelo base, mientras que la derecha muestra el LaMDA moderno después del ajuste fino.

LaMDA vs. GPT-3 y ChatGPT: ¿Es mejor el modelo de lenguaje de Google?

Foto de archivo de ChatGPT 2

Édgar Cervantes / Autoridad Android

Sobre el papel, LaMDA compite con los modelos de lenguaje GPT-3 y GPT-4 de OpenAI. Sin embargo, Google no nos ha proporcionado una forma de acceder a LaMDA directamente; solo puede usarlo a través de Bard, que es principalmente un compañero de búsqueda y no un generador de texto de propósito general. Por otro lado, cualquiera puede acceder a GPT-3 a través de la API de OpenAI.

Asimismo, ChatGPT no es lo mismo que los modelos más nuevos de GPT-3 u OpenAI. Si bien ChatGPT se basa en GPT-3.5, se ha refinado aún más para imitar las conversaciones humanas. También llegó unos años después de que GPT-3 debutara por primera vez solo para desarrolladores.

¿Cómo se compara LaMDA con GPT-3? Aquí hay una descripción general rápida de las principales diferencias:

  1. conocimiento y precisión: LaMDA puede acceder a Internet para obtener la información más reciente, mientras que tanto GPT-3 como GPT-4 tienen fechas límite de conocimiento en septiembre de 2021. Cuando se les pregunta sobre eventos más recientes, estos modelos pueden evocar respuestas ficticias.
  2. datos de entrenamiento: El conjunto de datos de entrenamiento de LaMDA consistía principalmente en diálogos, mientras que GPT-3 usaba todo, desde entradas de Wikipedia hasta libros tradicionales. Esto hace que GPT-3 sea más universal y adaptable para aplicaciones como ChatGPT.
  3. entrenamiento humano: En la sección anterior, hablamos sobre cómo Google contrató trabajadores humanos para optimizar su modelo de seguridad y calidad. Por el contrario, el GPT-3 de OpenAI no recibió supervisión humana ni ajuste alguno. Esta tarea se deja a los desarrolladores o creadores de aplicaciones como ChatGPT y Bing Chat.

¿Puedo hablar con LaMDA?

Ejemplo de Google IO 2022 LaMDA 2

En este momento, no puede hablar directamente con LaMDA. A diferencia de GPT-3 y GPT-4, Google no proporciona una API para que interactúes con su modelo de lenguaje. Como solución alternativa, puede hablar con Bard, el chatbot de IA de Google basado en LaMDA.

Sin embargo, hay una trampa. No puede ver todo lo que LaMDA tiene para ofrecer sobre Bard. Se ha desinfectado y refinado aún más para que sirva únicamente como compañero de misión. Por ejemplo, mientras que el propio trabajo de investigación de Google mostró que el modelo podía responder en varios idiomas, Bard actualmente solo admite inglés. Es probable que esta limitación se deba a que Google contrató a "trabajadores colectivos" de habla inglesa con sede en los EE. UU. para optimizar la seguridad de LaMDA.

Una vez que la empresa empiece a ajustar su modelo de idioma en otros idiomas, es probable que veamos que se levanta la limitación de solo inglés. A medida que Google gane más confianza en la tecnología, LaMDA aparecerá en Gmail, Drive, Search y otras aplicaciones.


preguntas frecuentes

LaMDA llegó a los titulares cuando un ingeniero de Google afirmó que el modelo era sensible porque podía emular a un humano mejor que cualquier chatbot anterior. Sin embargo, la compañía afirma que su modelo de lenguaje carece de sensibilidad.

Sí, muchos expertos creen que LaMDA puede pasar la prueba de Turing. La prueba comprueba si un sistema informático tiene una inteligencia similar a la humana. Sin embargo, algunos argumentan que LaMDA solo tiene la capacidad de hacer creer a las personas que es inteligente, en lugar de poseer inteligencia real.

LaMDA es la abreviatura de Language Model for Dialogue Applications. Es un gran modelo de lenguaje desarrollado por Google.

Si quieres conocer otros artículos parecidos a ¿Qué es Google LaMDA? Esto es lo que necesita saber puedes visitar la categoría Android.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Subir