Google y OpenAI son Walmarts asediados por puestos de frutas

OpenAI ahora puede ser sinónimo de aprendizaje automático y Google está haciendo todo lo posible para despegar, pero ambos pronto podrían enfrentar una nueva amenaza: la rápida proliferación de proyectos de código abierto que están impulsando el estado del arte y los bolsillos profundos, pero dejan pesados. corporaciones en su polvo. Esta amenaza similar a la de los zerg puede no ser existencial, pero sin duda mantendrá a los jugadores dominantes a la defensiva.

La idea está lejos de ser nueva: en la comunidad de IA de ritmo rápido, se espera que este tipo de fallas se vean semanalmente, pero la situación ha sido puesta en perspectiva por un documento ampliamente compartido supuestamente de Google. "No tenemos un foso, y OpenAI tampoco", decía el memorando.

No agobiaré al lector con un resumen largo de este artículo perfectamente legible e interesante, pero la esencia es que, aunque GPT-4 y otros modelos patentados recibieron la mayor parte de la atención y los ingresos reales, ganaron la ventaja con el aspecto de la financiación y la infraestructura. más delgado por el día.

Si bien el ritmo de los lanzamientos de OpenAI puede parecer abrumador para los estándares de los principales lanzamientos de software ordinarios, GPT-3, ChatGPT y GPT-4 sin duda les pisaron los talones en comparación con las versiones de iOS o Photoshop. Pero todavía ocurren en el orden de meses y años.

El memorándum señala que en marzo se filtró un modelo de lenguaje base de Meta llamado LLaMA en una forma bastante tosca. Dentro semanas, las personas que jugaban con computadoras portátiles y servidores de un centavo por minuto habían agregado funciones básicas como la votación de instrucciones, múltiples modalidades y aprendizaje de refuerzo a partir de comentarios humanos. OpenAI y Google probablemente también hurgaron en el código, pero pudieron (no pudieron) replicar el nivel de colaboración y experimentación que ocurre en subreddits y discords.

¿Podría ser realmente que el titánico problema computacional que parecía plantear un obstáculo insuperable, una zanja, para los retadores ya sea una reliquia de otra era de desarrollo de IA?

Sam Altman ya ha señalado que cuando arrojamos parámetros al problema, debemos esperar rendimientos decrecientes. Más grande no siempre es mejor, claro, pero pocos habrían adivinado que más pequeño lo era.

GPT-4 es un Walmart, y a nadie realmente le gusta Walmart

El paradigma empresarial que actualmente siguen OpenAI y otros es un descendiente directo del modelo SaaS. Tienen un software o servicio de alto valor y ofrecen acceso cuidadosamente protegido a través de una API o similar. Es un enfoque sencillo y probado que tiene mucho sentido cuando ha invertido cientos de millones en desarrollar un único producto monolítico pero versátil como un gran modelo de lenguaje.

Si GPT-4 generaliza bien para responder preguntas sobre precedentes en derecho contractual, excelente, aunque gran parte de su "intelecto" está dedicado a imitar el estilo de cada autor que alguna vez ha publicado una obra en inglés. GPT-4 es como un Walmart. en realidad nadie desear ir allí, por lo que la empresa se asegura de que no haya otra opción.

Pero los clientes comienzan a preguntarse por qué estoy caminando por 50 pasillos llenos de chatarra para comprar algunas manzanas. ¿Por qué estoy contratando el modelo de IA más grande y universal jamás creado cuando todo lo que quiero hacer es usar un poco de inteligencia para hacer coincidir el lenguaje de este contrato con algunos cientos de otros? A riesgo de torturar la metáfora (por no hablar del lector), si GPT-4 es el Walmart al que le compras manzanas, ¿qué sucede cuando se abre un puesto de frutas en el estacionamiento?

En el mundo de la IA, no pasó mucho tiempo para que un gran modelo de lenguaje, en una forma muy abreviada, por supuesto, se ejecutara (apropiadamente) en una Raspberry Pi. Para una empresa como OpenAI, su jinete Microsoft, Google o cualquier otra en el mundo de la IA como servicio, esto desafía efectivamente toda la premisa de su negocio: que estos sistemas son tan difíciles de construir y operar que deben hazlo por ti. De hecho, parece que estas empresas han elegido y desarrollado una versión de IA que se adapta a su modelo de negocio existente, ¡y no al revés!

Solía ​​tener que descargar los cálculos asociados con el procesamiento de textos a un mainframe: su terminal era solo una pantalla. Esa era una época diferente, por supuesto, y hace tiempo que hemos podido acomodar toda la aplicación en una computadora personal. Estos procesos se han producido muchas veces desde entonces, ya que nuestros dispositivos han aumentado de forma repetida y exponencial su capacidad informática. Hoy en día, cuando se necesita hacer algo en una supercomputadora, todos entienden que es solo una cuestión de tiempo y optimización.

Para Google y OpenAI, el momento llegó mucho más rápido de lo esperado. Y no fueron ellos los que hicieron los ajustes, y es posible que nunca lo hagan a este ritmo.

Bueno, eso no significa que tengan mala suerte. Google no logró ser el mejor, al menos no por mucho tiempo. Ser un Walmart tiene sus ventajas. Las empresas no quieren tener que encontrar la solución personalizada que hace el trabajo un 30 % más rápido cuando pueden obtener un precio razonable de su proveedor existente y no agitar demasiado el barco. ¡Nunca subestimes el valor de la pereza en los negocios!

Claro, la gente repite LLaMA tan rápido que se están quedando sin camélidos para ponerles su nombre. Por cierto, me gustaría agradecer a los desarrolladores por una excusa para ver cientos de imágenes de lindas vicuñas leonadas en lugar de trabajar. Pero pocos departamentos de TI de empresas improvisarán una implementación del derivado de código abierto de Stability en los trabajos de un metamodelo filtrado casi legal a través de la API simple y efectiva de OpenAI. ¡Tienes un negocio que administrar!

Pero al mismo tiempo dejé de usar Photoshop para editar y crear imágenes hace años porque las opciones de código abierto como Gimp y Paint.net se han vuelto increíblemente buenas. En este punto, el argumento va en la otra dirección. ¿Cuánto paga por Photoshop? ¡De ninguna manera, tenemos un negocio que administrar!

Lo que claramente preocupa a los autores anónimos de Google es que la distancia entre la primera y la segunda situación será mucho más corta de lo que nadie pensaba, y no parece haber nada que nadie pueda hacer al respecto.

A menos que el memorando diga: acéptalo. Abrir, publicar, colaborar, compartir, comprometer. Cuando cierran:

Google debe establecerse como líder en la comunidad de código abierto y tomar la iniciativa colaborando con la discusión más amplia, sin ignorarla. Esto probablemente signifique tomar algunos pasos incómodos, como: B. la publicación de los pesos del modelo para variantes ULM pequeñas. Esto inevitablemente significa renunciar al control de nuestros modelos. Pero este compromiso es inevitable. No podemos esperar impulsar la innovación y controlarla al mismo tiempo.