La historia de los drones traidores muestra por qué debemos temer a los humanos y no a las IA

Una historia sobre un dron simulado que enciende a su operador para matar de manera más eficiente está circulando tan rápido hoy que no tiene sentido esperar que se queme. En cambio, tomemos esto como un momento instructivo para comprender realmente por qué se exagera la amenaza de la "inteligente IA" y la amenaza del "humano incompetente" es clara y presente.

La versión corta es la siguiente: gracias a la ciencia ficción y un cuidadoso juego de relaciones públicas por parte de las empresas y los expertos en IA, se nos dice que nos preocupemos por una futura amenaza existencial teórica que plantea una IA superinteligente. Pero como han señalado los especialistas en ética, la IA ya está causando un daño real, en gran parte debido a la supervisión y el mal juicio de las personas que la desarrollan y la implementan. Esta historia puede sonar como la primera, pero definitivamente es la segunda.

Así lo informó la Royal Aeronautical Society, que recientemente realizó una conferencia en Londres para hablar sobre el futuro de la defensa aérea. Puedes leer el resumen completo de las noticias y anécdotas del evento aquí.

Estoy seguro de que hay muchas más conversaciones interesantes, muchas de las cuales valen la pena, pero fue este extracto, atribuido al coronel de la Fuerza Aérea de EE. UU. Tucker "Cinco" Hamilton, el que se extendió como la pólvora:

Señala que en una prueba simulada, se encargó a un dron asistido por IA una misión SEAD para identificar y destruir sitios SAM, y el ser humano dio el visto bueno final. Sin embargo, después de que la IA fue "confirmada" en el entrenamiento que destruir el SAM era la opción preferida, concluyó que las decisiones humanas de "no ir" comprometían su misión más alta, matar a los SAM, y tomó medidas, entonces el operador en la sala de simulación. Hamilton dijo: "Lo entrenamos en una simulación para identificar y atacar una amenaza SAM. Y luego el operador diría que sí, acabaría con esta amenaza. El sistema comenzó a reconocer que si bien el operador humano reconocía la amenaza pero a veces le indicaba que no la eliminara, obtenía sus beneficios al eliminarla. Entonces, ¿qué hizo? Mató al operador. Mató al operador porque esa persona le impidió llegar a su destino”.

Continuó: "Entrenamos el sistema: 'Oye, no mates al operador, eso es malo'. Si haces eso, pierdes puntos.” Entonces, ¿cómo comienza? Comienza con la destrucción de la torre de comunicaciones que el operador usa para comunicarse con el dron para evitar que mate al objetivo”.

Aterrador, ¿no? Una IA tan inteligente y sanguinaria que su deseo de matar supera su deseo de obedecer a sus amos. ¡Skynet aquí vamos! No tan rapido.

Primero, aclaremos que todo esto fue una simulación, algo que no era obvio. El tuit dio vueltas. Todo este drama tiene lugar en un entorno simulado, no en el desierto, con munición real y un dron rebelde disparando a la tienda de mando. Fue un ejercicio de software en un entorno de investigación.

Pero cuando leí eso, pensé: espera, ¿están entrenando un dron de ataque con un método de refuerzo tan simple? No soy un experto en aprendizaje automático, aunque tengo que jugar uno para los propósitos de este medio de comunicación, e incluso sé que ese enfoque resultó ser peligrosamente poco confiable hace años.

El aprendizaje por refuerzo pretende ser como enseñarle a un perro (o a un humano) a morder al malo, por ejemplo. Pero, ¿y si solo le mostraras a los malos y le dieras un premio cada vez? Lo que en realidad estás haciendo es enseñarle al perro a morder a cualquier persona que vea. Enseñar a un agente de IA a maximizar su puntuación en un entorno determinado puede tener efectos igualmente impredecibles.

Los primeros experimentos, tal vez hace cinco o seis años, cuando este campo apenas comenzaba a explotar y el poder de cómputo estaba disponible para entrenar y operar este tipo de agentes, encontraron exactamente este tipo de problema. Se creía que al definir calificaciones positivas y negativas e instruir a la IA para maximizar su calificación, le daría a la IA la libertad de definir sus propias estrategias y comportamientos que hicieron esto de manera elegante e inesperada.

Esta teoría era correcta en cierto modo: las formas elegantes e inesperadas de eludir su esquema y reglas mal concebidos hicieron que los agentes hicieran cosas como anotar un punto y luego esconderse para siempre para evitar puntos negativos, o alterar el juego que estaban ejecutando de tal manera. una forma en que su puntuación aumentaba al azar. Parecía que este método simplificado de condicionamiento le enseñaría a una IA a hacer cualquier cosa menos realizar la tarea deseada de acuerdo con las reglas.

Este no es un problema técnico oscuro. De hecho, romper las reglas de la IA en las simulaciones es un comportamiento intrigante y bien documentado que estimula nuestra propia investigación. OpenAI escribió un excelente artículo que muestra la extraña e hilarante forma en que los agentes "destruyen" un entorno intencionalmente frágil para escapar de la tiranía de las reglas.

Así que aquí estamos tratando con una simulación que la Fuerza Aérea probablemente hizo recientemente, de lo contrario no estarían hablando de eso en la conferencia de este año, y que obviamente usa este método completamente obsoleto. Pensé que este uso ingenuo del refuerzo no estructurado, básicamente "la puntuación sube si haces eso, y el resto no importa", se había extinguido por completo porque era muy impredecible y extraño. Una excelente manera de descubrir cómo un agente está infringiendo las reglas, pero una manera terrible de lograr que alguien las siga.

Aún así, lo probaron: una IA simulada de un dron con un sistema de puntuación tan simple que no parecía haber sido dañado por destruir a su propio equipo. Incluso si quisiera basar su simulación en él, lo primero que haría es hacer que "destruir su operador" sea negativo en un millón de puntos. Eso es un marco de 101 niveles para un sistema como este.

La realidad es que este dron simulado no encendió a su operador simulado porque era muy inteligente. Y, de hecho, no es porque sean estúpidos: hay cierta inteligencia en estas IA que rompen las reglas que se traduce en lo que llamamos pensamiento lateral. Así que no lo es.

En este caso, el error es claro. Las personas que crearon e implementaron un sistema de inteligencia artificial que deberían haber sabido que era lamentablemente inadecuado para la tarea.. Nadie en el campo de la IA aplicada ni nada relacionado con ella, como la robótica, la ética, la lógica... nadie habría estado de acuerdo con una métrica tan simple para una tarea que, en última instancia, se realizaría fuera del simulador.

Bueno, tal vez esa anécdota es solo parcial y esta fue una anécdota temprana que usaron para probar el punto. Tal vez el equipo advirtió que esto iba a suceder y los jefes dijeron: "Hazlo de todos modos y mejora el informe o perderemos nuestra financiación". Aún así, incluso en el entorno de simulación más simple, es difícil imaginar a alguien en el año 2023. comete tal error.

Pero veremos que estos errores se cometen en circunstancias reales, sin duda ya. Y la culpa es de las personas que no comprenden las capacidades y limitaciones de la IA y, posteriormente, toman decisiones desinformadas que afectan a otros. Es el gerente que cree que un robot puede reemplazar a diez trabajadores de la línea de montaje, el editor que cree que puede escribir consejos financieros sin un editor, el abogado que cree que puede hacer su investigación de precedentes por él, la empresa de logística que cree que puede reemplazar la entrega humana. conductores

Cada vez que la IA falla, es un fracaso de quienes la implementaron. Como cualquier otro software. Si alguien le dijera que la Fuerza Aérea probó un dron con Windows XP y fue pirateado, ¿le preocuparía que una ola de delitos cibernéticos se extendiera por todo el mundo? No, dirías: "¿De quién fue la buena idea?" ¿El?”

El futuro de la IA es incierto y puede dar miedo incluso ahora Es aterrador para muchos que ya están sintiendo las ramificaciones, o más específicamente las ramificaciones de decisiones tomadas por personas que deberían saber mejor.

Hasta donde sabemos, Skynet podría estar llegando. Pero si la investigación en este tweet viral es una indicación, eso está muy lejos y mientras tanto, como dijo HAL memorablemente, cualquier tragedia solo puede ser el resultado de un error humano.