Imagina que quieres enviar una carta, pero no quieres que nadie sepa quién la envía, quién la recibe, o incluso qué dice dentro. No es suficiente con usar un sobre opaco; necesitas una red de carteros que ni siquiera sepan que están trabajando para ti, rutas que cambian cada vez,…

Reflexiones y resumen del ensayo «Situational Awareness» de Leopold Aschenbrenner, un documento que oscila entre el entusiasmo y la advertencia, como si estuviera escrito con la conciencia de que estamos en la antesala de algo gigantesco y tremendamente arriesgado

La AGI para 2027 es sorprendentemente plausible. De GPT-2 a GPT-4 pasamos de las capacidades de un niño en edad preescolar a las de un niño de secundaria inteligente en 4 años. Si seguimos las líneas de tendencia en la computación (~0,5 órdenes de magnitud o OOM/año), las eficiencias algorítmicas (~0,5 OOM/año) y las ganancias de “desbloqueo” (de un chatbot a un agente), deberíamos esperar otro salto cualitativo

El progreso de la IA no se detendrá en el nivel humano. Cientos de millones de IA podrían automatizar la investigación en IA, comprimiendo una década de progreso algorítmico (más de 5 OOM) en menos de un año. Pasaríamos rápidamente de sistemas de IA de nivel humano a sistemas de IA enormemente superhumanos. El poder (y el peligro) de la superinteligencia sería dramático.

La aceleración más extraordinaria del capital tecnológico ya se ha puesto en marcha. A medida que los ingresos de la IA crecen rápidamente, muchos billones de dólares se destinarán a la construcción de GPU, centros de datos y energía antes de que termine la década. La movilización industrial, incluido el aumento de la producción de electricidad estadounidense en un 10 por ciento, será intensa.

Los principales laboratorios de inteligencia artificial del país tratan la seguridad como una cuestión de último momento. Actualmente, básicamente están entregando los secretos clave para la inteligencia artificial general al PCCh en bandeja de plata. Proteger los secretos y el peso de la inteligencia artificial general contra la amenaza de los agentes estatales será un esfuerzo inmenso, y no vamos por buen camino.

Controlar de forma fiable sistemas de inteligencia artificial mucho más inteligentes que nosotros es un problema técnico sin resolver. Y, aunque es un problema solucionable, las cosas podrían descontrolarse muy fácilmente durante una rápida explosión de inteligencia. Gestionarlo será extremadamente tenso; un fracaso podría ser fácilmente catastrófico.

La superinteligencia proporcionará una ventaja económica y militar decisiva. China todavía no está fuera de juego. En la carrera hacia la inteligencia artificial general, estará en juego la supervivencia misma del mundo libre. ¿Podremos mantener nuestra preeminencia sobre las potencias autoritarias? ¿Y lograremos evitar la autodestrucción en el camino?

A medida que se intensifique la carrera hacia la inteligencia artificial, el estado de seguridad nacional se involucrará. El gobierno de Estados Unidos despertará de su letargo y para el 27 o 28 tendremos algún tipo de proyecto de inteligencia artificial gubernamental. Ninguna empresa emergente puede manejar superinteligencia. En algún momento de un SCIF, se llegará al final del juego.

En este momento, tal vez haya unos pocos cientos de personas en el mundo que se dan cuenta de lo que está a punto de suceder, que comprenden lo locas que están a punto de volverse las cosas, que tienen conciencia de la situación. En este punto, puede que pienses que yo y el resto de la gente de ciencia ficción estamos totalmente locos. Pero piensa, aunque sea por un momento: ¿y si tienen razón?