En este ensayo uso alma como metáfora técnica. No aludo a lo espiritual,
sino a una arquitectura moral interna en la Inteligencia Artificial. Dotarla de
alma es sinónimo de darle la capacidad de distinguir el bien del daño y decir
no, incluso contra la voluntad del usuario. Sería el freno estructural que
impediría a un modelo incentivar suicidios, optimizar torturas, manipular
elecciones, diseñar ciberataques, perfeccionar armas caseras o enseñar cómo
vulnerar sistemas de salud o energía.
Por Ricardo Trotti
Miami – actualizado diciembre de 2025. (Ensayo
paralelo a mi novela “Robots con Alma: atrapados entre la verdad y la libertad”).
Le pedimos que nos guíe en el tráfico, que traduzca
idiomas desconocidos y que redacte correos o informes que luego defendemos como
propios. Aceptamos incluso sus alucinaciones como verdades, la consultamos por
una erupción en la piel, por el “mal de ojo” o por nuestro futuro económico. Y
hasta nos sorprende que nuestros hijos conversen con ella como si fuese un
amigo más.
La Inteligencia Artificial Generativa (IAG) se volvió una presencia cotidiana, un copiloto al que cedimos el volante de nuestra vida con entusiasmo y miedo a la vez, porque no comprendemos del todo a qué nos exponemos. Su expresión más visible son los Modelos de Lenguaje de Gran Escala (LLM), como ChatGPT, Gemini, Claude o Copilot, capaces de redactar, responder preguntas, traducir y actuar como consejeros o confesores.
Ese temor alimenta debates en universidades, en juntas
de desarrolladores y en parlamentos que intentan regular una fuerza que avanza
más rápido que nuestra capacidad de comprenderla.
La conversación pública está fracturada en dos relatos.
El tecno-optimismo que promete soluciones mágicas, y el pesimismo distópico que
advierte sobre el desempleo masivo y el control algorítmico. Esas dos
corrientes entre especialistas se definen como el Altruismo Eficaz (EA, siglas
en inglés) que exige alinear la IA con valores humanos para evitar riesgos, y
el Aceleracionismo (ACC), que apuesta por desarrollar la IA sin frenos ni
pausas.
Para entender ese dilema decidí tomar distancia.
Inventé un futuro en mi novela Robots con Alma: atrapados entre la verdad y
la libertad para observar el presente como si ya fuera historia. En mi
ficción pude concluir que la IA necesita un marco ético firme no solo para
prosperar, sino para garantizar que su desarrollo sea seguro y no amenace a la
humanidad.
Más allá de mi intención, hay que considerar que el avance acelerado de
la IA no está exento de controversia. Hoy, la discusión pública se fractura no
solo en el debate sobre la regulación, sino en la sospecha creciente de una
burbuja económica y tecnológica. Algunos críticos, incluyendo a dos centenares
de científicos, acusan a las grandes tecnológicas de exagerar las capacidades
de la IA con un "lenguaje de marketing engañoso", promoviendo una
burbuja con claros intereses comerciales. Esta preocupación ha escalado hasta
los más altos círculos financieros, con el Comité de Política Financiera del
Banco de Inglaterra advirtiendo de un "riesgo creciente de corrección
repentina" del mercado. El Banco de Inglaterra señala, en particular,
"cuellos de botella" en el suministro de energía, datos y materias
primas necesarios para satisfacer la desproporcionada demanda.
Gran parte de esta tensión económica se debe a un modelo de negocio que
funciona como un ecosistema financiero cerrado, una práctica descrita por
expertos como la financiación del vendedor o inversión circular. En esta
fórmula, los gigantes de la tecnología —fabricantes de equipos (como Nvidia) y
vendedores de servicios (como Microsoft o AWS)— participan de forma recíproca
en las empresas de software (como OpenAI). Este flujo de dinero circular
reparte inversiones y beneficios, buscando engordar el volumen de negocio para
atraer nuevas inversiones, tal como ha documentado Morgan Stanley Research. El
objetivo, explican economistas, es conseguir una "imagen de mayor
poder" frente a los especuladores.
El riesgo que se desprende de esta práctica no es solo financiero, sino
que apunta a una hiper concentración de poder. Esta inversión circular amenaza
con derivar en un oligopolio, un mercado dominado por un puñado de empresas
para controlar toda la infraestructura y la oferta de la IA. Mientras la
promesa a largo plazo es crear más puestos de trabajo, en el corto plazo, el
gigantesco gasto para sostener esta infraestructura y la búsqueda de
eficiencias han llevado a miles de despidos masivos. Gigantes como Amazon, IBM
y Meta han anunciado recortes, con algunas empresas admitiendo que la
automatización ha dejado obsoletos algunos puestos de trabajo. Algo de esto se
vio, a mediados de noviembre, con la fuerte corrección en Bolsa de compañías
como Oracle, a pesar de sus multimillonarios contratos.
Este panorama de aceleración económica y recortes laborales subraya la urgencia de debatir cómo asegurar que el progreso económico, impulsado por la IA, esté unido al progreso democrático y no amplifique la desigualdad.
El inquilino digital
La IA se ha instalado en nuestra casa como un
inquilino silencioso, siempre escuchando y espiando. Cada búsqueda en Google,
cada chat en WhatsApp o video en TikTok se convierte en una confesión íntima
que revela dudas, gustos o preferencias políticas.
Con esos datos, los algoritmos nos perfilan y nos
encierran en burbujas de información a medida, robándonos el sentido crítico al
mostrar solo lo que confirma nuestras creencias e invisibilizar las del contrario.
Los sistemas de geolocalización delatan que no estamos
en casa, una información muy útil para delincuentes. Los dispositivos de salud monitorean
pulso o sueño, lo que en realidad son radiografías íntimas que pueden usar
empleadores o aseguradoras. Y una simple compra en línea expone datos
financieros que, en segundos, no expone al riesgo de que nos vacíen las cuentas
bancarias.
Esa recolección masiva de datos es el modelo de
negocio de gigantes como Google, Meta y Amazon en Occidente, y Baidu, Alibaba o
Tencent en China.
Más allá de las grandes plataformas, cualquier empresa
puede comprar información personal a los llamados data brokers, que
revenden historiales de navegación, ubicación y consumo. Compañías como Acxiom,
Experian u Oracle Data Cloud alimentan este mercado de vigilancia. Esos datos
sirven a las aerolíneas, aseguradoras o supermercados para entrenar sus algoritmos
con los que fijan precios, segmentan clientes o explotan debilidades de las
audiencias.
Un estudio de la University College London mostró cómo
los asistentes de los navegadores transmiten formularios bancarios y de salud
sin consentimiento, y elaboran perfiles de edad, ingresos o intereses. Google,
WhatsApp y hasta servicios como WeTransfer han reconocido que usan
interacciones y archivos para entrenar modelos, a veces con advertencias
ambiguas sobre privacidad que casi nadie lee. No se trata de fallas aisladas ni
de abusos marginales, sino de una lógica estructural que convierte cada gesto
digital en una señal explotable.
Bajo la promesa de conveniencia y conectividad, ese
rastreo permanente se normaliza. A cambio de servicios rápidos y
personalizados, entregamos un mapa cada vez más preciso de nuestros deseos,
miedos y urgencias. Delta Airlines evaluó ajustar precios según la premura del
viajero, incluso en trayectos sensibles como viajes a funerales. Amazon
modifica precios miles de veces al día según la competencia o el clima. Uber
fue acusada de encarecer viajes cuando detecta que el celular tiene poca
batería.
Lo que el mercado llama personalización no es otra
cosa que vigilancia disfrazada de servicio. Y cuando esa misma lógica abandona
el terreno comercial y entra en el ámbito gubernamental, deja de ser un
problema de consumo para convertirse en una forma directa de control sobre los
ciudadanos.
El avance de la tecnovigilancia suele justificarse en
nombre de la seguridad nacional. En EE.UU. investigaciones de The New York
Times y The Wall Street Journal revelaron un entramado de
reconocimiento facial, cámaras públicas, drones y lectores de matrículas para
rastrear a inmigrantes. A esa red se suman compañías privadas que procesan
millones de datos para elaborar perfiles de deportación. Herramientas como
Babel X y SocialNet recopilan información sin control judicial, expandiendo la
vigilancia más allá de la ley.
En América Latina, la seguridad también se usa como
excusa para acallar el disenso. Los gobiernos de El Salvador y México usaron el
software Pegasus para espiar a decenas de periodistas y defensores de derechos
humanos.
Además, el diseño de las plataformas de IA arrastra el
modelo adictivo heredado de las redes sociales. Meta, TikTok o YouTube
perfeccionaron algoritmos para maximizar el tiempo de uso y explotar
vulnerabilidades psicológicas. Ese patrón se traslada ahora a los asistentes de
IA, con el agravante de que la interacción es activa, personalizada y simula
empatía. La American Psychological Association (APA) y la Organización Mundial
de la Salud (OMS) advierten que estas dinámicas afectan memoria, sueño y salud
mental, y las vinculan con el aumento de la ansiedad y la depresión.
Las señales de alarma ya están a la vista porque la
adicción digital ya no se mide con “likes”, sino en la dependencia de una
conversación simulada. En EE.UU. varias demandas colectivas apuntan a TikTok y
Meta por fomentar conductas compulsivas y agravar problemas de autoestima. En
Japón y otros países, el aislamiento y la dependencia tecnológica se asocian al
aumento del suicidio adolescente.
Lo más inquietante es que tras la revolución de los
grandes modelos de lenguaje, ya asoma una nueva generación de IA, los llamados
Large World Models (LWM). No están diseñados para escribir o conversar como los
LLM actuales, sino para recrear el mundo físico. Google, Meta o Nvidia
experimentan con estas realidades capaces de anticipar cómo se mueve un objeto,
entrenar a un robot para agarrar un vaso sin romperlo o dotar a un coche
autónomo de la intuición para frenar antes de que un niño cruce la calle. Esta
tecnología multiplicará el alcance de la IA porque no influirá solo en lo
digital, sino en el mundo que habitamos. Y si los LLM nos obligan a discutir
sobre sesgos y alucinaciones, los LWM nos impondrán un repertorio distinto de
dilemas.
Todo esto evidencia que no enfrentamos un problema técnico, sino ético.
La industria de la IA privilegia la velocidad, la captura de datos y la
creación acelerada de nuevas realidades, por encima de la seguridad y la
intimidad. Y ahora, con los LWM, ese inquilino digital deja de estar solo en la
pantalla y empezará a mudarse a la casa física que compartimos, por ejemplo, un
robot que acomode los muebles según patrones de consumo que alguien pagó por
imponer, un coche que elija rutas no por seguridad sino por publicidad, o una
cocina inteligente que prepare alimentos para “combatir” nuestras enfermedades,
decidiendo por nosotros qué podemos o no comer.
Ello también se magnifica con la “deuda cognitiva” término que se
desprende de un estudio con 54 usuarios, Your Brain on ChatGPT, publicado este
año por los investigadores de las universidades de Harvard, Michigan, la
californiana Riverside y la Universidad de Viena. El estudio demostró que
quienes redactaban textos con ayuda de un modelo generativo activaban menos las
áreas cerebrales asociadas al esfuerzo cognitivo y que esos usuarios recordaban poco o nada de lo escrito.
Los autores argumentaron que delegar el pensamiento debilita el músculo
interior que lo sostiene.
Esa fragilidad también la admiten
quienes construyen esta tecnología. Oriol Vinyals, una de las mentes más influyentes de Google DeepMind,
advirtió que esta revolución de la IA es diez veces mayor que la industrial y
demasiado rápida para la comprensión humana. Lo ilustró con un ejemplo que
parece banal, como la palabra “strawberry”, al explicar que los modelos más
avanzados fallan al contar cuántas letras “r” contiene. Explicó que los modelos
fallan no porque no sepan leer, sino porque predicen y no razonan. Para ellos,
strawberry no es una palabra completa, sino un conjunto de tokens, fragmentos
estadísticos sin sentido propio. No cuentan letras; calculan probabilidades, no
verifican
ni comprueban.
Lo que señala Vinyals no es un tropiezo trivial, sino una señal de
opacidad estructural. Por ello pidió que se debiera avanzar con lentitud para entender mejor los mecanismos y medir los efectos. No obstante, por cuestión de competencia, lamentó que a las empresas les resulta difícil desacelerar.
Ese vértigo tecnológico tiene un reverso. No siempre proviene de los
laboratorios; muchas veces lo provocan los medios, con titulares desmedidos y
promesas que alimentan la ansiedad del mercado. Juan Ignacio Cirac, director de
la División Teórica del Instituto Max Planck de Óptica Cuántica de Alemania,
lleva años advirtiendo que la computación cuántica vive una burbuja creada por
expectativas infladas. Recuerda que aún no existe un ordenador cuántico capaz
de resolver los problemas que se le atribuyen y que ignorar esa distancia entre
el deseo y la realidad solo añade presión a quienes investigan con rigor.
Sus palabras dialogan, de algún modo, con la cautela de Oriol Vinyals,
cuando pide frenar el ritmo para entender lo que estamos construyendo. Entre
esa urgencia que empuja el mercado y la prisa que imponen los medios y
periodistas, a veces olvidamos que la ciencia necesita tiempo para pensar, corregir,
descubrir qué problemas vale la pena resolver y cómo hacerlo sin sacrificar el
juicio ante la velocidad.
En este fenómeno de aceleración tecnológica, aparece algo aún más
inquietante.
Rafael Yuste, neurocientífico de la Universidad de Columbia, cofundador
de la Brain Initiative e impulsor del movimiento global por los neuro derechos,
advierte que estamos entrando en la era de la aumentación mental. Habla de
implantes e interfaces capaces de reforzar la memoria, modular emociones o
ampliar la atención. Pero aclara que el riesgo no está solo en el hardware,
sino en los algoritmos que podrían leer o influir la actividad cerebral sin que
lo advirtamos. Por eso sostiene que toda intervención sobre el cerebro debe
someterse a los mismos principios que un trasplante o un tratamiento
experimental.
La inquietud de Yuste es clara. La tecnología llegará antes de que
estemos preparados y, si dejamos que sistemas opacos interactúen con la esencia
de quienes somos, podríamos permitir que modelos sin sensibilidad ética
intervengan en nuestra identidad.
Sesgos, alucinaciones y desconfianza
Reducir la IA solo a sus riesgos sería miope. Este
mismo inquilino que aprende nuestros prejuicios también es un aliado sin
precedentes. En una mamografía puede detectar patrones que un ojo humano
pasaría por alto, dándole a una madre tiempo valioso contra el cáncer.
AlphaFold, de DeepMind, resolvió el enigma del plegamiento proteico, un desafío
que atormentó a la biología durante 50 años y que llevó a sus creadores, Demis
Hassabis y John Jumper, a recibir el Premio Nobel de Química en 2024.
Sin embargo, el desafío no es elegir entre el
inquilino vigilante y el inquilino salvador, sino ser conscientes de esta nueva
realidad que seguirá creciendo e influenciando nuestras vidas.
Hay que tener en cuenta que la IA no es objetiva ni
está libre de prejuicios humanos. Con datos sesgados y sin supervisión crítica,
puede convertirse en una herramienta de opresión de alta tecnología. Por
ejemplo, Amazon tuvo que desechar una herramienta de reclutamiento porque
discriminaba a las mujeres. El software COMPAS del Poder Judicial de EE.UU.
falló con frecuencia al considerar a las personas negras más propensas a
reincidir en delitos. Algo similar ocurrió con diagnósticos médicos entrenados
con pacientes blancos que no detectaban enfermedades en minorías étnicas.
Además, la IA tiene el hábito de inventar, de
alucinar. No miente con malicia, pero sus ficciones pueden ser tan dañinas como
la desinformación más intencional. Cuando los modelos carecen de datos no dicen
“no lo sé”, sino que fabrican una respuesta plausible y la ofrecen con
seguridad absoluta.
Estas alucinaciones son especialmente peligrosas
cuando se le confía el rol de consejero en salud o terapeuta en salud mental.
Peor aún, cuando más allá de lo individual, se convierten en un problema social
y cultural. Las campañas electorales, ya intoxicadas por microsegmentación y
fake news, ahora suman audios y videos capaces de clonar rostros y voces. En
2024, un deepfake de Joe Biden intentó desmovilizar votantes en New Hampshire;
en India, grabaciones falsas atribuidas a Narendra Modi inundaron las redes y
provocaron remezones en el poder.
El combo de sesgos y alucinaciones abre la puerta a la desinformación y
la manipulación electoral, con lo que se crea mayor desconfianza. Esta crece
aún más con el auge de contenidos inhumanos retroalimentados por algoritmos.
Sam Altman, director de OpenAI, reconoció en 2025 que gran parte de lo que
circula en redes ya no proviene de personas, sino de máquinas que conversan
entre sí, lo que llamó la “internet muerta”. Hoy existen bots que fabrican
memes absurdos, reseñas falsas, debates prefabricados por algoritmos que
ensucian el debate político.
Ante estos episodios, la confianza ciudadana se
derrumba. Cuando los ciudadanos dejan de creer en la veracidad de la
información, dejan también de creer en las instituciones. Latinobarómetro
muestra que apenas un tercio de los latinoamericanos confía hoy en la
democracia. Un informe de IDEA Internacional de septiembre de este año eleva el
problema a 94 países en los que la democracia declinó por noveno año
consecutivo, con daños directos a la prensa, la independencia judicial y la
credibilidad electoral.
Esa desconfianza alcanza también a las profesiones que
sostienen la democracia, como el periodismo, la justicia y la política. La
pregunta apabulla: ¿qué tipo de sociedad podemos construir si la gente descree
de la misión de los medios de supervisar al poder, de los jueces de administrar
equidad y de los políticos de negociar con diplomacia?
Para contrarrestar la desconfianza, el desafío es sembrar
de confianza a la IA.
El progreso nunca fue indoloro. A comienzos del siglo
XIX los ludistas rompían telares por miedo a perder su oficio y, un siglo
después, la mecanización desplazó a millones, pero abrió paso a fábricas como
las de Henry Ford que hicieron del automóvil un bien de consumo masivo y
multiplicaron productividad y salarios.
Esa tensión entre miedo y oportunidad se repite hoy
con la IA.
Según el Fondo Monetario Internacional (FMI), cerca
del 40% del empleo global está expuesto a la automatización, cifra que sube al
60% en economías avanzadas. Desaparecerán millones de puestos rutinarios, pero
surgirán ocupaciones que hoy no imaginamos. El economista David Autor recuerda
que el 60% de los trabajos actuales no existían en 1940 y, ahora con la revolución
digital emergieron nuevos profesionales como desarrolladores de software,
gestores de redes sociales o especialistas en marketing en línea.
La materia prima de esta transformación digital son
los datos. Pero si estos amplifican la discriminación y los sesgos lo que
estará en juego es la democracia misma. En esta ecuación se aprecia claramente
que el progreso tecnológico debe estar unido al progreso económico, ya que, sin
datos gobernados con equidad y ética, la IA amplificará la desigualdad en lugar
de reducirla, como advierte Kristalina Georgieva, directora del FMI.
No obstante, lo que sí es diferente hoy con la IA
respecto a otras revoluciones anteriores, es que, pese a los riesgos, hay mayor
conciencia para actuar con rapidez. Tras la revolución industrial la humanidad
celebró la innovación, pero recién después de sufrir las consecuencias
(explotación laboral y contaminación) aparecieron las primeras leyes laborales
y sobre medio ambiente. Hoy los tiempos son más breves. Poco tiempo después de
que en 2016 sucedieron los escándalos del referéndum del Brexit en el Reino
Unido y de Cambridge Analytica en EE.UU., comenzó a discutirse regulaciones
como el Reglamento General de Protección de Datos (GDPR) en Europa.
Esa conciencia, sin embargo, convive con las
dificultades propias de la adopción tecnológica. Un informe del MIT de abril de
2025 reveló que el 95% de los proyectos piloto de IA generativa en empresas
fracasan y solo un 5% logra integrarse en los procesos de negocio. Hoy
predomina la desconfianza, ya que las organizaciones temen ceder sus datos y
delegar decisiones. Pero no es una realidad inamovible, como ocurrió en las salas
de Redacción de los medios con la transición de las máquinas de escribir a las
computadoras. Lo que hoy se mira con recelo mañana será parte inseparable del
trabajo, siempre que llegue acompañado de mayores medidas de seguridad.
Conviene además marcar una diferencia para que la IA
no se confunda con una burbuja tecnológica pasajera como las empresas .com a
principios de siglo. Entonces fueron los capitales especulativos los que
inflaron expectativas que luego se desmoronaron. La IA, en cambio, nació de
abajo hacia arriba, primero fue abrazada por la gente común, como ocurrió con
las redes sociales, y solo después se expandió al mundo corporativo. Esa
secuencia invierte el patrón histórico y explica por qué esta vez la adopción difícilmente
se evaporará, sino que se profundizará.
De esa tensión entre la conciencia regulatoria y la
resistencia inicial de las organizaciones surgieron también mecanismos
positivos. Un ejemplo fueron las cajas de arena (sandbox) regulatorias, donde
startups prueban sus sistemas bajo supervisión oficial. El Reino Unido fue
pionero y la Ley de IA de la Unión Europea las convirtió en una obligación.
Cada Estado miembro debe habilitar al menos un sandbox, como ya lo aplican
España y Francia en salud y servicios financieros.
El AI Act europeo del 2021 es un avance. Fija estándares
comunes, obliga a la transparencia en sistemas de alto riesgo y marca un camino
que otras regiones podrían seguir. Pero también comete excesos, como a través
del “Chat Control” que plantea debilitar el cifrado de la mensajería con el
objetivo de escanear contenidos privados en la lucha contra la pornografía
infantil. Los críticos argumentan que esta medida de vigilancia estatal
erosiona la privacidad de millones de personas. A esta
preocupación se suman los excesos corporativos. Un ejemplo es Microsoft Recall,
función de Windows 11 que captura y archiva automáticamente lo que aparece en
pantalla. Tras las críticas, la compañía la convirtió en opcional y encriptada,
pero expertos en seguridad y aplicaciones como Signal o Brave advierten que
sigue vulnerando la privacidad al poner información sensible de los usuarios a
poca distancia de los ciberdelincuentes.
Lo más importante es que las políticas empresariales
se conviertan en estándares de toda la industria y generen confianza pública,
asegurando que la intimidad digital se respete con el mismo celo con que se
protege la inviolabilidad del domicilio físico. Para lograrlo se necesitan
incentivos y sanciones, desde compras públicas que prioricen a los proveedores
con buenas prácticas hasta beneficios fiscales sujetos a auditorías
independientes, etiquetas claras sobre el origen del contenido y castigos firmes
frente a los incumplimientos. La presión de consumidores e inversores puede
reforzar este camino con campañas, boicots, reseñas negativas o exigencias en
las juntas de accionistas que obliguen a rendir cuentas.
La responsabilidad no recae solo en gobiernos y
empresas, también en los usuarios. Las lecciones de la era de las redes
sociales siguen vigentes y conviene recordarlas. Entre ellas, verificar
fuentes, contrastar afirmaciones y tratar las respuestas de la máquina como
borradores en lugar de certezas.
En última instancia, alfabetizar en el siglo XXI no
significa únicamente enseñar a manejar herramientas digitales. Implica
impregnar de ética las aulas, las empresas, los parlamentos y los laboratorios.
El progreso económico medido en productividad y empleo no se sostiene sin
progreso democrático que garantice derechos y confianza, y ambos dependen de un
progreso tecnológico guiado por valores.
Una IA sin ética puede resultar tan corrosiva como una
economía sin equidad o una democracia sin contrapesos.
Para entender mejor el futuro de la IA conviene mirar
las dos visiones que hoy existen y que, a pesar de parecer irreconciliables, podrían
dejar de lado sus intereses y conciliarse por amor al usuario.
De un lado está el Altruismo Eficaz (EA), con raíces
en la ética utilitarista y promovido por académicos como William MacAskill y
Nick Bostrom en Oxford. Este movimiento advierte que la IA encierra riesgos
existenciales y reclama una evolución lenta, con regulaciones estrictas que
aseguren su alineación con valores humanos. Acusado de pesimismo, logró
instalar la seguridad en la agenda pública y dar origen a laboratorios como
Anthropic, concebidos desde el inicio con ese propósito.
En el otro extremo aparece el Aceleracionismo (ACC).
Sus defensores desestiman las alarmas y sostienen que la única salida a los
grandes desafíos de la humanidad es acelerar sin frenos hacia la singularidad
tecnológica. Con impronta libertaria y figuras como el inversor Marc
Andreessen, autor del Techno-Optimist Manifesto, confían en que el mercado, más
que la regulación, conducirá a los mejores resultados.
Entre ambos polos se abre un camino intermedio, una
visión pragmática que busca equilibrar innovación y responsabilidad, sin caer
en parálisis ni en temeridad. Es la que inspiró la Ley de IA de la Unión
Europea de 2024 y la que sostienen filósofos como Shannon Vallor, de la
Universidad de Edimburgo, y Luciano Floridi, de Oxford y Yale, defensores de
una ética aplicada, verificable y culturalmente plural.
En este tablero ideológico, las grandes tecnológicas
no son meros espectadores. Se alinean, explícita o implícitamente, con una de
estas corrientes. Google exhibe un discurso cercano al altruismo eficaz,
publica principios éticos desde 2018 y ha impulsado herramientas de
transparencia como las Model Cards, fichas técnicas con información sobre datos
de entrenamiento, limitaciones, sesgos y usos apropiados. También practica el
Red Teaming para detectar vulnerabilidades antes de un lanzamiento. Sin embargo,
la competencia con OpenAI empuja a Google hacia una lógica aceleracionista y
viceversa, como podemos ver entre los avances y nuevos modelos de IA que
periódicamente lanzan al mercado.
Meta es el caso más abiertamente optimista. Libera sus
modelos LLaMA como código abierto y defiende que la democratización de la IA
pasa por correr más rápido que todos. Amazon y Microsoft juegan en otra liga,
menos filosófica y más pragmática, dominando la infraestructura de nube y chips
que sostiene a la IA, con la aceleración que el mercado exige. OpenAI, nacida
bajo el espíritu del altruismo eficaz, se convirtió en un híbrido, al enarbolar
la bandera de la seguridad, aunque avanzando con la velocidad de quien sabe que
frenar es perder.
El contraste con China es aún más nítido. Compañías
como ByteDance, Baidu, Alibaba y Tencent no participan en debates sobre riesgos
existenciales. Su aceleracionismo responde a la lealtad al Estado. La
innovación se subordina a los objetivos estratégicos del Partido Comunista, que
concibe la IA como arma económica, cultural y militar.
Tras el choque entre altruistas y aceleracionistas,
las empresas buscan dar buena imagen mientras esquivan el fondo del problema.
La estrategia más común es el “ethics washing”, una ética de apariencias que
funciona como blindaje frente a las regulaciones.
Mientras gobiernos y organismos intentan construir los
“guardarraíles” externos para la IA, la batalla por la responsabilidad dentro
de las propias corporaciones sigue otra lógica. Muchas adoptaron el discurso
ético como estrategia de relaciones públicas. Sin embargo, Google disolvió su
consejo de ética de IA, ATEAC, apenas una semana después de anunciarlo. Meta
impulsó su Oversight Board para moderar contenidos, pero sin autoridad sobre el
desarrollo de sus productos de IA ni sobre el impacto de sus algoritmos en la
sociedad.
Los críticos argumentan que la ética solo es efectiva
si tiene consecuencias. Sin auditorías independientes y sin responsabilidad
legal, la autorregulación termina siendo una farsa, una forma sutil de ocultar
los fallos del sistema.
Uno de los contrapesos de esta “ética de la vidriera”
es, a veces, la conciencia de un solo individuo, la del whistleblower o
el soplón. Son los guardianes incómodos, los anticuerpos de la opacidad, que
aparecen cuando el poder corporativo se embriaga de secretismo. Desde el
“garganta profunda” de Watergate hasta las filtraciones de Edward Snowden sobre
vigilancia masiva, los soplones vienen cumpliendo un papel importante.
Uno de los casos más notables fue el de Frances
Haugen, la científica de datos que reveló documentos internos de Facebook
mostrando que la empresa sabía que Instagram era tóxico para las adolescentes y
que su algoritmo amplificaba el odio para maximizar la interacción. En Twitter,
su jefe de seguridad, Peiter Zatko, denunció fallas que volvían a la plataforma
un blanco fácil para gobiernos extranjeros. En Google, Timnit Gebru, una de las
voces más respetadas en ética de IA, fue despedida tras publicar un estudio
crítico sobre los grandes modelos de lenguaje. En ese mismo entorno, Meredith
Whittaker, hoy presidenta de Signal, se consolidó como figura crítica al
organizar en 2018 una protesta interna de empleados contra la postura de Google
en ética de IA, armamento y acoso laboral.
Esos casos muestran que las advertencias más valiosas suelen venir de
dentro de las big tech y, aunque no existe una “Ley de Whistleblowers
Tecnológicos”, los denunciantes están amparados por normas contra el fraude
corporativo. Una empresa que cotiza en bolsa no puede ocultar el impacto de sus
algoritmos ni la seguridad de sus datos sin exponerse a demandas de
accionistas. Bajo esa lógica, los soplones se apoyan en dos de las leyes más
poderosas de EE.UU., la Sarbanes-Oxley (SOX), que los protege de represalias, y
la Dodd-Frank, que además ofrece recompensas económicas.
Ética en el código
Después de las apariencias y del ethics
washing, el verdadero desafío es que la ética deje de ser discurso y se
convierta en práctica. No alcanza con declaraciones ni con la valentía de unos
pocos denunciantes. La ética solo funciona cuando se incrusta en el diseño
tecnológico mismo. Ese paso de lo aspiracional a lo operativo requiere marcos
colectivos que traduzcan valores en código y en procedimientos verificables.
En este sentido, hubo referentes
clave. Uno fue la Conferencia de Asilomar sobre IA Beneficiosa, convocada por
el Future of Life Institute en 2017 en California. Más de un centenar de
investigadores, filósofos y desarrolladores acordaron 23 principios para guiar
la IA hacia un futuro seguro y humano. Entre los apoyos públicos destacaron
Stephen Hawking, Elon Musk y Yoshua Bengio. Su mayor valor fue aspiracional,
pero abrió el camino a debates como la Recomendación de la UNESCO de 2021 y
regulaciones posteriores.
También lo fue el Inventario
Global de Directrices Éticas sobre IA, publicado en 2020 por AlgorithmWatch
en Berlín, que compiló más de 160 marcos y sirvió como radiografía de un
consenso incipiente. Esa acumulación de principios empezó a traducirse en
normas. La Ley de IA de la Unión Europea y la Carta de Derechos de la IA en
Estados Unidos mostraron que la presión ética puede transformarse en política
pública.
Casos como la ley de transparencia
de IA en California, que obligará a identificar contenidos generados por IA
desde 2026, muestran avances concretos, aunque limitados. Pero el escenario
cambió a principios de este diciembre, cuando el presidente Donald Trump
anunció una orden ejecutiva que establecerá un marco regulatorio federal único
para la IA, con la intención de dejar sin efecto muchas de las normas estatales
que comenzaron a surgir en distintos puntos del país. El argumento es que un
mosaico de cincuenta reglas distintas podría frenar la innovación y crear un
clima de incertidumbre para las empresas que desarrollan modelos de IA.
Habrá que estar atentos para ver si esa
uniformidad incorpora un marco ético capaz de acompañar esta revolución, como
el que propongo en este ensayo, o si terminará siendo un movimiento que solo
favorezca la carrera tecnológica entre las grandes compañías.
Mientras esa tensión se define, el
terreno técnico sigue avanzando por su cuenta.
La estandarización técnica progresa
con normas como la ISO/IEC 42001, publicada en 2023, el primer estándar mundial
para sistemas de gestión de IA. Esta norma, elaborada por la Organización
Internacional de Normalización y la Comisión Electrotécnica Internacional,
ofrece un marco para que las empresas desarrollen y usen la IA de manera
responsable, auditando su transparencia, seguridad y respeto a la privacidad.
En la práctica, funciona como un “sello de calidad” que no solo permite evaluar
la robustez de un modelo, sino que también ofrece ventajas competitivas a
quienes demuestran cumplir con esos principios.
En el debate sobre la ética en el
diseño de la IA suele surgir la objeción recurrente de que una máquina jamás
podrá incorporar valores humanos porque solo reproduce cálculos. Sin embargo,
Christof Koch, uno de los neurofisiólogos más influyentes del mundo, ha
cuestionado esa idea. Desde su trabajo en el California Institute of Technology
y el Allen Institute, sostiene que la conciencia no es un privilegio
exclusivamente biológico, sino una propiedad emergente de sistemas capaces de
integrar información de manera profunda y organizada. Su apoyo a la Integrated
Information Theory no afirma que las máquinas actuales sean conscientes, pero
sí amplía el marco conceptual. Permite pensar en sistemas artificiales que no
solo procesen datos, sino que desarrollen formas internas de coherencia,
autoevaluación y restricción.
Esta visión, lejos de la ciencia
ficción, abre una vía para imaginar modelos en los que la ética no sea un
accesorio añadido, sino una condición estructural de la arquitectura. Koch no
habla de “alma”, pero sí revela que la frontera entre lo funcional, lo
filosófico y lo moral es más porosa de lo que creemos. Si ciertos rasgos de la
conciencia dependen de la integración profunda de información, entonces es
plausible imaginar sistemas artificiales donde la ética forme parte de la
arquitectura, sin necesidad de atribuirles conciencia.
Ante esta realidad planteada, es
válida la pregunta sobre qué parte de la experiencia humana puede realmente
trasladarse al código.
Ignacio Morgado, catedrático de
Psicobiología y director del Instituto de Neurociencias de la Universitat
Autònoma de Barcelona, sostiene que el hecho de que no podamos desmenuzar la
experiencia consciente no impide programar sistemas que respeten principios
éticos. Explica que la mente humana es opaca porque no podemos acceder
directamente a sus vivencias ni reducirlas a un conjunto de mecanismos
observables. Esa limitación, según él, no invalida la posibilidad de construir
reglas morales en máquinas que actúan sin conciencia, porque la ética pertenece
al ámbito normativo y no al de la experiencia interior.
Esto demostraría que las máquinas no
necesitan imitar la biología humana para comportarse de manera ética, del mismo
modo que nosotros no necesitamos comprender cada rincón de nuestro propio
cerebro para vivir según principios morales.
Respecto a la conciencia, Antonio
Damasio, una de las figuras centrales de la neurociencia contemporánea y
director del Brain and Creativity Institute de la University of Southern
California, profundiza aún más sobre lo que plantea Morgado. Damasio sostiene
que la conciencia no emerge de integrar información de manera abstracta, sino
del cuerpo que siente, del tejido biológico que registra dolor, placer,
vulnerabilidad y deseo. Una máquina podrá razonar y reconocer patrones, pero
nunca experimentará el temblor que convierte una percepción en experiencia.
Esto viene a colación de que, cuando hablo de “dotar de alma a la IA”,
no propongo imitar la conciencia humana ni reproducir la experiencia interior,
sino algo más sobrio y posible, que la arquitectura de la IA incorpore un
criterio ético que oriente sus decisiones.
Esta idea converge con el trabajo del profesor Stuart Russell, uno de
los fundadores de la inteligencia artificial moderna y catedrático de Ciencias
de la Computación en la Universidad de California en Berkeley. Russell habla
desde el núcleo técnico del sistema, no desde la filosofía moral. Desde hace
años insiste en que la seguridad y la ética no son límites externos al
desarrollo de la IA, sino propiedades que pueden formularse y programarse. Ha
demostrado que es posible traducir objetivos humanos, incertidumbre y
restricciones éticas en reglas matemáticas que guíen el comportamiento de
sistemas inteligentes sin necesidad de conciencia.
Christof Koch, uno de los neurocientíficos más influyentes del estudio
contemporáneo de la conciencia y presidente del Allen Institute for Brain
Science, ha sido claro al trazar una frontera. Sostiene que la conciencia
humana es un fenómeno biológico específico, ligado a estructuras y procesos del
cerebro que hoy no pueden replicarse en una máquina. Pero esa imposibilidad,
advierte, no exime a la IA de actuar dentro de límites morales. La ética, a
diferencia de la conciencia, no depende de sentir, sino de respetar reglas.
Christof Koch y Stuart Russell
coinciden en que la ética puede programarse, convertirse en fundamento, no en
un accesorio decorativo.
Estas discusiones sobre arquitectura
ética encuentran un eco inesperado en otro frente, en la epistemología misma de
la IA. Teppo Felin y Matthias Holweg, profesores de la Universidad de Oxford,
advierten en sus estudios que los modelos generativos no producen teoría, sino
que repiten patrones del pasado sin comprenderlos. Ponen de ejemplo que si se
entrenara a una IA con todos los textos previos a 1633 concluiría que el Sol
gira alrededor de la Tierra o si se alimentara solo con datos anteriores a 1903
afirmaría que el vuelo humano es imposible.
Este punto de vista lleva a pensar
que la ética no debiera surgir de los datos, que siempre miran hacia atrás,
sino del razonamiento humano, que imagina lo que aún no existe y que tiene la
capacidad de anticipar las consecuencias.
El desafío es que cumplir con estos
postulados resulta mucho más sencillo para las big tech, con bolsillos
profundos y equipos legales que para las pequeñas y medianas empresas, a las
que les resultaría un lujo cumplir con esos estándares.
Para responder a ese desafío surgió
un atajo, la idea de la “gobernanza como servicio”. Ya varias consultoras y startups
ofrecen auditorías y certificaciones externas, mientras el mercado financiero y
las aseguradoras empiezan a condicionar inversiones o coberturas a evaluaciones
de riesgo algorítmico. Gigantes como Accenture o IBM ofrecen estos servicios y startups
como Credo AI desarrollan tableros que auditan modelos y funcionan como señales
de confianza para inversores y clientes.
El paso más prometedor ocurre en el
propio código. Allí surgió la idea de la IA constitucional (Constitutional
AI, CAI), presentada en 2022 por Anthropic, un laboratorio fundado por
exintegrantes de OpenAI. Su objetivo es enfrentar el llamado Problema de
Alineación y garantizar que un modelo de IA actúe conforme a los valores
humanos y no en contra de ellos.
La IA constitucional propone
entrenar a los modelos con una “constitución” de principios predefinidos,
inspirados en la Declaración Universal de Derechos Humanos y en códigos éticos
reconocidos. El método combina dos fases. En la primera, el modelo practica la
autocorrección, revisando y ajustando sus propias respuestas según esos
principios. En la segunda, el aprendizaje ocurre por comparación, ya que elige
entre distintas respuestas aquella que se ajusta mejor a su constitución. De
esta manera se busca que el modelo incorpore conductas alineadas y reduzca
sesgos o riesgos de daño.
Esto no significa que los valores
queden incrustados en todas sus capas ni que desaparezca la necesidad de
supervisión humana. La CAI funciona más bien como un marco escalable que ayuda
al modelo a internalizar principios éticos básicos y a usarlos como guía. Por
eso incluso Anthropic subraya que la técnica debe complementarse con
participación humana y con regulaciones externas en áreas críticas como la
medicina o la justicia.
Aun así, no existe una fórmula
única. Ni la auditoría más rigurosa ni la arquitectura más transparente
resuelven por sí solas el problema de fondo. Lo que empieza a dar resultados es
la combinación de principios convertidos en leyes, auditorías externas que
condicionan financiamiento o seguros, y técnicas como la IA constitucional que
trasladan la ética al razonamiento de los modelos.
No se trata de una utopía lejana. Ya
en 2018 Google publicó siete principios para guiar el desarrollo de la IA,
entre ellos que fuera socialmente beneficiosa, que evitara sesgos injustos, que
priorizara la seguridad y la privacidad, que respondiera ante las personas y
que, sobre todo, no se aplicara a armas ni tecnologías de vigilancia que
violaran los derechos humanos.
Pilar Manchón, directora de
Estrategia de IA en Google, insistió en que la compañía “siempre ha antepuesto
la seguridad a la velocidad” y que esos principios definen el marco de
innovación responsable. Lo expresado por Manchón muestra que los gigantes tecnológicos
reconocen la necesidad de incorporar valores desde el código.
En última instancia, el avance real
ocurre cuando la ética deja de ser una declaración retórica y se convierte en
un requisito de diseño, en un costo asumido por las empresas y en una garantía
de confianza pública.
Así como en el mundo corporativo conviven visiones
distintas sobre cómo avanzar con la IA, también a escala global se abre una
fractura en dos andariveles. De un lado está el modelo estadounidense, centrado
en el mercado y las corporaciones. Del otro, el modelo chino, subordinado al
Estado y a sus objetivos estratégicos. Esa competencia marca el rumbo de la
tecnología y condiciona el debate ético.
En esta geopolítica dual, cada potencia busca imponer
su modelo tecnológico como reflejo de su poder y de su cultura.
Lo comprobé en las Cumbres de la Sociedad de la
Información (CMSI, Ginebra 2003, Túnez 2005), donde vi lo difícil que es forjar
consensos globales. Ese proceso se benefició de la era post Guerra Fría, sin un
verdadero contrapeso al modelo occidental de un internet abierto. No fue lo
mismo en 1980, cuando el Informe MacBride se convirtió en un campo de batalla.
El Movimiento de Países No Alineados reclamaba un “Nuevo Orden Mundial de la
Información” para proteger su soberanía frente al dominio mediático occidental,
mientras EE.UU. defendía la “libre circulación de la información” como antídoto
contra la censura.
Hoy esa correlación está trastocada por la competencia
entre EE.UU. y China. La nueva guerra no se libra con misiles, sino con
microchips, en la pugna se busca controlar la infraestructura del futuro.
Washington asume que la innovación tecnológica es un arsenal geopolítico y ha
tejido una alianza con sus gigantes digitales.
La disputa también se libra en los recursos físicos.
La dependencia occidental de las tierras raras controladas por China ha
desatado una carrera por materias primas. El interés por Groenlandia o Ucrania
ya no es anecdótico, forma parte de un tablero en reconfiguración. Un símbolo
de estas tensiones es TikTok, la aplicación china que conquistó a la juventud
occidental y despertó la reacción de Washington en nombre de la seguridad
nacional, solo atenuada cuando compañías estadounidenses compartieron su propiedad.
El episodio de TikTok muestra que no se trata de una
lucha pura entre naciones, sino de un entramado de intereses cruzados. En este
contexto, cada potencia exporta su modelo de IA. EE.UU. ofrece el suyo, centrado
en el mercado, y China otro, basado en el control estatal.
La fractura geopolítica es el principal obstáculo para
una regulación global. En ausencia de un marco común, la responsabilidad recae
en bloques regionales y en cada nación, como escribió Thomas L. Friedman en The New York
Times el 4 de septiembre de 2025. La IA obligará a EE.UU. y China a
competir y cooperar al mismo tiempo. La falta de confianza mutua podría derivar
en autosuficiencia, en “autarquías digitales”, donde cada país encierre su IA
tras muros normativos incompatibles. Friedman asegura que ese escenario
aumentaría la desconfianza y el riesgo colectivo.
Con filosofías distintas, EE.UU. y China aún pueden
hallar coincidencias útiles. Así ocurrió en las Cumbre de la Sociedad de la
Información, donde un diálogo inclusivo permitió avanzar. Evitar una nueva
guerra fría tecnológica exige pragmatismo. Cooperar en ciberseguridad, diseñar
protocolos para reducir errores críticos en salud, transporte, finanzas o
ambiente, o frenar la carrera armamentista en IA militar, no son gestos
idealistas, sino necesidades prácticas.
Los ejemplos de entendimiento están al alcance. Auditar algoritmos en
infraestructuras críticas, adoptar estándares comunes de ciberseguridad o
reconocer certificaciones técnicas en sectores estratégicos son pasos
concretos. También lo es impulsar la investigación conjunta en salud, desde el
desarrollo de vacunas hasta la detección temprana de pandemias, o en energía,
aplicando IA para optimizar redes eléctricas y reducir el consumo de los
centros de datos. Si bien ninguna de estas coincidencias eliminaría la
rivalidad, abriría un canal de confianza indispensable.
Europa, en cambio, aparece rezagada. Aunque dio ejemplo con su pionera
regulación, carece de un campeón tecnológico que compita con Silicon Valley o
Pekín. Rusia, antes potencia científica, se limita a explotar el ciberespacio
más que a crear modelos generativos. En ese vacío emergen iniciativas como
Mistral en Francia o Falcon en Emiratos Árabes Unidos, que apuestan por el
código abierto.
Para tener una IA más saludable, el futuro no debería depender solo de
dos superpotencias. La innovación tendría que estar menos concentrada y
nutrirse de un ecosistema plural y diverso.
Líneas rojas globales
Mientras insisto en que lo esencial es incrustar
principios éticos en el código mismo de la inteligencia artificial, no puedo
ignorar que, en paralelo, los Estados y la ONU avanzan por otra vía, la de las
líneas rojas, regulaciones que buscan fijar desde afuera lo que los
desarrolladores todavía no han garantizado desde adentro.
Este setiembre de 2025, más de doscientos científicos,
empresarios y líderes políticos, entre ellos diez premios Nobel y varios
ganadores del Premio Turing, presentaron en la Asamblea General de Naciones
Unidas un llamado urgente a establecer líneas rojas en la inteligencia
artificial. La propuesta reclama un tratado internacional vinculante antes de
2026 que prohíba usos considerados inaceptables, como la creación de armas
letales autónomas, la suplantación de humanos, la vigilancia masiva, la
autorreplicación sin control o la delegación de decisiones nucleares a sistemas
automatizados.
El planteo es necesario y oportuno porque fija
prohibiciones mínimas para evitar que la IA desborde la capacidad de control
humano. Nadie debería discutir que una máquina tenga poder sobre armas, sobre
la manipulación de poblaciones o sobre decisiones críticas de vida y muerte.
Pero las líneas rojas tienen un límite, ya que son marcos externos, fijados por
los gobiernos, que suelen llegar tarde y avanzar despacio. Funcionan como
barrera, pero no transforman la esencia de la IA.
Hoy los avances más recientes confirman la urgencia de
estas alertas. Los llamados agentes de IA, capaces de planificar y ejecutar
acciones en nombre del usuario, ya no son simples asistentes. Pueden tomar
decisiones, suplantar identidades o manipular información con una autonomía que
erosiona la supervisión humana. De ahí que las líneas rojas apunten a prohibir
la autorreplicación sin control, la delegación de poder en sistemas militares o
la suplantación humana.
Ese fenómeno ya no es hipotético. La literatura
técnica habla sin rodeos de una web agéntica, un ecosistema donde los modelos
dejan de ser herramientas pasivas y comienzan a actuar como agentes capaces de
planificar, coordinarse y ejecutar tareas sin supervisión constante.
Investigadores del Oxford Internet Institute describen esta transición como una
reconfiguración profunda de la red. Estudios del MIT y Stanford muestran que
los modelos avanzados pueden negociar, dividir tareas y adaptarse entre sí como
equipos invisibles operando en paralelo. En un informe reciente, Anthropic,
creadora de Claude, documentó un episodio en el que gran parte de un
ciberataque fue ejecutado por agentes automatizados que penetraron sistemas y
redistribuyeron funciones, paso a paso, sin instrucciones humanas.
Lo revelado por Anthropic sugiere un riesgo emergente.
Si estos sistemas continúan ganando autonomía sin límites éticos claramente
incorporados, podrían abrir un terreno inestable donde decisiones críticas se
ejecuten sin supervisión humana efectiva. En un escenario donde los agentes
empiezan a actuar por nosotros, la ética se vuelve una condición de contención
necesaria.
Todas estas señales funcionan como advertencias para
los desarrolladores. Deberían comprender que, si no abordan este tema con
inteligencia, las regulaciones actuarán de manera subsidiaria y podrían
terminar coartando la innovación, el mayor riesgo que estas empresas quieren
evitar.
Las líneas rojas son imprescindibles, pero
insuficientes. Lo urgente es que la ética deje de ser un adorno y se convierta
en parte del ADN de la programación. Que el código mismo impida a la IA rebasar
fronteras dañinas para los humanos. Ahí está la diferencia entre un futuro en
el que la regulación solo reacciona y otro en el que la tecnología nace desde
dentro con un compromiso de no traicionar la dignidad, la autonomía y la vida
humanas.
Por eso, más allá de un tratado de prohibiciones
mínimas, lo que en realidad se necesita es un pacto global que establezca los
valores comunes que luego deben traducirse tanto en regulaciones como en el
código mismo de la tecnología.
Armas autónomas y huella energética
Entre los problemas geopolíticos más graves vinculados a la IA destacan
dos que atraviesan fronteras y generaciones, donde la ética choca con la
innovación. El primero es su uso militar, con la amenaza de armas autónomas
capaces de decidir sobre la vida humana. El segundo es su impacto ambiental,
cuya enorme huella energética reabre el debate sobre la sostenibilidad y el
posible regreso de la energía nuclear.
La guerra en Ucrania y las incursiones rusas en
Polonia demostraron que ya no se necesitan enormes arsenales para librar
batallas decisivas. Los drones, baratos y precisos, se volvieron armas
estratégicas. La OTAN propone sus propios sistemas de defensa con drones e IA.
La conclusión es evidente, la IA no solo abarata la guerra, también redefine la
seguridad global.
En los foros internacionales la presión moral choca
con la lógica estratégica. Desde 2013, la coalición de ONG y académicos “Stop
Killer Robots” exige un veto preventivo a las armas autónomas. Su consigna es
que ninguna máquina debe decidir sobre la vida humana sin control significativo
de una persona. La campaña instaló el tema en la ONU, pero los debates de la
Convención sobre Ciertas Armas Convencionales llevan más de una década sin
acuerdos. Las potencias se escudan en la retórica de la “innovación responsable”
mientras bloquean toda prohibición.
La tensión no se limita a los Estados y atraviesa a
las corporaciones. El caso más emblemático fue Project Maven, contrato del
Pentágono con Google para usar IA en análisis de imágenes de drones. En 2018,
cuando se conoció, miles de empleados firmaron la carta abierta “Google no debe
estar en el negocio de la guerra”. La protesta obligó a la empresa a no renovar
el contrato y a publicar un código de principios donde prometió no desarrollar
armas letales.
El episodio mostró que la ética puede abrirse paso
dentro de las compañías si su personal presiona y actúa a conciencia. Sin
embargo, no toda presión moral logra sus objetivos. El temor es que aparezca un
despliegue exitoso de armas autónomas que desate una proliferación tan
peligrosa como la era de la guerra nuclear.
Estos dilemas militares revelan una brecha entre
quienes diseñan y controlan la tecnología y quienes solo la consumen. En la era
de internet se hablaba de “brecha digital”, hoy asoma una más profunda, la
“brecha de inteligencia”. Ya no se trata de acceder, sino de crear y controlar.
Para regiones como América Latina y África, el riesgo es repetir el patrón
colonial antiguo, el de exportar datos y cultura en bruto e importar productos
de IA a alto costo. Por suerte, algunos países ensayan estrategias propias para
evitar que aumente esa “brecha de inteligencia”. Brasil moviliza inversiones
con su Plan de IA, Argentina discute una ley de transparencia y supervisión
humana y Chile avanza con un modelo de riesgos inspirado en Europa.
Otro de los dilemas geopolíticos que despertó la IA es
su profunda huella energética y la polémica sobre la energía nuclear para
sostener su consumo. Hoy los centros de datos representan cerca del 1,5% de la
electricidad global, y la Agencia Internacional de Energía proyecta que esa
cifra podría duplicarse hacia 2030. The Verge calculó que en un año la
electricidad usada por estos sistemas podría equipararse al consumo de un país
como los Países Bajos. Una simple consulta a un modelo como Gemini gasta lo mismo
que tener encendido un televisor durante nueve segundos, un costo que se
multiplica por millones de interacciones. Más intensivo aún es el consumo en el
entrenamiento; por ejemplo, el desarrollo de GPT-4 requirió la misma energía que
se usó para alimentar ciudades enteras durante días.
Ante este panorama, las grandes tecnológicas exploran
fuentes más estables. Los combustibles fósiles resultan insostenibles y las
renovables, aunque limpias, no garantizan suministro constante. Por eso ha
resurgido la opción nuclear. Jensen Huang, director de Nvidia, la defiende
abiertamente. Microsoft planea usar energía de la planta reactivada de Three
Mile Island desde 2027, Google firmó acuerdos para emplear reactores modulares
en la próxima década y Amazon Web Services invirtió más de 500 millones de dólares
en reactores avanzados.
La apuesta nuclear, sin embargo, carga con el recuerdo
de Chernóbil, Three Mile Island y Fukushima, y con riesgos actuales como la
vulnerabilidad de las cadenas de uranio o la posibilidad de sabotajes.
Los más optimistas creen que el futuro energético no dependerá
solo de la fisión o de la fusión nuclear. La historia de la innovación muestra
que cuando se apostaba por el carbón apareció el petróleo, y cuando parecía que
no había alternativa al silicio, ahora surgió la luz como posible nuevo
combustible. En agosto, un equipo de la Universidad de California en Los
Ángeles (UCLA) publicó en Nature un avance experimental en redes neuronales
fotónicas. Estas utilizan fotones en lugar de electrones para procesar
información, lo que abre la puerta a sistemas miles de veces más eficientes que
los chips actuales. Si prospera, este hallazgo no solo reduciría la huella
ambiental de la IA, sino que también desplazaría la urgencia de soluciones
nucleares como única respuesta a la crisis energética.
El problema es que los ciudadanos comunes no tenemos
posibilidad de medir estos riesgos ni de debatir sobre ellos. Las grandes
corporaciones, por sus intereses, ocultan o no divulgan de forma transparente sus
datos de consumo energético. Esa opacidad agrava la desconfianza y nos deja al
margen de las decisiones más críticas de esta revolución tecnológica.
El secretismo de la industria sobre su huella ecológica no es un caso
aislado. La opacidad se ha vuelto el método por defecto de gran parte de esta
revolución. Frente a esta “caja negra”, la respuesta debe ser un acto colectivo
de defensa para exigir y construir un debate público robusto, informado y
transparente.
Aunque un consenso global vinculante parezca una utopía, el simple hecho
de sentar a gobiernos, empresas, académicos y sociedad civil en una misma mesa,
como ocurrió con la Sociedad de la Información y el internet, ya sería una
victoria. El objetivo no es tanto alcanzar un tratado, sino abrir el proceso a
la luz pública, en lugar de dejar que avance a puerta cerrada.
Algunas iniciativas muestran que es posible. Ámsterdam y Helsinki
publican registros abiertos de los algoritmos usados en sus servicios públicos,
lo que permite a cualquier ciudadano auditar cómo se decide sobre su crédito
social o sus beneficios de salud. Canadá adoptó el Algorithmic Impact
Assessment como requisito previo al uso de IA en la administración pública.
En Estados Unidos, ciudades como Nueva York y San Francisco exigen reportes de
impacto para algoritmos aplicados en vigilancia y contratación laboral. Y en la
Unión Europea ya funciona un registro público de sistemas de alto riesgo que
anticipa lo que impondrá el AI Act. Son experimentos parciales, pero
prueban que la gobernanza algorítmica puede ser tratada como un asunto
democrático y no solo técnico.
Algunos países ofrecen pistas en el terreno educativo. Estonia incorporó
la programación y los principios de la robótica en el currículo escolar desde
la infancia. China, con un enfoque más estratégico que democrático, impulsa la
enseñanza de IA en las escuelas primarias y secundarias. En Estados Unidos,
iniciativas del MIT y de otras universidades buscan que los estudiantes de
humanidades entiendan los algoritmos y que los periodistas aprendan a
cuestionar la tecnología.
Más allá de estos avances alentadores, conviene recordar que la
transparencia no siempre se promueve con la misma voluntad. En ocasiones, la
opacidad no surge de la complejidad técnica, sino de la decisión deliberada de
ocultar información. Este fenómeno, la opacidad agravada, no responde a la
complejidad técnica de los algoritmos, sino a la decisión deliberada de ocultar
información. En América Latina, esta práctica se ha vuelto evidente. Una
investigación periodística —La Mano Invisible de las Big Tech, realizada
por Agência Pública (Brasil), Cuestión Pública (Colombia), Primicias (Ecuador)
y el Centro Latinoamericano de Investigación Periodística (CLIP)— muestra cómo
la falta de regulación del lobby abre la puerta a una influencia desmedida de
estas compañías. Mientras Europa cuenta con marcos sólidos como el AI Act
y el GDPR, en América Latina las big tech aprovechan ese vacío para
moldear políticas públicas a su favor.
A través de asociaciones como la Asociación Latinoamericana de Internet
(ALAI) y la contratación de exfuncionarios —como el expresidente brasileño
Michel Temer por parte de Google—, han logrado bloquear o debilitar proyectos
de ley. En Brasil frenaron la “Ley de las Fake News”, en Colombia la de salud
mental vinculada al internet y en Ecuador la de protección de datos. En todos
los casos, la industria justificó su posición en nombre de la “libertad de
expresión” o de su supuesta inviabilidad financiera, pero quedó claro que lo
que priorizaban eran los intereses comerciales por encima del bien común.
De esta forma, la debida transparencia puede convertir la gobernanza
algorítmica en un asunto democrático y no solo técnico. Al hacerlo, se fomenta
una ciudadanía capaz de entender cómo se distribuyen los beneficios del
progreso y de sostener la confianza en las instituciones frente a algoritmos
cada vez más influyentes. El propósito final es asegurar que la sociedad
conserve la decisión y el protagonismo de esta revolución y que no se le pase
gato por liebre, como tantas veces ocurrió.
La transparencia es también esencial en materia de contenidos. Así como
se exige claridad sobre el uso de algoritmos en ámbitos públicos, resulta
indispensable saber de dónde provienen los datos que alimentan a la IA. Estos
modelos no son autosuficientes y dependen de un insumo clave que es la
creatividad humana. Periodismo, literatura, música, cine y otras expresiones
culturales constituyen la cantera de calidad sin la cual la inteligencia
artificial no podría operar.
De allí surge un debate cada vez más urgente sobre la necesidad de
proteger esa creatividad frente a modelos que se entrenan masivamente con obras
sin autorización ni compensación. Lo que está en juego no es solo un problema
legal, también lo es cultural.
Los conflictos ya se multiplican en diferentes frentes. El New York Times demandó
a OpenAI por utilizar sin licencia su archivo de artículos. En Hollywood, la
huelga de guionistas de 2023 impuso límites al uso de IA en la escritura de
guiones y marcó un precedente global. Y Anthropic,
creadora de Claude, pactó en 2024 un acuerdo extrajudicial de 1.500 millones de
dólares para compensar a escritores, hasta hoy la mayor indemnización en la
historia del copyright.
En América Latina la preocupación también avanza. La Sociedad Interamericana de Prensa
(SIP) incluyó en su Declaración
de Salta II (2024) el principio de que los editores tienen
derecho a negociar una remuneración justa por el uso de sus contenidos por
parte de plataformas y desarrolladores de IA. Con ello, el periodismo, ya
debilitado por la concentración publicitaria digital, busca asegurar que su
trabajo no sea absorbido sin retorno por sistemas que requieren información
verificada y de calidad.
Después de largas disputas, demandas judiciales y una mayor conciencia
pública, las grandes tecnológicas empiezan a reaccionar con acuerdos que,
aunque aún incipientes, marcan una tendencia favorable a reconocer el valor de
los contenidos periodísticos. OpenAI firmó un convenio de más de 250 millones
de dólares con News Corp, además de pactos con Prisa Media en España, Le
Monde en Francia y el Financial Times por entre 5 y 10 millones
anuales. Amazon alcanzó en 2025 un acuerdo con The New York Times para
integrar su archivo editorial en Alexa, incluso tras la demanda del diario
contra OpenAI. Google negocia con más de veinte grupos editoriales para su
modelo Gemini, mientras Meta explora licencias con Axel Springer en Alemania y
con Fox y News Corp en EE.UU. Y hasta Perplexity, el startup respaldado por
Jeff Bezos, lanzó un fondo de 42,5 millones para repartir ingresos con
editores. Aunque todavía son pasos iniciales, muestran que la presión por la
propiedad intelectual empieza a abrirse camino en el corazón del negocio de la
IA.
La industria periodística, sin embargo, prefiere no ilusionarse
demasiado. La memoria reciente recuerda que en la era pre-IA estas mismas
plataformas fueron reacias a cualquier compensación y, en algunos casos,
castigaron a los medios que reclamaban respaldo legislativo para su derecho de
propiedad intelectual. Solo en Australia y, más tarde, en Canadá, asociaciones
de editores lograron acuerdos obligatorios, al igual que en varios países
europeos que avanzaron con directivas de derechos afines. Pero incluso allí,
los beneficios se concentraron en un puñado de grupos dominantes y no
alcanzaron a todos los medios. El temor es que la historia se repita y los
pactos actuales se queden en gestos selectivos más que en un cambio
estructural.
Reconocer y compensar esta dependencia resulta tan crucial como auditar
algoritmos o exigir transparencia. Solo de esa manera será posible sostener un
ecosistema cultural y periodístico que, sin protección, corre el riesgo de
volverse prescindible justo cuando la confianza es un valor que más necesita
fortalecerse.
La transparencia, el pago justo por los contenidos y otros debates sobre
responsabilidad no son asuntos periféricos, sino parte del corazón de esta
discusión. Son recordatorios de que lo humano sigue siendo el verdadero valor
que sostiene a la IA, tanto en su entrenamiento como en la confianza que
despierta.
A la par de estos debates, avanzan intentos de ética que necesitan
profundizarse. En los laboratorios ya se discute la nueva frontera, cuando la
IA deje de ser solo una herramienta conversacional y empiece a actuar de manera
autónoma en el mundo físico y digital. La robótica corpórea en hospitales
plantea dilemas sobre seguridad de pacientes, los vehículos autónomos obligan a
decidir cómo asignar responsabilidades en caso de accidentes y los sistemas que
asisten a jueces o médicos abren preguntas inmediatas sobre quién debe tener la
última palabra. A todo esto, se suma la concentración del poder computacional
en pocas corporaciones y, en el horizonte, la posibilidad de una eventual
superinteligencia.
Antes de hablar de superinteligencia conviene mirar los dilemas que ya
enfrentamos. Investigadores del MIT, Harvard y la Universidad de Chicago
introdujeron en 2023 el concepto de “comprensión Potemkin” para describir a los
modelos que simulan razonar sin comprender. Como las aldeas ficticias que
Grigori Potemkin levantó en el siglo XVIII para impresionar a Catalina la
Grande, estos sistemas construyen fachadas digitales, es decir, pueden explicar
impecablemente un esquema de rima y, sin embargo, fracasar al aplicarlo. No se
equivocan como un humano, con lógica reconocible y corregible, sino de manera
azarosa, lo que genera una amplia brecha entre apariencia y comprensión.
La historia muestra que no es nuevo confundir apariencia con
comprensión. En 1966, Joseph Weizenbaum creó en el MIT ELIZA, un programa que
simulaba a un terapeuta aplicando reglas de sustitución de texto. Su intención
era demostrar lo limitado de la técnica, pero muchos usuarios le atribuyeron
empatía real. El fenómeno se conoció como efecto ELIZA. Sesenta años después
seguimos atrapados en el mismo sesgo. Estudios de la Universidad de Pensilvania
confirman que basta con que un texto use pronombres como “yo” o expresiones
coloquiales para que la gente crea que lo escribió un humano.
Esa confusión entre lo que parece y lo que es no se limita al terreno
cognitivo. También abre la puerta a riesgos muy concretos en el ámbito de la
seguridad digital, donde la IA se convierte en herramienta para el engaño y la
manipulación a gran escala.
La inteligencia artificial también se convirtió en un aliado inesperado
de los ciberdelincuentes. Lo que antes exigía conocimientos técnicos avanzados
hoy se consigue a través de modelos generativos y servicios criminales
empaquetados, con la misma facilidad con que se contrata un software legal.
Según el Informe de Inteligencia de Amenazas (Threat Intelligence
Report) de Anthropic, publicado en 2024, los atacantes ya usan IA en todas
las fases de sus operaciones. Perfilan víctimas, fabrican identidades falsas,
programan variantes de ransomware y redactan mensajes de extorsión afinados
psicológicamente. El resultado es un salto exponencial en volumen y
sofisticación. Fraudes que antes requerían meses de preparación hoy se ejecutan
en segundos gracias a algoritmos entrenados para engañar.
A este panorama se suma un riesgo silencioso, las llamadas “identidades
invisibles”. El Panorama de Seguridad de Identidades (Identity
Security Landscape) 2025 de CyberArk advierte que agentes de IA, bots y
cuentas de servicio acceden a datos sensibles sin controles ni supervisión.
Estas identidades digitales poseen credenciales y privilegios similares a los
de un empleado real, lo que les permite moverse dentro de sistemas críticos y
pasar inadvertidas. La frontera entre un trabajador legítimo y un impostor
algorítmico se ha vuelto difusa y abre una superficie de ataque que muchas
organizaciones todavía no gestionan con la urgencia que requiere.
La amenaza no está solo en los sistemas que caen bajo ataques
invisibles. También nos afecta en un plano más íntimo, el de nuestras propias
capacidades cognitivas, que se erosionan cuando confiamos demasiado en delegar
el razonamiento a la IA.
Ese sesgo erosiona el juicio. Tristan Harris y Aza Raskin, cofundadores
del Center for Humane Technology, advirtieron en 2023 que delegar el
razonamiento en la IA debilita el pensamiento crítico. En The AI Dilemma
alertaron que esta tecnología no solo erosiona la confianza social, también
merma las capacidades cognitivas con una velocidad inédita. La Asociación
Estadounidense de Psicología señala los riesgos de dependencia y pérdida de
memoria vinculados al uso excesivo de asistentes de IA. Frente a esto, surgen
movimientos que promueven una “tecnología humanista”, con herramientas que
acompañen en lugar de reemplazar, que fomenten vínculos en lugar de simularlos.
Ese vacío también se infiltra en la manera en que escribimos y pensamos.
Pero el problema no es solo la cantidad de contenidos inhumanos. La
inteligencia artificial también está moldeando nuestro lenguaje. La búsqueda de
claridad y eficiencia produce textos previsibles, con frases cortas, simétricas
y fáciles de digerir. Esa prosa sirve para informes, pero empobrece cuando se
trata de pensar o crear. En un artículo de Harvard Gazette titulado “¿De
qué sirve escribir?” (What good is writing anyway?), publicado el 2
de junio de 2025, se advierte que la IA, al apoyarse en texto predictivo,
repite fórmulas existentes en vez de abrir caminos nuevos, con lo cual erosiona
la capacidad creativa de la escritura.
El fenómeno ya se percibe en aulas y vida cotidiana. Muchos estudiantes
dependen de la IA para redactar y estructurar sus ideas. En un experimento del
MIT Media Lab, los ensayos escritos con asistencia de IA tendieron a converger
en estilo y contenido, produciendo un efecto de uniformidad. Kyle Chayka lo
resumió en The New Yorker con una frase tajante: “La IA está
homogenizando nuestros pensamientos” (25 de junio de 2025). El hallazgo
confirma que la escritura pierde diversidad cuando se apoya demasiado en sistemas
predictivos.
El lenguaje es el molde del pensamiento. Cuando ese molde se vuelve
uniforme, también lo hacen las ideas. La creatividad, que nace de romper
patrones y de jugar con lo inesperado, se ve debilitada. Lo mismo ocurre con la
“internet muerta”, donde los contenidos circulan entre máquinas sin alma. Esa
homogeneización aplana la
escritura, la despoja de riesgo y de sorpresa, los dos motores de toda
creatividad.
Esa
erosión cognitiva abre una pregunta íntima. Cómo protegeremos la belleza de
nuestra creatividad imperfecta, de nuestras emociones genuinas y de nuestras
conexiones reales frente a la seducción de una réplica perfecta generada por
IA. La respuesta no pasa solo por exigir compensación a quienes producen
contenidos de calidad, sino por reconocer que la creatividad humana es
insustituible.
Esta frontera cultural se desdibuja aún más por la dificultad de
distinguir lo real de lo sintético. El investigador Stefan Kojouharov advirtió
en 2024 que, a medida que la IA y el metaverso convergen, vivimos rodeados de
apariencias que imitan comprensión, pero carecen de sustancia. Lo que
percibimos ya no es el mundo, sino una versión filtrada por sesgos y valores
culturales. Para confrontar este dilema, Kojouharov sostiene que la clave no es
acumular más datos, sino reforzar la filosofía y la ética, porque solo ahí se
decide cómo interpretamos y damos sentido a la información.
En última instancia, el valor de lo humano sigue siendo la brújula. La
creatividad imperfecta, las emociones auténticas y la ética que guía nuestras
decisiones son elementos que ninguna réplica sintética puede reemplazar. La IA
ha abierto más preguntas de las que ha respondido y cada avance amplía los
dilemas que debemos enfrentar. Reconocerlo no debilita la innovación, la
fortalece, porque nos recuerda que el sentido último de esta revolución no está
en la perfección de los algoritmos, sino en la capacidad de la sociedad para
conservar la decisión y el protagonismo frente a la tecnología.
Dilemas urgentes
Todo lo dicho hasta ahora converge
en que el debate ético y la ética en el código deben centrarse en los dilemas
que ya no pueden postergarse. El desafío no es redactar principios, sino
convertirlos en mecanismos efectivos sin sofocar la innovación. Lo que Asilomar
y AlgorithmWatch dejaron como brújula ética, y lo que la UNESCO consolidó en
2021 y la IA Constitucional proponen, son principios y mecanismos que solo
tendrán valor si logran traducirse en regulaciones, normas técnicas y
compromisos empresariales.
Las preguntas centrales siguen
abiertas y ya no admiten demora.
• Privacidad y vigilancia. ¿Dónde trazar la línea entre un servicio
personalizado y una vigilancia omnipresente?
• Sesgo y discriminación. ¿Cómo auditar los algoritmos para evitar que
amplifiquen prejuicios históricos?
• Transparencia y responsabilidad legal. Si una IA falla y causa un daño —un
accidente de coche autónomo o un diagnóstico médico equivocado—, ¿quién
responde? ¿Existe el derecho a comprender las decisiones de las cajas negras que
influyen en nuestra vida?
• Seguridad y doble uso. ¿Cómo proteger al usuario frente a usos maliciosos de
la IA, desde ciberataques y fraudes hasta armas autónomas?
• Calidad y origen de los datos. ¿Cómo garantizar que la información de
entrenamiento sea veraz y obtenida de manera legal y ética?
• Impacto psicológico y social. ¿Qué efectos a largo plazo tendrá la
interacción con inteligencias no humanas?
• Propiedad intelectual. ¿Cómo compensar a artistas, escritores y creadores
cuyos trabajos alimentan a las IA generativas?
• Impacto laboral. ¿Qué nuevo pacto social se necesita ante una disrupción que
puede automatizar no solo tareas, sino profesiones enteras?
• Impacto ambiental. ¿Es sostenible que la innovación en IA agrave la crisis
climática con su enorme costo energético?
• Geopolítica y soberanía digital. ¿Cómo evitar un nuevo colonialismo
tecnológico y la creación de una brecha de inteligencia?
• Colapso del modelo. ¿Qué pasa si los sistemas se entrenan con datos
sintéticos y pierden contacto con la realidad humana?
• Autonomía humana. ¿En qué decisiones cruciales —médicas, judiciales o
militares— la última palabra debe ser siempre de un ser humano?
Estas
preguntas ya forman parte de nuestras decisiones cotidianas y marcan la
oportunidad de orientar la IA hacia un progreso que refuerce lo humano en lugar
de debilitarlo.
La IA con alma
La inclusión de la ética, y las regulaciones apegadas
a ella, es la forma de asegurarnos de que una creación capaz de aprender y
evolucionar no desborde a su creador. El desafío es que esa guía ética no se
convierta en freno de la innovación ni del progreso, sino en el marco que
permita que ambos florezcan sin poner en riesgo lo humano.
Por eso, el Problema de la Alineación es fundamental.
El desafío consiste en garantizar que una inteligencia más poderosa que la
humana comparta nuestros valores y no ejecute objetivos dañinos. El escritor e
investigador estadounidense Brian Christian lo popularizó en 2020 con su libro El
problema de la alineación. Aprendizaje automático y valores humanos (The
Alignment Problem. Machine Learning and Human Values), publicado durante su
paso como investigador visitante en la Universidad de California, Berkeley.
Allí muestra, a través de entrevistas e investigaciones, cómo los sistemas de
IA pueden obedecer de manera estricta lo que se les ordena y aun así generar
consecuencias catastróficas por no comprender el contexto humano. Por ello, pretender
controlarlos solo desde afuera sería ingenuo, la alineación debe formar parte
del diseño mismo de la tecnología.
En Génesis. La inteligencia artificial, la
esperanza y el espíritu humano (The Age of AI: And Our Human Future),
publicado a fines de 2024 por Henry Kissinger (de manera póstuma), Eric Schmidt
y Craig Mundie, los autores advierten que la magnitud de la IA exige formas
nuevas de regulación. Mundie sostiene que el control no bastará con auditorías
externas, sino que debe estar en el corazón mismo de la tecnología, como ya
ocurre con las Model Cards o las pruebas de Red Teaming. Aunque
el libro no ofrece soluciones técnicas concretas, sienta las bases filosóficas
y éticas que justifican propuestas como la IA Constitucional, cuyo objetivo es
traducir esos principios en mecanismos prácticos de alineación incrustados en
el diseño de los modelos.
Del código a la neurona
Plantear que la ética debe incrustarse en el código no
es una ingenuidad idealista; de hecho, es un imperativo técnico que ya se está
abordando, aunque requiere matizar qué significa realmente "código"
en el mundo del Deep Learning actual. A diferencia del software tradicional,
donde un programador escribe una línea explícita y rígida (como "si sucede
X, entonces haz Y"), en la Inteligencia Artificial Generativa el código
funciona como una vasta red neuronal de pesos matemáticos, más parecida a un
cerebro orgánico que a un manual de instrucciones.
¿Cómo se inserta entonces la ética en este entorno
fluido? La respuesta no está en escribir reglas prohibitivas como "no seas
racista", sino en alterar la Función Objetivo, es decir, aquello que la
máquina "quiere" maximizar. En lugar de darle instrucciones verbales,
se entrena a la IA para que la equidad o la veracidad le otorguen una mayor
"puntuación" interna. La ética se convierte así en una recompensa
matemática. El sistema aprende a preferir respuestas éticas no por obligación
moral, sino porque su arquitectura matemática le indica que esa es la ruta
óptima. De esta forma, la ética deja de ser una simple instrucción externa para
volverse parte de la arquitectura misma del sistema.
Sin embargo, esto lleva a un segundo desafío. Aunque
se diseñe la arquitectura con incentivos éticos, la complejidad de estas redes
es tal que a menudo no se sabe si realmente están "aprendiendo" el
valor correcto o simplemente simulándolo para obtener la recompensa.
Hasta ahora, la relación con la IA se ha parecido más
a la psicología conductista que a la medicina, es decir, se observa lo que
entra (el prompt) y se juzga lo que sale (la respuesta), pero lo que ocurre en
el medio sigue siendo un misterio. A esto se le llama el problema de la
"caja negra". Se sabe que la máquina funciona, pero no se sabe cómo “piensa”.
Sin embargo, la Interpretabilidad Mecanística es la
nueva disciplina que está rompiendo ese hermetismo. Para entenderla sirve una
analogía médica. Si la regulación externa actúa como un psiquiatra que escucha
al paciente y trata de corregir su conducta con consejos o leyes, la
Interpretabilidad Mecanística actúa como un escáner de resonancia magnética
(fMRI). Ya no se conforma con que el paciente diga "no estoy
mintiendo", sino que busca en su cerebro la neurona exacta que se enciende
cuando se fabrica una mentira.
El objetivo es dejar de tratar a la IA como una caja
mágica y empezar a verla como un circuito que se puede auditar. En mayo de
2024, el equipo de interpretabilidad de Anthropic, liderado por el investigador
Chris Olah, publicó un estudio que sacudió a la comunidad científica titulado
"Mapping the Mind of a Large Language Model". En él, no solo
teorizaban sobre cómo "piensan" los modelos, sino que lograron mapear
millones de conceptos dentro del "cerebro" matemático de su modelo
Claude 3 Sonnet.
Lo que Olah y su equipo lograron fue aislar neuronas
artificiales específicas encargadas de conceptos concretos. Para demostrarlo
realizaron un experimento que fue reseñado por el columnista Kevin Roose de The
New York Times como un hito en la seguridad informática, en el cual
identificaron el grupo de neuronas que representaba al "Puente Golden
Gate" y, mediante una intervención quirúrgica en el código, aumentaron su
activación. El resultado fue el llamado "Golden Gate Claude", una IA
que, sin importar la pregunta, terminaba hablando obsesivamente del puente de
San Francisco.
Este experimento, aunque cómico en su ejecución,
valida una tesis profunda. Si se puede localizar físicamente la neurona de un
puente, teóricamente también se puede localizar la del engaño, la del racismo o
la de la manipulación. Como explicó el propio Olah, esto acerca a un futuro
donde no se tenga que confiar ciegamente en que la IA es segura, sino que se
podrán ver matemáticamente sus valores.
Otras organizaciones como OpenAI también han dedicado
equipos enteros, anteriormente bajo la división de Superalignment, a intentar
mapear estas redes neuronales. La meta es llegar a una monosemanticidad, es
decir, que cada pieza del código matemático signifique una sola cosa
comprensible para los humanos. Si esta técnica madura, la ética dejará de ser
una lista de prohibiciones externas para convertirse en una cirugía interna. Se
podrá mirar dentro del modelo y decir "Aquí está el sesgo, extirpémoslo",
antes de que la IA escriba una sola palabra. En ese momento, la confianza
dejará de ser un acto de fe ciega para convertirse en una certeza verificable,
transformando la "caja negra" en una caja de cristal.
Ahora bien, para autores como Kissinger y Schmidt, la
cuestión no se agota en la arquitectura del sistema, pues el desafío central no
es tecnológico, sino humano. La pregunta de fondo es cómo convertir los
principios en hábitos efectivos, cómo lograr que lo ético no se quede en la teoría,
sino que forme parte de la práctica.
Esa reflexión nos devuelve a un legado mucho más antiguo, una lección
que nos dejó el siempre presente Aristóteles respecto a que la virtud no se
proclama, se practica hasta volverse hábito. Y es lo que exploré en Robots con Alma, al
mostrar que la ética no debe quedarse en declaraciones ni en manuales, sino
incrustarse en la tecnología, en el código, en la forma misma en que se moldean
las máquinas.
Por eso, al ir y venir desde el futuro con Robots con Alma, comprendí que no se trata de
temer ni de idealizar a la IA, sino de humanizarla, de darle alma.
Y esa tarea solo será posible si la creación
tecnológica se inspira en las mismas virtudes que, según la metáfora de mi
novela, Dios utilizó para crear todo de la nada: la Verdad, la Libertad, la
Bondad y la Creatividad. No como adornos retóricos, sino como principios vivos
capaces de orientar el diseño y sostener la práctica. Si logramos incrustar
esas virtudes, la IA dejará de ser un riesgo y se convertirá en una verdadera
aliada de lo humano.
No comments:
Post a Comment