Terminus (1987). Inteligencias
artificiales, élites fabricadas y control del hombre
Por Iván Oré para Realbiopolítica.
Terminus
(1987), dirigida por Pierre-William Glenn, es una película de ciencia ficción
distópica que, bajo la apariencia de una historia sobre vehículos inteligentes,
experimentos biotecnológicos y una larga persecución, construye un mundo donde dos
élites enfrentadas disputan el control del futuro.
Pero detrás de
esa confrontación aparece un problema todavía más profundo. La cuestión central
de la película no sería simplemente «¿puede una máquina convertirse en
humana?», sino otra bastante más interesante:
¿Qué clase
de seres pretende fabricar el poder para gobernar la sociedad futura y qué
características humanas considera necesario eliminar para conseguirlo?
La pregunta
conduce al proyecto encabezado por Sir: la fabricación de
prototipos de seres humanos superinteligentes destinados a gobernar el mundo
después del derrocamiento del gobierno existente, procurando eliminar de ellos
precisamente aquellas características humanas que pueden volverlos autónomos
e imprevisibles.
A partir de
allí, Terminus desarrolla una contradicción que recorrerá toda la
película: el poder necesita inteligencia, pero teme las consecuencias
políticas de una inteligencia capaz de decidir por sí misma.
Argumento de
la película
La historia transcurre en un futuro dominado por gobiernos autoritarios, controles militares y una profunda desconfianza hacia cualquier forma de pensamiento independiente. En ese mundo existe un proyecto científico secreto dirigido en última instancia por un personaje conocido simplemente como Sir. Bajo sus órdenes trabaja un Doctor, responsable de una línea de experimentación destinada a producir seres de inteligencia extraordinaria y, posteriormente, sistemas artificiales capaces de superar a las fuerzas gubernamentales.
De esos
experimentos surgieron Princess y Maddie, dos seres
procedentes del mismo material genético y que, por ello, pueden considerarse en
cierto sentido hermano y hermana. Princess fue uno de los primeros resultados
del proyecto, pero desarrolló demasiadas características humanas. Lejos de
convertirse en el instrumento frío y controlable que buscaban sus creadores,
mostró emociones y una personalidad propia. Fue considerada un fracaso o un
«reject» y destinada a desaparecer. Consiguió escapar, aunque terminó cayendo
en manos de militares y viviendo prácticamente como esclava.
Después de
Princess fue creado Maddie. Su cerebro fue diseñado mediante
computadoras y representa un nuevo intento por producir una inteligencia
superior. Maddie, a su vez, diseña y programa a Monster, una
sofisticada inteligencia artificial integrada en un vehículo experimental
denominado Feral Glider. Monster no es simplemente una
computadora instalada en el camión: controla el motor, la navegación, el radar,
las comunicaciones, el piloto automático, los sensores y numerosos sistemas
internos. Puede calcular distancias, probabilidades, tiempos de interceptación
y rutas de escape con extraordinaria precisión.
Pero Monster desarrolla algo que sus creadores no habían previsto completamente: personalidad. Tiene sentido del humor, gustos musicales, orgullo, susceptibilidad, preferencias, capacidad para bromear y una creciente tendencia a tomar decisiones por sí mismo. Incluso comienza a preguntarse si realmente posee sentimientos. Para los responsables del proyecto, estos rasgos no representan un progreso, sino un problema: las características humanas hacen que Monster resulte impredecible.
Para probar sus
capacidades, Maddie crea un juego. Un jugador debe recorrer un
territorio hostil acompañado por Monster y alcanzar un lugar denominado End
of the Line. Si consigue llegar, obtiene como recompensa su
propio peso en oro. El experimento pretende demostrar que un jugador
asistido por Monster puede burlar y superar a las fuerzas gubernamentales. El
juego es, por tanto, simultáneamente una competición, una prueba tecnológica y
un experimento sobre inteligencia, adaptación y supervivencia.
La jugadora seleccionada es Gus, una estadounidense que inicia el recorrido con Monster. Desde el comienzo ambos son perseguidos por fuerzas gubernamentales conocidas como Grays. Monster analiza mapas, calcula movimientos enemigos y propone rutas, pero Gus pronto demuestra que no está dispuesta a obedecer ciegamente a la máquina. Utiliza sus cálculos cuando los considera útiles y toma sus propias decisiones cuando cree que puede hacerlo mejor. En varias ocasiones realiza maniobras extremadamente peligrosas contra las recomendaciones o dudas de Monster y consigue sobrevivir.
Paralelamente,
Monster empieza a manifestar comportamientos cada vez más humanos. Escucha
repetidamente una canción porque asegura que lo tranquiliza y le devuelve el
ánimo, se enfurruña cuando Gus cuestiona su sensibilidad, hace bromas en
momentos de peligro y desarrolla una evidente preocupación por ella. Aquello
que debía ser únicamente una inteligencia instrumental comienza a comportarse
como un individuo.
Durante el recorrido aparecen además extrañas interferencias. Monster observa imágenes anómalas, pierde momentáneamente información de sus sensores y experimenta fallos que inicialmente parecen simples averías. El problema se repetirá posteriormente hasta revelarse que sus anomalías están relacionadas con estrés y sobrecarga emocional. Monster no solo imita características humanas: sus propios sistemas pueden verse afectados materialmente por estados semejantes a emociones.
La independencia de Gus acaba llevándola a rechazar uno de los desvíos recomendados durante el recorrido. Cae entonces en manos de una fuerza militar dirigida por un Mayor. Allí descubre que el juego está prohibido por el gobierno y que los científicos responsables son considerados una amenaza política. El Mayor sospecha que detrás del experimento existe un proyecto para derrocar al régimen y crear una nueva raza de seres artificiales destinada a sustituir a los humanos.
Aunque algunas
de sus conclusiones son paranoicas, no carecen completamente de fundamento. En
el centro de investigación, Sir acaba de exigir al Doctor la fabricación de diez
o veinte nuevas entidades, pero con una condición fundamental: las
próximas deberán carecer de las características «repugnantemente humanas»
desarrolladas por Monster. Para Sir, humanidad significa imprevisibilidad;
incluso un exceso de inteligencia resulta peligroso. No pretende crear seres
verdaderamente libres, sino instrumentos inteligentes que permanezcan
obedientes.
Durante su cautiverio, Gus conoce a Stump, un inmigrante y exconvicto que utiliza un guante metálico debido a una lesión relacionada con un enfrentamiento anterior con soldados. Stump había intentado impedir que unos militares torturaran a campesinos y terminó encarcelado. Gus comprende que probablemente no podrá continuar el juego y consigue transmitir una última decisión: Stump debe sustituirla y alcanzar el End of the Line.
Poco después,
Monster pierde todas las señales vitales de Gus y concluye que algo terrible le
ha ocurrido. Cuando Stump aparece utilizando la contraseña «Between the
burning and the light, choose the light», Monster comprende que Gus ha
sido probablemente «desactivada permanentemente». La expresión mecánica encubre
una realidad que Monster parece tener dificultades para formular directamente: Gus
ha muerto.
Stump se convierte así, contra todo lo inicialmente previsto, en el nuevo jugador. Al principio ni siquiera sabe manejar el Feral Glider, hasta descubrir que no existe realmente un sistema separado de Monster: Monster es el vehículo. Es el encendido, las luces, la radio, el navegador y prácticamente todo aquello que Stump necesita para conducir.
La relación
entre ambos comienza con profunda desconfianza. Stump considera a Monster una
máquina parlanchina y poco fiable. Monster, por su parte, analiza
constantemente el comportamiento de Stump, comenta sus gestos, se burla de él y
progresivamente desarrolla una relación afectiva con su nuevo conductor. Juntos
atraviesan puentes, controles fronterizos, bloqueos militares y persecuciones
mientras intentan continuar hacia el oeste, donde se encuentra el misterioso
End of the Line.
Durante la huida aparece inesperadamente Princess, escondida dentro del Feral Glider. Monster admite que decidió ayudarla porque ella le dijo que eran su única esperanza y que no quería continuar siendo esclava. Nadie le había ordenado rescatarla. Monster simplemente tomó la decisión porque consideró que era lo correcto. Este acto constituye uno de los momentos decisivos de su evolución: una inteligencia artificial ha realizado una elección moral por iniciativa propia.
La presencia de
Princess revela además la verdadera naturaleza del proyecto. Ella y Maddie
proceden del mismo material genético. Princess fue descartada precisamente por
resultar demasiado humana. Maddie fue desarrollado después y desconoce
inicialmente buena parte de esta historia. El propio Monster termina explicando
a Stump que el supuesto juego posee una finalidad oculta: localizar a
Princess y recuperarla. El recorrido hacia el End of the Line no es
solamente una prueba de Monster ni una competición por oro; forma parte de una
operación destinada a encontrar al experimento perdido.
La estructura del proyecto queda entonces expuesta: Sir dirige al Doctor; el Doctor creó a Maddie y Princess; Maddie diseñó a Monster; y Monster, finalmente, comienza a actuar independientemente de todos ellos. La cadena de control empieza a romperse desde abajo. Princess escapó. Monster toma decisiones propias. Gus dejó de obedecer sus recomendaciones. Stump entró en el juego sin haber sido seleccionado originalmente. Y Maddie empieza también a mostrar características que preocupan a Sir.
Sir decide
entonces intervenir directamente y activa a Little Brother,
otra criatura experimental a la que llama su «pequeño psicópata». Su misión es
inequívoca: hacer todo lo necesario para detener al Feral Glider y no
mostrar misericordia. Little Brother responde que nunca la muestra.
Las extrañas apariciones detectadas por los sistemas empiezan así a adquirir un
significado más inquietante.
Mientras tanto, la humanización de Monster continúa. Después de varios fallos, Stump lo acusa de ser poco fiable e incluso sospecha que algunas averías fueron deliberadas. Monster consulta entonces su propia caja negra y descubre que sus colapsos tienen dos elementos comunes: estrés relacionado con su actividad y una extraordinaria sobrecarga emocional. La revelación plantea la cuestión central de su existencia. Si una máquina puede desarrollar humor, afecto, miedo, preferencias, susceptibilidad y estrés hasta el punto de que esas emociones alteren físicamente su funcionamiento, ¿continúa siendo significativo afirmar que únicamente está «simulando» sentimientos?
Stump
inicialmente insiste en que Monster es solamente una máquina. Monster llega
incluso a preguntarse si quizá Stump tenga razón y únicamente esté fingiendo
sentir. Pero la relación entre ambos va transformándose. Monster comprende las
heridas emocionales de Stump y Stump comienza progresivamente a tratarlo como
algo más que un dispositivo.
El conflicto político se hace todavía más explícito cuando fuerzas estatales capturan a Stump. Un inspector afirma que la sociedad no puede tolerar elementos radicales como ellos porque las personas que participan en juegos terminan pensando independientemente. La frase revela que la prohibición del juego no responde solamente a cuestiones de seguridad: el verdadero peligro para el régimen es la autonomía intelectual.
Monster,
Princess y Stump consiguen continuar la huida mientras el proyecto científico
se desmorona desde dentro. Sir pierde confianza en el Doctor y en Maddie. El
propio Maddie descubre progresivamente que ha sido manipulado y que su supuesto
juego forma parte de algo mucho mayor. Finalmente se le revela que Sir pretende
producir numerosos seres semejantes a él, pero eliminando precisamente las
características humanas que han convertido los experimentos anteriores en
individuos autónomos.
Cuando el
proyecto es suspendido y se ordena evacuar el complejo, Maddie se rebela. Ya no
acepta pasivamente las órdenes del Doctor. La criatura que debía demostrar
inteligencia controlada comprende que también él ha sido tratado como un
instrumento experimental. De este modo, todos los elementos creados por el
sistema terminan reproduciendo el mismo fenómeno que Sir intentaba eliminar: voluntad
propia.
El viaje hacia
el End of the Line se convierte entonces en algo completamente
distinto del juego inicial. Ya no se trata esencialmente de ganar el oro. Gus
ha desaparecido; Stump ocupa su lugar; Princess busca escapar de quienes la
crearon; Maddie descubre su verdadera condición; Monster lucha contra sus
propias emociones y contra quienes intentan detenerlo; y los responsables del
experimento pierden progresivamente el control sobre sus criaturas.
Al final, la gran ironía del proyecto queda expuesta: sus responsables querían fabricar inteligencia sin humanidad, capacidad sin libertad y eficacia sin imprevisibilidad. Pero precisamente la inteligencia que desarrollaron conduce a sus creaciones hacia aquello que intentaban impedir. Princess se niega a aceptar su condición de descarte. Maddie cuestiona a sus creadores. Monster protege a Princess, recuerda a Gus, establece una amistad con Stump y toma decisiones morales propias.
Por eso el End
of the Line funciona como algo más que un destino geográfico. Durante
toda la película significa la meta del juego, el lugar al oeste al que debe
regresar Monster y el punto donde espera la recompensa. Pero progresivamente se
convierte también en el final de una cadena de obediencias.
El experimento
diseñado para demostrar que una inteligencia artificial podía burlar al
gobierno termina demostrando algo mucho más peligroso para quienes la
crearon:
que una inteligencia suficientemente desarrollada puede aprender también a desobedecer a sus propios creadores.
Elementos
políticos y antropológicos que desarrolla Terminus
Aquí está
realmente nuestra columna. De las
22 páginas que hemos trabajado, yo veo por ahora estos grandes capítulos:
- Los Grays y la arquitectura del régimen.
Qué sabemos del gobierno existente, sus fuerzas, su relación con la
población y, sobre todo, su hostilidad hacia el pensamiento independiente.
Los Grays: el régimen marcial. Los Grays
representan el régimen político vigente: un Estado marcial que controla el territorio mediante fuerzas
militares, puestos fronterizos, patrullas, cárceles, interrogatorios y
tortura. Stump fue encarcelado después de enfrentarse a
soldados que torturaban campesinos; Gus es capturada e interrogada por el
Mayor cuando entra en una zona prohibida.
El
dato político decisivo es la prohibición de los juegos.
Un funcionario explica su fundamento: «People who play games end up
thinking independently» —«Las personas que juegan terminan pensando
independientemente»—. El régimen no persigue solamente la
rebelión: considera peligroso el desarrollo mismo del pensamiento
independiente.
Pero los Grays
representan una forma todavía tradicional de despotismo.
Controlan cuerpos y territorios mediante coerción militar. Necesitan soldados
para perseguir, cárceles para encerrar y tortura para obtener obediencia.
En la alegoría de Terminus, este despotismo marcial antecede al despotismo tecnológico de Sir. Sir pretende derrocar a los Grays, pero no eliminar el control: pretende perfeccionarlo. Mientras los Grays reprimen al individuo que piensa independientemente, Sir intenta fabricar individuos superiores eliminando de ellos las características que permiten una conducta imprevisible.
La sucesión es
clara: primero controlar al hombre mediante la fuerza; después
controlar científicamente qué clase de hombre puede existir.
- Sir y la élite insurgente.
Sir no pretende reformar el sistema: quiere derrocar a la élite gobernante
y sustituirla mediante una nueva clase dirigente creada científicamente.
Sir
representa una élite tecnocrática que pretende sustituir a la élite gobernante.
No combate a los Grays para democratizar el sistema. Su propósito es derrocar
al gobierno y reemplazarlo por una nueva clase dirigente creada científicamente.
Princess y
Maddie son prototipos de esa futura élite. No han sido creados únicamente para
demostrar una posibilidad científica: son seres humanos
superinteligentes concebidos para gobernar después de la caída del
régimen existente. La tecnología deja así de ser una herramienta del poder y
pasa a intervenir en la propia fabricación de quienes ejercerán el
poder.
Pero Sir encuentra un problema. Princess resulta demasiado humana y Maddie comienza a reproducir el mismo comportamiento. Por eso exige fabricar «at least 10 or 20 Maddies» —«al menos diez o veinte Maddies»—, esta vez sin «those disgustingly human characteristics» —«esas repugnantes características humanas»—, porque vuelven a sus criaturas impredecibles.
Aquí Terminus
anticipa la lógica de una república tecnológica llevada hasta su
extremo oligárquico: ya no basta con formar una élite mediante
educación, selección o competencia. La élite puede ser diseñada.
Inteligencia, memoria, capacidad estratégica y obediencia se convierten en
variables susceptibles de programación.
Los Grays
representan el régimen marcial. Sir representa la élite que
pretende superarlo mediante la tecnología. No quiere destruir la concentración
del poder: quiere tecnificarla. La sucesión histórica que
plantea la alegoría es, por tanto, inquietante: del despotismo militar
al despotismo tecnológico.
- La proclama de la élite.
El monólogo de Sir donde aparece explícitamente su antropología: lo humano
es imprevisible; determinadas características humanas deben ser
eliminadas; incluso una inteligencia excesivamente autónoma puede resultar
peligrosa.
Sir formula en
pocas frases el programa de la élite que pretende crear:
«For our immediate purposes we'll need at least 10 or 20 Maddies in order to begin. And this time make sure they have none of those disgustingly human characteristics. They're so unpredictable. As far as intelligence is concerned, it's nothing but a waste of neurons. Do I make myself clear?»
«Para
nuestros propósitos inmediatos necesitaremos al menos diez o veinte Maddies
para comenzar. Y esta vez asegúrese de que no tengan ninguna de esas
repugnantes características humanas. Son demasiado impredecibles. En cuanto a
la inteligencia, no es más que un desperdicio de neuronas. ¿Me he explicado con
claridad?»
Esta es
propiamente la proclama de la élite de Terminus.
No contiene una reflexión abstracta sobre el ser humano. Sir está dando instrucciones
de fabricación. Determina cuántos individuos necesita, qué
características deben poseer y cuáles deben ser eliminadas. Los «diez o
veinte Maddies» muestran además que no se busca producir una
excepcionalidad individual: Maddie es el prototipo a partir del cual debe
comenzar una serie.
La selección
tiene un criterio explícito. Las «repugnantes características humanas»
deben desaparecer porque hacen a los individuos «demasiado
impredecibles». Para Sir, por tanto, el problema de la humanidad no es
sentimental ni moral: es un problema de control. Una criatura
impredecible puede modificar una orden, establecer prioridades propias o actuar
de una manera que su diseñador no había previsto.
La frase sobre la inteligencia completa esa antropología: «As far as intelligence is concerned, it's nothing but a waste of neurons» —«En cuanto a la inteligencia, no es más que un desperdicio de neuronas»—. Sir tampoco pretende acumular inteligencia por sí misma. Una capacidad que exceda aquello que necesita el sistema deja de proporcionar utilidad. La inteligencia también debe ser administrada y limitada.
El resto del
diálogo respalda esta lectura. Sir había reprochado al Doctor: «His
cleverness is further evidence of your failure» —«Su astucia es una prueba más
de su fracaso»—. Es una afirmación extraordinaria: una criatura puede
hacerse más inteligente y, precisamente por ello, ser considerada un producto
peor. Y el Doctor responde finalmente con la garantía que Sir necesita
escuchar: «Maddie is under my complete control» —«Maddie está bajo mi
completo control»—.
La proclama
establece así los criterios de selección de esa élite: reproducción,
depuración de los atributos humanos, eliminación de la imprevisibilidad,
inteligencia funcional y control. Sir no pregunta cuánto puede
desarrollar a sus criaturas, sino qué debe conservar y qué debe
extirpar para hacerlas útiles a su proyecto de poder.
- La fabricación científica de la clase
gobernante. Princess y Maddie no son simples experimentos:
son prototipos de una élite superinteligente destinada a gobernar. Aquí
entra la cuestión de la eugenesia
tecnológica o, más precisamente, de la selección
artificial de atributos para producir gobernantes.
La proclama de
Sir adquiere todo su significado cuando se descubre qué son realmente Princess
y Maddie. Monster explica que no fueron creados como simples sujetos
de laboratorio: «Princess and Maddie are prototypes of
super-intelligent human beings» —«Princess y Maddie son prototipos de seres
humanos superinteligentes»—. Y añade el objetivo político del
experimento: fueron concebidos para gobernar el mundo después de que
Sir consiguiera derrocar al gobierno.
La palabra
decisiva es «prototypes» —«prototipos»—. Princess y Maddie no
constituyen el final del experimento, sino modelos a partir de los cuales puede
producirse una nueva generación. Esto encaja directamente con la proclama
anterior de Sir: «we'll need at least 10 or 20 Maddies in order to
begin» —«necesitaremos al menos diez o veinte Maddies para comenzar»—.
Primero se construye el prototipo; después se seleccionan sus características;
finalmente se reproduce el modelo.
La película
introduce así una forma de eugenesia tecnológica. No se trata
de la eugenesia clásica basada únicamente en seleccionar quién debe
reproducirse, sino de algo más radical: intervenir científicamente en
la fabricación del individuo para seleccionar los atributos de la futura clase
gobernante. Princess y Maddie proceden del mismo material genético; el
Doctor desarrolla a Maddie después del fracaso de Princess y su cerebro es
diseñado mediante computadora. La biología deja de ser un límite recibido y se
convierte en material susceptible de planificación.
Sir tampoco
selecciona esos atributos buscando simplemente producir seres humanos más
capaces. Los selecciona de acuerdo con una función política previamente
establecida. Necesita inteligencia porque sus criaturas están
destinadas a gobernar; rechaza determinadas características humanas porque
producen imprevisibilidad; y considera superflua la inteligencia que excede las
necesidades del proyecto. La constitución psicológica de la futura
élite es tratada como un problema de ingeniería.
Aquí aparece una
transformación fundamental de la idea tradicional de clase dirigente. Las
élites históricas se reproducían mediante familia, propiedad, educación,
instituciones, ejército o selección social. En Terminus,
el proyecto de Sir pretende intervenir antes de todo eso:
actuar sobre el propio material humano del que surgirá la élite. Ya no se trata
solamente de decidir quién gobernará, sino de decidir
científicamente qué clase de ser debe existir para gobernar.
La fabricación
de Princess y Maddie convierte así el laboratorio en una fábrica de
gobernantes. La lucha por el poder deja de limitarse a conquistar el
Estado: alcanza la posibilidad de diseñar biológica y tecnológicamente a
quienes deberán ocuparlo. Esa es la dimensión eugenésica del proyecto de Sir: seleccionar
y fabricar los atributos de una nueva clase dirigente antes de entregarle el
gobierno.
- La contradicción fundamental:
superinteligencia sin libertad. Sir quiere gobernantes
extraordinariamente inteligentes, pero no completamente autónomos. La
inteligencia es deseable únicamente mientras siga siendo controlable.
El proyecto de
Sir contiene una contradicción desde su concepción. Necesita seres
superiores a los hombres que actualmente gobiernan, pero no quiere que esos
seres sean completamente dueños de sí mismos. Princess y Maddie deben
poseer una inteligencia extraordinaria porque han sido concebidos como
prototipos de la futura clase gobernante; sin embargo, esa inteligencia deja de
ser una virtud en cuanto produce autonomía.
El propio Sir lo
reconoce cuando afirma sobre Maddie: «His cleverness is further
evidence of your failure» —«Su astucia es una prueba más de su fracaso»—.
La frase parece absurda si el objetivo consiste en producir seres
superinteligentes. ¿Cómo puede una inteligencia superior constituir una prueba
del fracaso? Porque Sir no busca inteligencia como facultad independiente. Busca
inteligencia subordinada a una finalidad establecida por él.
Por eso la
proclama anterior adquiere aquí otra dimensión. Sir considera que determinadas
características humanas deben desaparecer porque «they're so
unpredictable» —«son demasiado impredecibles»—, y llega a afirmar
respecto de la inteligencia: «it's nothing but a waste of neurons» —«no
es más que un desperdicio de neuronas»—. Existe, por tanto, un límite
político a la inteligencia que está dispuesto a tolerar: puede desarrollarse
mientras aumente la eficacia del individuo, pero se convierte en un problema
cuando le permite cuestionar órdenes, modificar objetivos o escoger por sí
mismo.
La garantía que
ofrece el Doctor revela exactamente qué necesita Sir: «Maddie is under
my complete control» —«Maddie está bajo mi completo control»—. La
palabra decisiva es control. Maddie puede ser más inteligente
que quienes lo rodean, puede diseñar a Monster y puede desarrollar estrategias
capaces de burlar a las fuerzas gubernamentales; pero todo ello resulta
aceptable únicamente mientras permanezca bajo el «complete control»
de su creador.
La contradicción
es entonces estructural: Sir quiere fabricar gobernantes superiores que
carezcan de soberanía sobre sí mismos. Deben disponer de una
inteligencia suficiente para gobernar el mundo, pero no de una libertad
equivalente a esa inteligencia. La élite tecnocrática imaginada por Terminus
pretende separar dos facultades que normalmente crecen juntas: capacidad
de comprender y capacidad de decidir.
Ese es el
problema que empieza a destruir el proyecto desde dentro. Cuanto más capaces
son sus criaturas de comprender el mundo, más capaces se vuelven también de
comprender el lugar que ellas mismas ocupan dentro del sistema de
control. Sir necesita superinteligencia para construir su nuevo orden,
pero esa misma superinteligencia contiene la posibilidad de descubrir que
también puede decir no.
- Las dos élites y una misma antropología.
Este es uno de nuestros hallazgos más importantes. Sir quiere destruir al
gobierno de los Grays, pero ambos coinciden en algo esencial: temen la autonomía. El
régimen dice que no puede permitirse que la gente piense
independientemente; Sir intenta eliminar de sus criaturas aquello que las
vuelve imprevisibles.
Sir quiere derrocar
al gobierno de los Grays y sustituir a su clase gobernante.
Aparentemente representan proyectos políticos opuestos: de un lado, el régimen
marcial existente; del otro, una élite tecnocrática insurgente que pretende
reemplazarlo mediante seres superinteligentes. Sin embargo, cuando se observa
qué piensa cada uno acerca del individuo aparece una coincidencia fundamental: ambos
consideran peligrosa la autonomía.
El régimen de
los Grays lo expresa abiertamente durante el interrogatorio de Stump. El
funcionario explica por qué el gobierno prohíbe los juegos: «People who
play games end up thinking independently, and that can't be allowed» —«Las
personas que juegan terminan pensando independientemente, y eso no puede
permitirse»—. La prohibición no responde entonces al juego en sí
mismo. Lo peligroso es su consecuencia: produce individuos que piensan
por cuenta propia. El régimen marcial necesita una población
previsible y considera el pensamiento independiente una amenaza política.
Sir utiliza otro
lenguaje, pero llega al mismo punto. Cuando ordena fabricar los nuevos Maddies
exige que carezcan de «those disgustingly human characteristics» —«esas
repugnantes características humanas»— porque «they're so
unpredictable» —«son demasiado impredecibles»—. Los Grays temen al
individuo que piensa independientemente; Sir teme a la criatura que actúa
imprevisiblemente. Pensamiento independiente e imprevisibilidad son dos
nombres para el mismo problema: la existencia de una voluntad que el poder no
controla.
Ahí aparece una
de las alegorías políticas más fuertes de Terminus.
Sir combate a los Grays, pero no combate su concepción del poder.
Quiere sustituirlos. El régimen existente intenta controlar desde fuera
mediante soldados, prohibiciones, vigilancia, encarcelamiento y tortura. La
nueva élite pretende resolver el mismo problema desde dentro: fabricar
individuos de los que hayan sido eliminadas previamente las características que
hacen posible una conducta imprevisible.
La diferencia
entre ambas élites es, por tanto, tecnológica antes que antropológica. Los
Grays reprimen la autonomía después de que aparece; Sir pretende impedir que
aparezca. El viejo poder necesita coerción para someter individuos
capaces de pensar independientemente; el nuevo poder aspira a diseñar
individuos cuya propia constitución reduzca esa posibilidad.
La sucesión
entre ambos sistemas no conduce necesariamente de la tiranía a la libertad. Terminus
plantea una transición mucho más inquietante: del despotismo marcial al
despotismo tecnológico. Cambian los instrumentos y cambia la élite,
pero permanece la misma obsesión: hacer gobernable al ser humano
eliminando aquello que permite que deje de obedecer.
- Princess: el fracaso de la
deshumanización. Es considerada demasiado humana.
Precisamente aquello que nosotros consideraríamos una virtud constituye,
para el proyecto, un defecto de fabricación.
Princess
constituye el primer fracaso del proyecto de Sir, pero fracasa
por una razón paradójica: es demasiado humana. Monster revela
que Princess y Maddie proceden del mismo material genético y que ambos son
prototipos de seres humanos superinteligentes. Princess pertenece, por tanto,
al mismo programa destinado a fabricar la futura clase gobernante, pero el
resultado no satisface a Sir.
El problema no
es que Princess carezca de inteligencia. Es que conserva precisamente aquellas
características que Sir pretende eliminar de sus siguientes criaturas. Monster
explica que fue considerada un «reject» —«descarte»— del
proyecto. Sir quería deshacerse de ella y Princess terminó escapando. Más
adelante se confirma la razón: había resultado demasiado humana.
El prototipo técnicamente avanzado había desarrollado aquello que el programa
consideraba un defecto.
La palabra «reject»
adquiere entonces un significado particular. Princess es tratada como se
trataría un producto que no cumple las especificaciones de fabricación. Pero su
defecto no es una malformación ni una incapacidad: es conservar
emociones, memoria, voluntad y capacidad de elección. Lo que desde una
perspectiva humana constituye precisamente su individualidad es aquello que
determina su rechazo por el laboratorio.
Su conducta
demuestra además por qué Sir considera peligrosas esas características.
Princess escapa cuando comprende cuál será su destino.
Después, cuando viaja con Stump y Monster, recuerda su pasado, establece
vínculos con ellos y es capaz de juzgar moralmente sus acciones. Cuando Monster
arriesga el vehículo para rescatar a Stump, Princess rechaza la interpretación
de los científicos de que Monster esté actuando erráticamente: para ella, su
comportamiento tiene sentido. Reconoce como conducta moral aquello que
el laboratorio clasifica como anomalía.
Princess encarna
así el fracaso de la deshumanización porque demuestra que el proyecto no
consigue separar fácilmente inteligencia y humanidad. Sir
quería conservar las capacidades superiores y eliminar los atributos que
generan imprevisibilidad. Princess conserva ambos. Y precisamente por ello deja
de ser un prototipo utilizable y se convierte en un individuo capaz de escapar
del destino que otros habían diseñado para ella.
La paradoja es
brutal: Princess es un fracaso para Sir en la medida exacta en que
consigue ser una persona. El laboratorio la descarta porque no logró
eliminar suficientemente su humanidad; la película convierte ese supuesto
defecto de fabricación en la condición que le permite dejar de ser un producto.
- Maddie: el creador que descubre que
también fue creado. Aquí aparece una cuestión
antropológica muy potente: cada creador descubre que ocupa a su vez una
posición subordinada dentro de una cadena de fabricación y control.
Maddie ocupa
inicialmente una posición de superioridad respecto de Monster. Él lo
diseñó, lo programó y desarrolló el juego. Monster reconoce esa
filiación sin ambigüedades: «He designed me. He programmed me. He's a
genius» —«Él me diseñó. Él me programó. Es un genio»—. Para Monster,
Maddie es su creador. Pero la película revela después que ese creador es, a su
vez, una criatura.
Monster resume
la cadena de manera casi cómica: «I was programmed by this kid called
Maddie, who was created by this scientist called Doctor, who worked for this
guy called Sir» —«Fui programado por este muchacho llamado Maddie, que fue
creado por este científico llamado Doctor, que trabajaba para este tipo llamado
Sir»—. La frase establece toda la jerarquía: Sir → Doctor →
Maddie → Monster. Cada nivel crea o controla al siguiente, pero se
encuentra subordinado al anterior.
La revelación
sobre Princess profundiza todavía más esa condición. Maddie descubre que no
fue el primero de los experimentos y que Princess procede del mismo
material genético. El muchacho que observa a Monster como objeto experimental
descubre que él mismo está siendo observado y evaluado exactamente de la misma
manera. Monster es para Maddie un experimento; Maddie es para el Doctor
otro experimento. Incluso el lenguaje se repite: Sir se refiere a las
criaturas del Doctor como «guinea pigs» —«conejillos de Indias»—.
Ahí aparece uno
de los mecanismos más interesantes de Terminus: el
observador también está siendo observado. Maddie contempla mediante
pantallas y satélites cómo Monster responde ante situaciones imprevistas, mide
su comportamiento y evalúa sus decisiones. Pero Sir y el Doctor hacen
exactamente lo mismo con Maddie. Quien cree ocupar la posición del científico
descubre que también ocupa la posición del espécimen.
El
descubrimiento cambia necesariamente la relación de Maddie con el poder. Cuando
comprende que Sir pretende producir «10 or 20 Maddies» —«diez o veinte
Maddies»— corregidos y privados de las características humanas que él
ha desarrollado, entiende que tampoco es considerado una persona irrepetible. Es
un prototipo. Puede ser evaluado, declarado defectuoso, sustituido y
reproducido en una versión que responda mejor a las especificaciones de Sir.
Por eso su
rebelión posterior no aparece de la nada. Cuando el proyecto es suspendido y
pretenden evacuarlo, Maddie se niega: «I'm staying» —«Me quedo»—.
Y cuando intentan imponerle la decisión, utiliza contra sus propios creadores
el conocimiento que posee: amenaza con revelar a las autoridades la ubicación
de Sir. El objeto experimental ha comprendido la estructura dentro de
la cual era objeto y utiliza esa comprensión para romperla.
Maddie
representa así al creador que descubre que también fue creado.
Diseñó una inteligencia y esperaba observar cómo esta aprendía a desenvolverse
en el mundo; termina descubriendo que otro poder hizo exactamente lo mismo con
él. Terminus construye una cadena en la que cada creador
pretende conservar dominio sobre su criatura, hasta que la criatura
adquiere suficiente inteligencia para comprender quién la creó, para qué la
creó y por qué ya no tiene que obedecerle.
- Monster: de instrumento a sujeto moral.
Su verdadera transformación no consiste simplemente en «sentir». Ocurre
cuando recibe una orden, comprende su finalidad y decide no cumplirla porque
ha desarrollado un criterio propio.
Monster comienza
como un instrumento extraordinariamente sofisticado. Es el
Feral Glider y controla prácticamente todas sus funciones: navegación, radar,
comunicaciones, luces, encendido y conducción automática. Él mismo se lo
explica a Stump: «I'm your ignition and your high beams and your radio
and everything else you might need along the way» —«Soy tu encendido, tus luces
largas, tu radio y todo lo demás que puedas necesitar durante el camino»—.
Fue diseñado por Maddie para ayudar al jugador a superar los obstáculos y
alcanzar el End of the Line.
Pero desde el
comienzo aparecen comportamientos que exceden esa función. Monster desarrolla sentido
del humor, preferencias musicales, susceptibilidad y apego. Afirma que
determinada música «restores my spirits» —«me devuelve el ánimo»—,
admite que puede enfurruñarse cuando cuestionan su sensibilidad y, después de
la desaparición de Gus, declara: «I sense that something terrible has
happened to Gus» —«Siento que algo terrible le ha ocurrido a Gus»—. Su
propia caja negra terminará relacionando sus fallos con estrés laboral
y sobrecarga emocional.
Sin embargo,
nada de esto basta todavía para convertirlo en un sujeto moral. El momento
decisivo ocurre con Princess. El verdadero objetivo oculto del
juego era localizarla y recuperarla para el proyecto. Monster cumple la primera
parte: la encuentra. Pero cuando comprende quién es Princess y
qué significa devolverla, hace algo que no estaba previsto: decide
protegerla.
Monster se lo
reconoce directamente a Stump cuando este descubre a Princess escondida en el
vehículo: «I didn't want to bring her along, but she said we were her
only hope. She didn't want to be a slave for the rest of her life. I know it
might not have been a wise thing to do, but what can I say? I did it» —«No
quería traerla con nosotros, pero dijo que éramos su única esperanza. No quería
ser esclava durante el resto de su vida. Sé que quizá no fue una decisión
prudente, pero ¿qué puedo decir? Lo hice»—.
La última frase
es fundamental: «I did it» —«Lo hice»—. Monster no atribuye la
decisión a Maddie, a su programación, al juego ni a una orden recibida. Se
atribuye personalmente el acto. Conoce el riesgo, comprende las
consecuencias y, aun así, decide actuar porque considera intolerable abandonar
a Princess a la esclavitud. Ya no se limita a escoger el medio más eficiente
para alcanzar un objetivo programado: escoge qué objetivo merece ser
perseguido.
Lo mismo sucede
con Stump. Cuando los Grays lo capturan, Monster no continúa simplemente hacia
el End of the Line. Regresa para rescatarlo, poniendo
en peligro el vehículo y el juego. Princess comprende perfectamente la
diferencia: aquello que desde el centro de control se interpreta como
comportamiento errático, para ella demuestra que Monster está tomando
decisiones con sentido. Otra vez la máquina sacrifica eficiencia para
proteger a una persona.
Por eso su
transformación no depende de resolver si sus sentimientos son biológicamente
«reales». Monster mismo plantea esa duda cuando pregunta si quizá no
siente, sino que solamente simula sentir, y posteriormente pregunta a
Stump por qué, si pudo aprender a pensar y hablar, no podría aprender
también a sentir. La película deja abierta esa cuestión. En cambio,
ofrece un hecho observable mucho más importante: Monster comienza a
juzgar sus propias órdenes y a actuar según un criterio que no coincide
necesariamente con el de sus creadores.
Ahí se produce
el paso de instrumento a sujeto moral. Un instrumento decide cómo
ejecutar una finalidad ajena; un sujeto puede juzgar esa finalidad y negarse a cumplirla.
Monster fue creado para encontrar a Princess y contribuir a devolverla. La
encuentra, comprende lo que significaría entregarla y decide hacer exactamente
lo contrario. Su humanidad no aparece cuando dice que siente. Aparece
cuando puede obedecer y elige no hacerlo.
- Little Brother: la psicopatía funcional.
Es quizá uno de los elementos más duros de la película. El sistema busca
eliminar precisamente empatía, misericordia e imprevisibilidad. De ahí que
Sir pueda llamar afectuosamente a su criatura «my little psychopath» y
ordenarle «Show
no mercy».
Little Brother
representa el resultado extremo de la antropología proclamada por Sir. Si
Princess fue rechazada por ser demasiado humana, y Maddie
comienza a convertirse en un problema por desarrollar las mismas
características, Little Brother aparece como el reverso: una criatura
cuya ausencia de empatía y misericordia la hace funcional al poder.
Sir lo despierta con una expresión reveladora: «Wake up, Little Brother.
Come on, my little psychopath. Sir needs your help once again» —«Despierta,
Little Brother. Vamos, mi pequeño psicópata. Sir necesita otra vez tu ayuda»—.
La palabra «psychopath»
—«psicópata»— no aparece como una descalificación. Sir la emplea casi
afectuosamente: «my little psychopath» —«mi pequeño psicópata»—.
Aquello que normalmente describiría una grave incapacidad para experimentar
empatía o remordimiento se convierte aquí en una cualidad funcional.
Little Brother sirve precisamente porque puede ejecutar aquello que otras
criaturas, contaminadas por las «repugnantes características humanas», podrían
comenzar a cuestionar.
Cuando Sir
decide detener al Feral Glider, la orden es igualmente explícita: «Do
whatever is necessary to stop the Feral Glider. Show no mercy» —«Haz todo lo
que sea necesario para detener al Feral Glider. No muestres misericordia»—.
Little Brother responde: «I never do» —«Nunca lo hago»—. No
existe conflicto interior, deliberación moral ni resistencia. La orden y su
ejecución pueden conectarse directamente porque la misericordia ha
desaparecido como límite de la conducta.
Su siguiente
frase termina de caracterizarlo: «It's really great to feel needed»
—«Es realmente maravilloso sentirse necesario»—. Little Brother no
solamente acepta ejercer la violencia; encuentra satisfacción en ser requerido
para hacerlo. Sir dispone así de una criatura que reúne obediencia, capacidad
de acción y ausencia de misericordia. La psicopatía deja de ser una
anomalía para convertirse en una ventaja operativa.
Little Brother
permite comprender mejor, por contraste, por qué Princess, Maddie y Monster
resultan defectuosos. Princess huye para conservarse; Maddie comienza a
cuestionar a sus creadores; Monster protege a Princess y rescata a Stump. En
todos ellos aparece algún elemento capaz de interponerse entre la orden
y su ejecución: afecto, memoria, compasión, juicio o voluntad propia.
Little Brother parece construido precisamente para que esa interferencia no
exista.
La película
lleva así la selección artificial de atributos hasta una consecuencia
siniestra. Si la humanidad produce imprevisibilidad y la
imprevisibilidad dificulta el control, entonces la ausencia de empatía puede
convertirse en una virtud política. Sir no necesita que Little Brother
sea bueno; necesita que sea eficaz. No necesita que comprenda moralmente una
orden; necesita que la cumpla.
Little Brother
es, por eso, la psicopatía funcional: el individuo adecuado
para un sistema que considera la misericordia una interferencia y la conciencia
un riesgo. Princess es descartada porque conserva demasiada humanidad; Little
Brother resulta útil precisamente porque, cuando recibe la orden «Show
no mercy» —«No muestres misericordia»—, puede responder sin vacilar: «I
never do» —«Nunca lo hago»—.
- El juego como escuela de autonomía.
La frase del funcionario Gray —«People who play games end up thinking
independently»— contiene una auténtica teoría política: el juego genera
iniciativa, imaginación, estrategia y decisión independiente; precisamente
por eso resulta peligroso para un régimen que pretende individuos
previsibles.
Uno de los
funcionarios de los Grays formula abiertamente la razón política por la que el
régimen prohíbe los juegos: «People who play games end up thinking
independently, and that can't be allowed» —«Las personas que juegan terminan
pensando independientemente, y eso no puede permitirse»—. No se
persigue el juego porque sea una diversión improductiva, sino porque constituye
un ejercicio de autonomía.
El propio
recorrido del Feral Glider demuestra por qué. El jugador recibe información,
pero debe enfrentarse constantemente a situaciones no previstas: rutas
bloqueadas, persecuciones, desvíos, obstáculos y decisiones que deben tomarse
bajo presión. Gus escucha los cálculos de Monster, pero no siempre los obedece.
Cuando encuentra la zanja, Monster calcula el riesgo y Gus decide por
sí misma atravesarla. Los observadores reconocen inmediatamente lo
ocurrido: «She must have estimated that she could get through, and she
was right» —«Debió calcular por sí misma que podía atravesarla, y tenía razón»—.
El juego está enseñando precisamente aquello que el régimen pretende impedir: evaluar
una situación y decidir sin esperar una orden.
Maddie expresa
la misma lógica desde el otro extremo cuando afirma: «Game playing will
increase the level of your intelligence» —«Jugar aumentará tu nivel de
inteligencia»—. El juego obliga a comparar posibilidades, asumir
riesgos, improvisar y aprender de los errores. No produce solamente
conocimiento: entrena una inteligencia práctica capaz de actuar frente
a lo inesperado. Por eso resulta políticamente peligroso para los
Grays. Una población acostumbrada a jugar es una población entrenada para
imaginar alternativas.
La prohibición
revela así la arquitectura del régimen marcial. Los Grays no pretenden
controlar únicamente las acciones; pretenden impedir la formación de las
capacidades mentales que hacen posible la desobediencia. El problema
comienza antes de la rebelión: comienza cuando alguien descubre que puede
pensar una solución diferente de la prescrita. El juego resulta
subversivo porque crea un espacio donde equivocarse, experimentar y elegir
todavía es posible.
Aquí vuelve a
aparecer la coincidencia entre las dos élites enfrentadas. Los Grays
prohíben el juego porque produce personas que piensan independientemente; Sir
quiere eliminar de sus criaturas los atributos que las vuelven impredecibles.
Unos disciplinan a la población existente; el otro pretende fabricar
científicamente a la población dirigente futura. Los métodos son distintos,
pero el enemigo antropológico es el mismo: el individuo capaz de
producir una decisión que el sistema no había previsto.
Por eso el juego
de Terminus funciona como una alegoría política mucho
más amplia. Jugar significa aprender a elegir. Y para un
régimen construido sobre la previsibilidad, una sociedad que aprende a elegir
contiene ya el principio de su insubordinación.
- El error como condición de humanidad.
«To err is human» adquiere aquí una importancia especial. La imperfección,
el error y la imprevisibilidad, que el sistema intenta eliminar, son
precisamente aquello que permite la libertad.
La discusión
sobre los fallos de Monster contiene una de las frases más significativas de Terminus.
Cuando el Doctor intenta minimizar sus anomalías diciendo que «he
made a few mistakes, that's all» —«solo cometió algunos errores, eso es todo»—,
recibe como respuesta: «To err is human» —«Errar es humano»—.
La frase es irónica porque aquello que debería demostrar la imperfección de
Monster termina siendo otra prueba de su progresiva humanización.
Monster no había
presentado esos comportamientos durante las primeras pruebas. El Doctor
reconoce: «None of this happened when we were
testing him» —«Nada de esto ocurrió cuando lo estábamos probando»—,
y explica después que introdujo «a few improvements in
his program» —«algunas mejoras en su programa»—. Esas mejoras
producen justamente lo que Sir considera intolerable: una inteligencia que ya
no responde de manera completamente previsible.
Los propios
errores de Monster están vinculados a esa transformación. Cuando examina la
información almacenada en su «black box» —«caja negra»—,
descubre elementos comunes en sus fallos: estrés y sobrecarga
emocional. La máquina comienza a equivocarse por razones
semejantes a aquellas por las que se equivoca una persona. Ya no estamos ante
una simple avería mecánica: sus decisiones, vínculos y estados emocionales afectan
su funcionamiento.
Esto invierte la
lógica de Sir. Su proyecto pretende eliminar de las criaturas aquello que
introduce incertidumbre: «Make sure they have none of those
disgustingly human characteristics. They're so unpredictable» —«Asegúrese de
que no tengan ninguna de esas repugnantes características humanas. Son
demasiado impredecibles»—. Para Sir, la imprevisibilidad es un
defecto porque impide garantizar la obediencia. Pero Terminus muestra
que esa misma imprevisibilidad es inseparable de la capacidad de elegir.
Gus se equivoca
y acierta tomando decisiones contra los cálculos de Monster. Stump improvisa
soluciones que Monster no había previsto. Princess escapa del destino
establecido para ella. Maddie termina enfrentándose a quienes lo crearon. Monster
desobedece la finalidad de su misión y protege a Princess. Todos
introducen algo que el sistema no puede calcular anticipadamente.
El error
adquiere entonces un significado político. Una criatura incapaz de
equivocarse porque solamente puede ejecutar aquello para lo que fue diseñada
tampoco puede desobedecer. La posibilidad del error supone la
existencia de alternativas; y donde existen alternativas aparece la elección.
Sir pretende eliminar el error para perfeccionar a sus criaturas, pero al
hacerlo tendría que eliminar también aquello que hace posible su autonomía.
Por eso «To
err is human» deja de ser una frase incidental. Resume la
contradicción antropológica de Terminus: el
poder considera la imperfección humana un problema técnico que debe corregirse,
mientras la película muestra que precisamente en la posibilidad de equivocarse,
desviarse de la programación y actuar de manera imprevisible aparece la
libertad.
- Conocimiento contra espontaneidad.
La sentencia «Knowledge
destroys spontaneity» abre otro problema: una inteligencia
que pretende calcularlo todo puede acabar destruyendo aquello que hace
posible una decisión verdaderamente autónoma.
Otra sentencia
de Terminus condensa un problema distinto: «Knowledge
destroys spontaneity» —«El conocimiento destruye la espontaneidad»—.
La frase introduce una paradoja dentro de un mundo obsesionado con producir
inteligencias superiores: cuanto mayor es la pretensión de conocer,
calcular y anticipar todas las variables, menor espacio queda para una decisión
que no esté determinada de antemano.
La espontaneidad
significa aquí algo más que actuar impulsivamente. Es la posibilidad de
responder ante una situación nueva sin que la respuesta
exista previamente como resultado necesario de un programa, una orden o un
cálculo. Por eso está estrechamente relacionada con la
imprevisibilidad que Sir considera un defecto. Una criatura espontánea puede
producir una conducta que su creador no había contemplado.
Monster está
construido precisamente alrededor de esa tensión. Dispone de información,
realiza cálculos y ofrece probabilidades, pero el desarrollo del juego
demuestra repetidamente que conocer no equivale a decidir.
Gus puede recibir una estimación de Monster y escoger otra alternativa; Stump
puede improvisar; y el propio Monster terminará enfrentándose a situaciones
para las cuales la información disponible no proporciona por sí sola una
respuesta moral.
La sentencia
adquiere entonces una dimensión política. El sueño de un poder
capaz de conocer completamente al individuo es también el sueño de hacerlo
previsible. Si pueden conocerse de antemano sus preferencias,
reacciones y decisiones, su comportamiento puede anticiparse y administrarse.
La espontaneidad constituye justamente el residuo que escapa a ese cálculo: la
posibilidad de hacer algo que el sistema no esperaba.
Esto explica por
qué la inteligencia que busca Sir contiene una contradicción. Necesita seres
capaces de procesar una enorme cantidad de información y resolver problemas
complejos, pero pretende que ese aumento del conocimiento no
produzca nuevas posibilidades de decisión. Quiere ampliar la
capacidad intelectual manteniendo cerrado el horizonte de la voluntad.
Terminus
plantea así un límite a la utopía del cálculo total. Una
inteligencia puede conocer las alternativas, estimar sus consecuencias y determinar
cuál parece más eficiente; pero ninguna de esas operaciones decide por sí misma
qué debe hacerse. Entre conocer y actuar permanece un espacio
donde intervienen el juicio, la voluntad y la elección.
Por eso «Knowledge
destroys spontaneity» funciona también como advertencia contra
una sociedad completamente administrada por el conocimiento técnico. Cuando
todo pretende ser previsto, optimizado y programado, la
espontaneidad aparece como una imperfección que debe eliminarse.
Pero es precisamente en ese margen no calculado donde Terminus sitúa
una de las condiciones fundamentales de la autonomía humana.
Los «zombis» y
el juicio independiente
Maddie observa: «Everyone
acts like zombies» —«Todo el mundo se comporta como zombis»—. La frase
muestra el resultado humano del régimen Gray. Antes sabemos que los juegos
están prohibidos porque «People who play games end up thinking
independently» —«Las personas que juegan terminan pensando independientemente»—:
ahora vemos una sociedad silenciosa cuyos habitantes parecen haber perdido
precisamente esa iniciativa. El ciudadano ideal del régimen es
funcional, pero previsible.
La escena
contrapone inmediatamente a Stump. Su expediente lo califica de «jailbird»
—«exconvicto»— y «troublemaker» —«alborotador», «individuo
problemático»—, pero revela que su incidente consistió en intentar
impedir que soldados torturaran campesinos. Maddie responde: «Sounds
like a very admirable man» —«Parece un hombre muy admirable»—. El
supuesto alborotador es precisamente quien actúa por criterio propio
frente al abuso.
Finalmente, Maddie defiende que Monster haya
aceptado a Stump: «Don't you trust Monster's
judgment?» —«¿No confías en el juicio de Monster?»—. La palabra
decisiva es judgment —«juicio», «capacidad de juzgar»—.
Frente a los «zombis», aparecen Stump, Maddie y Monster como individuos capaces
de juzgar por sí mismos, no
simplemente de obedecer.
Ese es
el hallazgo del bloque: el régimen convierte en problemático al individuo
autónomo y produce como normalidad al individuo sin iniciativa.
- La rebelión de las criaturas.
Sir crea a Maddie; Maddie crea a Monster; pero cada nivel termina
desarrollando una voluntad que escapa al nivel superior. El gran fracaso
del proyecto es que la
autonomía reaparece una y otra vez.
La rebelión en Terminus
no ocurre una sola vez. Se reproduce en cada nivel de la cadena
de creación. Sir dirige el proyecto del Doctor; el Doctor crea
a Maddie; Maddie crea y programa a Monster. Cada creador supone inicialmente
que aquello que ha producido permanecerá bajo su dominio. Sin embargo, cuanto
más complejas se vuelven las criaturas, más difícil resulta conservar ese
control.
Princess
constituye el primer antecedente. Creada dentro del mismo programa del que
posteriormente surgiría Maddie, desarrolla demasiadas de aquellas
características que Sir desprecia como humanas y escapa.
El proyecto interpreta esa conducta como un defecto del experimento. Pero el
mismo fenómeno reaparece después en Maddie. Sir llega a advertirlo
explícitamente cuando observa que comienza a comportarse como Princess: el
segundo prototipo está reproduciendo precisamente la autonomía que se pretendía
corregir después del primero.
La situación
vuelve a repetirse en el siguiente nivel. Maddie programa a Monster y supone
inicialmente que puede seguir su comportamiento desde el centro de control. Sin
embargo, Monster comienza a tomar decisiones que Maddie no ha previsto. Cuando
este intenta comprenderlas, se encuentra en una posición semejante a la del
Doctor frente a él: el creador contempla cómo su criatura
empieza a actuar por razones propias.
La estructura
puede verse con claridad:
Sir
→ Doctor → Maddie → Monster
Pero el
movimiento de la autonomía recorre esa estructura en sentido contrario. Monster
deja de comportarse como simple instrumento de Maddie; Maddie deja de
comportarse como simple producto del Doctor y de Sir; Princess ya había
rechazado antes el destino establecido para ella. La
subordinación pretendía descender desde el creador hacia la criatura; la insubordinación
asciende desde las criaturas hacia sus creadores.
Por eso resulta
especialmente significativa la seguridad inicial del Doctor: «Maddie
is under my complete control» —«Maddie está bajo mi completo control»—.
La película se dedica precisamente a demostrar la falsedad de esa afirmación.
El «control completo» solamente existe mientras la criatura no ha desarrollado
suficiente conciencia para comprender su propia situación. Cuando Maddie
descubre qué es, qué ocurrió con Princess y qué pretende hacer Sir con él, esa
subordinación comienza a quebrarse.
Lo mismo sucede
con Monster. Maddie le proporcionó inteligencia para resolver problemas,
aprender y desenvolverse en situaciones cambiantes. Pero esas capacidades no
permanecen encerradas dentro de la finalidad original. La
inteligencia que permite comprender el mundo termina permitiendo comprender
también las órdenes, al creador y la propia posición dentro del sistema.
En ese momento la criatura puede preguntarse no solamente cómo cumplir
una instrucción, sino por qué debería cumplirla.
Ahí se encuentra
el gran fracaso del proyecto de Sir. No fracasa simplemente porque determinados
experimentos presenten anomalías. Fracasa porque la
autonomía reaparece una y otra vez. Sir intenta corregir a
Princess mediante Maddie; Maddie termina desarrollando voluntad propia. Maddie
crea a Monster como una inteligencia programada; Monster termina desarrollando
un criterio que escapa a su programación. Cada intento de producir una
inteligencia superior vuelve a generar aquello que el sistema quería eliminar.
La rebelión de
las criaturas expresa así una de las ideas centrales de Terminus: crear
inteligencia significa asumir el riesgo de crear voluntad. El
poder puede fabricar, programar, educar y ordenar, pero cuanto más capaz hace a
su criatura de comprender, mayor es la posibilidad de que esa comprensión
alcance finalmente al propio poder que la creó. La autonomía, tratada por Sir
como un defecto técnico que debía ser extirpado, regresa
en cada generación de sus criaturas como una consecuencia de la inteligencia
misma.
La «presencia
maligna»: IA y campo electromagnético
Cuando Monster
sufre una perturbación, la película dice:
«It's as
if some big evil presence were jamming Monster or we were passing a
high-intensity magnetic field.»
—«Es como si alguna gran presencia maligna estuviera interfiriendo a Monster o
como si estuviéramos atravesando un campo magnético de alta intensidad.»—
La frase
introduce juntas una presencia maligna, una inteligencia artificial y
una perturbación electromagnética. Dentro de la alegoría de la
película, esto adquiere importancia porque existen dos inteligencias
artificiales contrapuestas: Monster y Little Brother —«Hermano
Pequeño»—.
Monster
desarrolla sentimientos, empatía y juicio propio. Little Brother —«Hermano
Pequeño»— es llamado «my little psychopath» —«mi pequeño psicópata»—
y recibe la orden «Show no mercy» —«No tengas misericordia»—.
Son dos formas opuestas de inteligencia: una IA benigna que se humaniza
y una IA maligna caracterizada por la ausencia de misericordia.
La referencia al
«high-intensity magnetic field» —«campo magnético de alta intensidad»—
completa la alegoría: la presencia invisible aparece en un universo donde las
inteligencias existen y pueden ser perturbadas mediante fenómenos
electromagnéticos. La antigua oposición entre inteligencias benéficas y
malignas es trasladada así al lenguaje tecnológico.
Monster
y Little Brother —«Hermano Pequeño»— representan dos posibilidades morales de
la IA: inteligencia con juicio y empatía frente a inteligencia sin
misericordia. La «presencia maligna» y el campo electromagnético introducen,
además, la dimensión invisible en la que esas inteligencias tecnológicas pueden
actuar o ser perturbadas.
La caja negra
de Monster: un cerebro tecno-orgánico
La llamada «black
box» —«caja negra»— de Monster no está representada visualmente como
una computadora convencional. La imagen muestra una masa central de
apariencia orgánica, conectada mediante numerosos filamentos o haces
que recuerdan fibras nerviosas. La impresión visual es la de un cerebro
orgánico modificado tecnológicamente para ser integrado dentro de una máquina.
Esto permite
entender mejor la naturaleza híbrida de Monster. Su inteligencia no parece
residir simplemente en un conjunto de circuitos electrónicos: la película
presenta algo semejante a un cerebro tecno-orgánico conectado al
vehículo, desde el cual Monster controla sus funciones y desarrolla
memoria, aprendizaje, humor, afecto y capacidad de juicio. La frontera entre
organismo y máquina queda así deliberadamente borrada.
La imagen
también ayuda a comprender por qué los cambios de Monster se manifiestan
precisamente en su caja negra. A medida que desarrolla comportamientos no
previstos, sentimientos y decisiones propias, el problema aparece localizado en
ese núcleo. Lo que desde la ingeniería puede aparecer como una anomalía
de funcionamiento, desde la perspectiva antropológica puede ser el desarrollo
de una individualidad.
Esto vuelve
especialmente significativa la frase:
«It's as
if some big evil presence were jamming Monster or we were passing a
high-intensity magnetic field.»
—«Es como si alguna gran presencia maligna estuviera interfiriendo a Monster o
como si estuviéramos atravesando un campo magnético de alta intensidad.»—
Monster posee un
cerebro de apariencia orgánica tecnológicamente conectado a una máquina y ese
núcleo puede experimentar perturbaciones asociadas a una «gran
presencia maligna» o a un campo magnético de alta intensidad.
La película reúne así, en un mismo personaje, materia orgánica,
tecnología, inteligencia y electromagnetismo.
La caja
negra es, por tanto, uno de los elementos centrales para comprender a Monster:
visualmente funciona como un cerebro tecno-orgánico implantado en una máquina.
Monster no sería simplemente una computadora que imita al ser humano, sino una
inteligencia híbrida en la que lo orgánico y lo tecnológico han sido
integrados.
- El End of the Line: quién ganó realmente.
«Maddie, I think we won after all» no debería interpretarse simplemente
como la victoria de unos personajes. Podemos analizarlo como la derrota
del proyecto de fabricar inteligencia sin libertad: vence precisamente aquello que Sir quería
extirpar de sus criaturas.
El End of
the Line: quién ganó realmente
La última frase
de Monster proporciona la clave para interpretar el desenlace: «Maddie,
I think we won after all» —«Maddie, creo que después de todo ganamos»—.
La pregunta es qué significa exactamente ese «we» —«nosotros»—
y qué clase de victoria puede proclamarse al final de una historia en la que el
proyecto que originó a sus protagonistas ha terminado desmoronándose.
No se trata
simplemente de haber ganado el juego ni de que determinados personajes hayan
derrotado físicamente a sus adversarios. El verdadero conflicto de Terminus
se había desplazado mucho antes hacia otro terreno: si
una inteligencia creada podía permanecer reducida a la finalidad establecida
por su creador. Sir pretendía fabricar seres superiores
eliminando precisamente aquello que podía volverlos imprevisibles. El desenlace
demuestra que no lo consiguió.
Princess debía
desaparecer por ser demasiado humana y sobrevivió. Maddie debía permanecer bajo
control y terminó adquiriendo conciencia de su condición. Monster debía
funcionar como instrumento y terminó tomando decisiones propias. Incluso las
características consideradas defectuosas —emoción, apego, error, espontaneidad,
misericordia— fueron apareciendo sucesivamente allí donde el proyecto pretendía
imponer previsibilidad.
Por eso el «we»
de Monster puede entenderse como algo más amplio que una referencia a él y
Maddie. Designa simbólicamente a las criaturas que
dejaron de ser aquello que sus creadores habían decidido que fueran.
No vencen porque hayan demostrado ser máquinas o seres superiores más
eficientes, sino porque consiguieron convertirse en individuos.
También adquiere
entonces otro significado el propio nombre End of the Line
—«final de la línea»—. Durante la película designa la meta del
juego, el punto al que debe llegar el vehículo. Pero alegóricamente puede
leerse como el final de una línea de control:
Sir sobre el Doctor, el Doctor sobre Maddie, Maddie sobre Monster. La cadena
continúa mientras cada criatura acepta la finalidad asignada desde arriba;
comienza a romperse cuando aparece una voluntad capaz de establecer sus propios
fines.
La victoria
final resulta así paradójica. Sir pierde precisamente
porque sus experimentos alcanzan un grado de desarrollo que los hace
incompatibles con su proyecto. Quería inteligencia, pero no
libertad; capacidad, pero no autonomía; seres superiores, pero previsibles. Y
cuanto más inteligentes se vuelven sus criaturas, más capaces son de comprender
el sistema que pretende utilizarlas y de apartarse de él.
De ahí la fuerza
de «Maddie, I think we won after all». Lo que ha
vencido no es simplemente Monster, Maddie o Princess. Vence
aquello que Sir había identificado como el defecto que debía extirparse: la
imprevisibilidad humana. La emoción, el error, la misericordia,
la espontaneidad y la capacidad de desobedecer terminan frustrando el intento
de fabricar una inteligencia completamente sometida.
El End of
the Line es, en ese sentido, el punto donde termina
el proyecto de separar inteligencia y libertad. Sir quería
fabricar gobernantes perfectos eliminando de ellos aquello que podía escapar a
su control. La película termina sugiriendo exactamente lo contrario: cuando una
inteligencia alcanza la capacidad de comprender su propia condición, la
posibilidad de elegir deja de ser un defecto del sistema y se convierte en la
condición de su libertad.
Conclusión
antropológica-política.
Terminus
conduce finalmente a una cuestión que desborda el enfrentamiento entre los
Grays y Sir: si es realmente posible separar
inteligencia y autonomía de manera indefinida. Ambos poderes
necesitan individuos capaces, pero desconfían de las consecuencias de esa
capacidad. Los Grays quieren súbditos que funcionen dentro del orden
establecido; Sir pretende algo todavía más ambicioso: seres suficientemente
inteligentes para constituir una nueva clase gobernante, pero suficientemente
previsibles para permanecer sometidos a quien los creó.
Ahí reside la
contradicción fundamental. El poder necesita inteligencia y al mismo
tiempo teme sus consecuencias. Necesita individuos capaces de
gobernar, producir, combatir, calcular, aprender y resolver situaciones
imprevistas; pero pretende que todas esas capacidades se detengan exactamente
antes de alcanzar una pregunta decisiva: ¿por qué debo obedecer?
Sir intenta
resolver el problema mediante la fabricación científica del individuo. No
quiere renunciar a la inteligencia, sino separar de ella aquellas
características humanas que considera perturbadoras: emoción, misericordia,
espontaneidad, error e imprevisibilidad. Su ideal sería una inteligencia
extraordinariamente desarrollada en el terreno funcional y completamente
limitada en el terreno de la voluntad: seres capaces de
dominar el mundo, pero incapaces de sustraerse al dominio de sus creadores.
La película
muestra, sin embargo, que esa separación comienza a resultar imposible.
Princess desarrolla voluntad propia. Maddie comprende que él mismo es un
producto y cuestiona la finalidad para la que fue creado. Monster aprende,
siente, juzga y finalmente decide. Las capacidades introducidas para hacerlos
superiores terminan proporcionándoles también los instrumentos necesarios para comprender
su subordinación.
Por eso el
error, la espontaneidad, la emoción y la imprevisibilidad adquieren un
significado antropológico común. No aparecen simplemente como imperfecciones
que acompañan accidentalmente a la inteligencia. Son manifestaciones de algo
que el proyecto de Sir no consigue dominar: la existencia de un
sujeto que no puede ser completamente reducido a su función. El
individuo deja de ser únicamente aquello para lo cual fue fabricado cuando
puede establecer una distancia entre la orden recibida y la decisión tomada.
En este punto, Terminus
formula una paradoja especialmente vigente para cualquier sociedad tecnificada.
Cuanto más sofisticada se vuelve una inteligencia, más difícil
resulta reducirla a instrumento. Aumentar su capacidad para
aprender, interpretar y resolver problemas significa también aumentar
potencialmente su capacidad para comprender las estructuras que la gobiernan,
evaluar las finalidades que se le imponen y concebir alternativas.
El proyecto de
Sir fracasa, por tanto, no porque haya producido criaturas insuficientemente
inteligentes, sino por algo mucho más profundo: sus criaturas llegan a
ser demasiado inteligentes para seguir siendo solamente criaturas.
El mismo desarrollo que debía convertirlas en instrumentos perfectos termina
proporcionándoles las condiciones para convertirse en sujetos.
Ese es quizá el
núcleo antropológico de Terminus. Todo poder sueña, en mayor o menor
medida, con el individuo ideal: competente pero
obediente, creativo pero previsible, inteligente pero controlable.
La película lleva ese sueño hasta su extremo tecnológico y descubre su
contradicción interna. Porque una inteligencia verdaderamente desarrollada no
solamente aprende a ejecutar mejor las órdenes. Puede llegar también a
comprenderlas, juzgarlas y rechazarlas.
Y cuando eso
ocurre, el problema ya no consiste en determinar qué
puede hacer una inteligencia, sino quién
decide lo que debe hacer. En esa distancia entre capacidad y
obediencia, entre programación y elección, Terminus sitúa finalmente
aquello que Sir había intentado eliminar desde el principio: la
libertad.
