Durante 2020, el año de la plaga, aceptamos ver partidos de futbol en la televisión con público falso, masas digitalizadas con sonido ambiental apócrifo. Las gradas cubiertas de puntos de colores podían parecer al ojo distraído un estadio lleno y el rumor que imitaba los gritos, aplausos y cantos del público era tan genérico que podía pasar por ruido blanco. Los programadores trataban así de ocultar la tétrica realidad de los estadios vacíos. Contemplábamos desde el confinamiento doméstico un presunto ambiente de fiesta, con su carga de FoMO (Fear of Missing Out o miedo a perderse la diversión), una parodia de normalidad como tibio remedio para la saudade futbolera. Nos acostumbramos al enojoso ruido de viejo juego de video, sin contexto y en bucle como si fuera un sampleo de la felicidad del público ausente de otros tiempos. Consumimos esta falsificación generada con la premisa de que la emoción de un partido depende del estruendo de un estadio lleno. Quizá nunca nada representó mejor la hiperrealidad y la colonización del imaginario por la vida virtual. Los públicos digitalizados eran un engaño que dependía de la complicidad del espectador, quien prefería la ilusión mediática ante el desierto de lo real.
Desde su origen, internet nos ha conducido por el terreno de la psicosis social en un desgarramiento de la intimidad y la vivencia, alimentándonos con mentiras complacientes que han marcado nuestra relación con la tecnología y nuestros semejantes. Una de estas mentiras es el deepfake: fotos y videos falsos de un realismo inaudito, tanto de personas vivas (que dieron o no su consentimiento para que alguien manipulara su semejanza), como de gente afectada de sus facultades mentales o que ha muerto (y por lo tanto no puede aprobar ese uso), o bien de personajes ficticios y personas inexistentes.
Las imágenes sexuales falsificadas son más viejas que internet. En estos videos explícitos aparecen caras de estrellas de cine o celebridades copiadas y pegadas a los cuerpos de protagonistas porno… son falsificaciones asombrosamente realistas
FALSIFICAR EL SEXO Y SEXUALIZAR LO FALSO
Más del 90 por ciento de los deepfakes que circulan hoy en la red son pornográficos y están posteados tanto en espacios especializados para las falsificaciones como en sitios porno convencionales. Dada la naturaleza gratuita de gran parte de la pornografía disponible es difícil saber qué tan grande sería el mercado (quién estaría dispuesto a pagar por esto), pero la demanda de estos productos es enorme. La empresa Deeptrace reporta que la porno deepfake ha acumulado más de 136 millones de vistas a partir de febrero de 2018 y que ocho de los diez principales sitios porno ofrecen este tipo de falsificaciones.
Las imágenes sexuales falsificadas mediante Photoshop o cualquier otra técnica son más viejas que internet. En estos videos explícitos aparecen caras de estrellas de cine o celebridades copiadas y pegadas a los cuerpos de protagonistas porno. Pero ya no se trata de un rudimentario cut and paste o del uso de dobles sino de falsificaciones asombrosamente realistas, donde actrices famosas como Scarlett Johansson, Anya Taylor-Joy y Emma Watson, entre muchas otras, parecen participar desenfadada e impúdicamente en toda clase de actos sexuales.
Este fenómeno comenzó cuando un usuario de Reddit, con el seudónimo Deepfakes, creó un foro con ese nombre el 2 de noviembre de 2017, dedicado a videos porno falsificados mediante algoritmos de aprendizaje profundo (deep learning) para realizar los intercambios de cuerpos. La técnica más popular usada para esto se llama Red Generativa Antagónica o GAN (Generative Adversarial Network), en la cual dos redes neuronales compiten: una generativa crea candidatos a partir de una base de datos y una discriminativa los evalúa, forzándola a eliminar las huellas de la manipulación y mejorando el acoplamiento de gestos faciales y movimientos corporales hasta que no sea posible distinguir la imagen sintética de la real.
Los progresos en estos sistemas se han traducido en una tecnología de falsificación impresionante. Basta considerar los avances entre el video apócrifo que apareció hace cuatro años de Obama (quien era doblado por Jordan Peele) con los videos de un falso Tom Cruise que se volvieron virales en Tik Tok a principios de 2021, creados por @deeptomcruise, que es el especialista en efectos especiales Chris Ume. Esos videos fueron el resultado de semanas de generación de imágenes por computadora, efectos especiales de alta calidad y un imitador profesional de Cruise. Cuando fueron escaneados en varios de los detectores disponibles no fueron señalados como falsos. Las imágenes de @deeptomcruise están por ahora entre los deepfakes más sobresalientes, pero éstos seguirán proliferando y mejorando de manera asombrosa, mientras la tecnología seguirá simplificándose, abaratándose y volviéndose más accesible a cualquier usuario. Como dice Ume, estamos en el nivel que estaba Photoshop hace veinte años.
Hoy con un mínimo o nulo conoci-miento técnico se pueden elaborar falsificaciones pasables. Lamentablemente, esto se ha usado para crear videos de pornovenganza, para destruir reputaciones y carreras, humillar, acosar, intimidar y extorsionar mujeres, casi siempre mujeres, y algunas de ellas menores de edad, con manipulaciones verosímiles donde parecen participar en actos sexuales y situaciones obscenas. Ser víctima de un deepfake es una violación virtual que puede ser casi tan devastadora como un acto sexual no consensuado, por las consecuencias sociales y profesionales que implica. Un video así puede representar una catástrofe moral o económica y las posibilidades de demandar por difamación son escasas, más si se debe pelear en tribunales internacionales. Y exigir que el material falso sea retirado de foros públicos es quijotesco, ya que una vez posteado es casi inevitable que vuelva a aparecer y reproducirse como una infección viral por la red.
Un ejemplo de cómo la propia tecnología viene marcada con una ideología misógina brutal es la aplicación DeepNude, la cual ofrece “desnudar” las imágenes de mujeres vestidas (sólo de mujeres) con que la alimenten. Por el momento el programa es primitivo y en su versión gratuita sobrepone letreros que dicen Fake en las imágenes que transforma. Lejos de ser lo que promete, es una aplicación que anuncia lo que inevitablemente vendrá. En la red social Telegram ha aparecido por lo menos un bot gratuito que genera desnudos falsos para quien suba fotos de mujeres vestidas. De acuerdo con la empresa de seguridad Sensity, se han detectado más de cien mil imágenes generadas y compartidas en los canales públicos de esta red hasta octubre de 2020.
Los desnudos creados no son explícitos, pero al pagar una suma modesta se pueden obtener desnudos completos. Esta epidemia de imágenes clandestinas servirá como pretexto para imponer más censura y será usada tanto por grupos conservadores como progresistas para limitar o impedir el acceso a materiales pornográficos legítimos. Puede provocar que comencemos a proteger nuestras fotografías posteadas en línea en un tiempo de selfies y desenfrenada obsesión por posar y postear. La digitalización masiva de documentos y procedimientos trajo una epidemia de robo de identidades y un mercado incontrolable de números de tarjetas de crédito clonados en la dark web, pero ahora es nuestra semejanza, nuestro rostro, el que es objeto de plagios.
CRISIS MANIPULADAS
Hasta hoy, no podemos responsabilizar a uno de estos videos manipulados de haber causado una auténtica crisis financiera internacional, una catástrofe política o una guerra. Sin embargo, el potencial está ahí. Uno de los casos más sonados es el del presidente de Gabón, Ali Bongo, quien desapareció de la vida pública por un largo periodo y se rumoraba que estaba grave o muerto. A finales de 2018 apareció en el tradicional mensaje de fin de año, donde se le veía tieso y artificial.
Empezaron a correr rumores de que se trataba de un deepfake, luego una parte del ejército lanzó un intento de golpe de Estado. Los golpistas fracasaron, Bongo reapareció y aún ahora no ha quedado claro si el video era auténtico. Al margen de la dificultad para certificar un video, sin duda el ambiente está dominado por la desconfianza generalizada del público ante la posibilidad del uso de esa tecnología. Incidentes como este se reproducirán inevitablemente.
Estas manipulaciones podrán tener un impacto devastador en la democracia, tanto en los procesos electorales como en los candidatos a puestos públicos y los funcionarios electos. Podrán dañar la confianza en las instituciones oficiales y lesionar el tejido social al aumentar las tensiones sociales, poner en riesgo la seguridad pública, así como debilitar la credibilidad de periodistas y medios informativos.
Es posible imaginar que esta tecnología podría servir incluso para fabricar testigos con el fin de inculpar a personas inocentes de crímenes.
Alfred Korzybski dijo en el siglo pa-sado: “El mapa no es el territorio”, para explicar la relación entre el objeto y su representación. Los mapas falsos han sido usados a lo largo de la historia para engañar, confundir o ilusionar. La geografía ficción ha servido para anunciar falsas amenazas o como propaganda para despertar la xenofobia y el patriotismo beligerante. Las fotos de la Tierra captadas desde el espacio llevan décadas siendo utilizadas para tomar decisiones en materia de geopolítica, desde lanzar amenazas y misiles hasta enviar ayuda a víctimas de desastres. Recordemos los célebres misiles soviéticos que se dirigían a La Habana y las falsas plantas nucleares de Saddam Hussein. Hoy tecnologías como CycleGAN pueden usarse para manipular imágenes aéreas al modificar las características geográficas, las construcciones y peculiaridades de un lugar determinado. Así se pueden crear u ocultar movimientos de tropas, baterías de misiles, fosas comunes o desplazamientos de poblaciones. Con esto se puede propagar desinformación, crear pánico y sembrar confusión, así como esconder crímenes y catástrofes.
Pensemos que alguien logre hackear los mapas de Google Maps o Waze o cualquier sistema de GPS y dirija a sus miles o millones de usuarios en direcciones incorrectas por todo el mundo: el potencial para el caos es enorme. Estas modificaciones podrán engañar al ojo humano y a sistemas de inteligencia artificial.
Otro uso político de esta tecnología es la fabricación de masas de “personas”. Sitios en la web como https://thispersondoesnotexist.com/ y varias empresas se dedican a crear rostros artificiales para venderlos a una variedad de campañas. Estas caras aparentemente inocuas se han convertido en varios países en un arma política porque son las identidades que se atribuyen a cuentas bots en redes sociales y en propaganda política. Así crean una ilusión de popularidad de sus representantes o causas. A nivel corporativo, entre otras estrategias de marketing, estos personajes también se usan para dar verosimilitud a falsos testimonios de presuntos clientes satisfechos de un producto o servicio.
En plena pandemia, el canal de televisión sudcoreano Maeil Broadcasting Network (MBN) transmitió su emisión noticiosa con la presentadora Kim Joo-Ha; el contenido y formato del programa fue convencional, todo parecía normal, sin embargo no lo era, ya que la presentadora no era real sino una versión generada por computadora, un deepfake que tenía su voz, apariencia, expresiones y gestos. MBN había prevenido al público de la sustitución y la respuesta de la audiencia fue ambigua, algunos se mostraban sorprendidos por el realismo, otros se preocupaban por la carrera de la presentadora. Por más que la empresa intentó calmar al auditorio y su personal, el mensaje era clarísimo: la presencia humana en la pantalla está sobrevalorada (y sobrepagada) y es fácil de sustituir.
No es necesario insistir en que vivimos dentro de un tsunami de desinformación y falsedades. Desde los comienzos de la popularización de internet se hizo evidente la necesidad de contar con algún tipo de institución o mecanismo legal que contara con la confianza de los usuarios para validar lo que se publicaba en línea. Al ignorar a los “medios de prestigio”, la cultura de la era digital quedaba a la deriva en un terreno salvaje donde se podía decir cualquier cosa sin temor a las consecuencias. Sin embargo, esa estructura legal nunca se materializó y nos encontramos en un momento en que todo es manipulable y cuestionable.
La tecnología puede usarse para crear u ocultar movimientos de tropas, fosas comunes o desplazamientos de poblaciones. Con esto se puede propagar desinformación, crear pánico
ANTÍDOTOS CONTRA EL ENGAÑO
Si bien los usos potencialmente nefastos de los deepfakes dominan nuestras preocupaciones, es importante señalar que esta tecnología tiene usos prácticos. Por ejemplo, puede usarse para que al doblar las voces de actores en el cine, los movimientos faciales coincidan perfectamente con las palabras. También se emplea para restaurar películas y programas de video, además de que se pueden crear personajes históricos que reflejen a la perfección las representaciones pictóricas, escultóricas o fotográficas existentes, así como manufacturar personajes ficticios insólitos. El deepfake puede ser considerado una expresión artística digna de ser protegida mientras no afecte a nadie.
Además, este recurso tiene un altísimo potencial comercial, pero la connotación negativa mantendrá a los inversionistas y corporaciones alejados para evitar involucrarse en proyectos que puedan dañar su imagen. Por eso ya comienzan a reinventarlos no como falsificaciones sino como “avatares de video generados por inteligencia artificial”. Varias empresas pelean por posicionarse en este terreno que ven como el futuro de la creación de contenidos, según afirma Victor Riparbelli, director de la empresa británica de videos de entrenamiento corporativo y publicidad Synthesia. Por tanto, hoy insisten en exhibir preocupación por la ética de sus productos y las justificaciones morales de emplear criaturas digitales para sustituir a personas de carne y hueso.
El desarrollo y la proliferación del deepfake son polémicos e inevitables. La mejor manera de combatir su insidioso poder sería mediante legislación, lo cual siempre es un arma de dos filos. Es necesario que las plataformas, los medios de comunicación, legislado-res y autoridades encuentren maneras de proteger a los ciudadanos sin por lo tanto obstaculizar su uso tanto creativo como humorístico y sarcástico. Uno de los principales problemas con esta tecnología es que nunca depende de un solo autor, sino que hay varios niveles de responsabilidad, desde quien crea las imágenes hasta las plataformas o redes sociales donde se distribuye, recicla, copia y circula fuera de control.
Al no poder confiar en mecanismos legales queda la tecnología y una carrera de inteligencias artificiales: las que crean los deepfakes y las que los detectan. Para esto se entrenan redes neuronales que intentan reconocer las señales más sutiles de falsificaciones en texturas, contrastes y colores, detalles minúsculos en la iluminación, las sombras, los movimientos musculares, parpadeos fallidos (una característica difícil de falsificar), acentos mal imitados, zonas borrosas, sonoridades extrañas en la voz o cualquier elemento que ponga en evidencia la manipulación. Los detectores de deepfakes tienen la misión de reconocer los elementos, a menudo invisibles, que provocan el famoso efecto de Uncanny Valley o Valle inquietante, un término acuñado en 1970 por el ingeniero en robótica Masahiro Mori para describir la peculiar sensación de malestar que producen las imitaciones del rostro humano cuando se acercan a lo real.
En su folleto The State of Deepfakes, la empresa Deeptrace plantea que “El auge de los medios sintéticos y deepfakes nos ha forzado a hacer un descubrimiento perturbador: nuestra creencia histórica de que el video y el audio eran registros confiables de la realidad ya no es sostenible”. Esto pone en entredicho la veracidad que hemos esperado de las tecnologías de representación de la imagen y el sonido, desde las películas hasta las llamadas telefónicas. La manipulación de estos registros siempre fue una posibilidad, especialmente en el cine y el video, donde se creaban ilusiones con una variedad de recursos, pero ahora que la cultura avanza hacia la digitalización de todo en la vida, cualquier representación corre el riesgo de ser clonada, alterada o falsificada.
FALSIFICAR LA FALSEDAD DE LOS INFLUENCERS
Hay otro tipo de falsificación digital que consiste en la creación de personalidades artificiales. Es un viejo fenómeno que se remonta a las estrellas pop japonesas, que sin existir aparecían en revistas, publicaban sus diarios íntimos, mantenían correspondencia con sus fans y cantaban canciones cursis. Estas entidades cedieron su lugar a personajes digitales como la muy famosa avatar digital, Hatsune Miku, que entre otras celebridades en forma de holograma, da conciertos en auditorios. Miku comenzó como la mascota de la empresa Crypton Future Media, que hace aplicaciones de “sintetizadores cantantes con identidad femenina” para el software Vocaloid de Yamaha. Sin embargo, la imagen de Miku con su larguísimo cabello azul, faldas cortísimas y esa seducción prepúber común en el manga y anime la volvió un personaje muy popular que tiene el mérito de haber sido codiseñada por sus fans, quienes definieron su personalidad, escriben la música que ella “canta” (más de tres mil canciones en iTunes y Amazon) y la han convertido en algo más que un ídolo pop y un símbolo sexual.
Recientemente, el grupo AKB48 incorporó a una nueva integrante que es “el ideal platónico de una estrella de pop”, ya que reúne las mejores características (en este momento son 47) de varios miembros de la banda; sus ojos, labios, pelo, orejas y demás fueron copiados para crear un collage: Aimi Eguchi. Esta fabricación canta con una voz tersa, infantil y sensual para promover golosinas y una variedad de productos de los patrocinadores del grupo.
En un tiempo en que los influencers se han convertido en las celebridades más productivas y rentables de la cultura en línea, han aparecido humanos ficticios para ocupar lugares prominentes dentro de la Instagramósfera. Estas criaturas son un caso del simulacro del que hablaba Jean Baudrillard: copias que carecen de un original. Y de esa manera no se trata de copias de lo real sino algo real en sí mismo. Entre los más reconocibles está la supermodelo negra Shudu; el joven Blawko, quien se identifica como robot malviviente; y especialmente Miquela Sousa, mejor conocida como Lil Miquela, una influencer de 19 años brasileña-estadunidense, que tiene más de tres millones de seguidores en Instagram. La identidad de Miquela, creada por un equipo técnico y administrativo de la empresa Brud (un “estudio de transmedia que crea mundos de historias pobladas por personajes digitales”), es la de un robot activista por la justicia social, es decir un woke, que se manifiesta por la campaña Black Lives Matter y la causa LGBTQ. Esto pretende borrar su irrealidad y eliminar las fronteras entre la ficción del mundo de la moda y la complejidad de una realidad de prejuicios, homofobia, misoginia y racismo. Miquela se toma selfies en toda clase de contextos, haciendo lo que hacen los influencers: comer y exhibir una ilusión de la felicidad en el consumo opulento y las marcas de lujo, desde Supreme hasta Chanel. Supuestamente ha ganado hasta diez millones de dólares en contratos como una sofisticada percha de pixeles.
Miquela, con su rostro pecoso y un hueco entre dos dientes, es una propuesta de la belleza con defectos que imita la naturalidad de una chica común. Éste es un ambicioso intento de redefinir los estándares de la belleza para una era en que la perfección parece fácilmente programable, reproducible y diseminable. Si antes se trataba de hacer airbrush o Photoshop a las imágenes de modelos reales para que se vieran sobrenaturales, ahora hay que manipular a los personajes sintéticos para alcanzar la imperfección humana, así como crear la fantasía exótica de una herencia étnica.
Miquela, quien en sus fotos posa con músicos, artistas y otros influencers reales, debutó en abril de 2016, casi nunca aparece en ropa o poses provocadoras, lo suyo es un estilo casual, callejero, desparpajado, desafiante y a la vez conservador. No obstante, es un icono fetichizado que incita al deseo, a la imitación y a la envidia.
La identidad de LIL Miquela, creada por un equipo de la empresa Brud, es la de un robot activista por la justicia social,
es decir un woke, que se manifiesta por la campaña Black Lives Matter y la causa LGBTQ. Esto pretende borrar su irrealidad
El mejor atajo para tener un empleado absolutamente confiable y dócil es manufacturarlo. Miquela no padece de celos, ambiciones, adicciones, temores o secretos, ni tiene familiares rapaces ni perversiones escandalosas ni un pasado vergonzoso por el que la puedan cancelar. Es promocionada como una inteligencia artificial, pero en realidad es tan sólo una estampa digital refinada. Más que un experimento social es publicidad manipuladora y siniestramente engañosa, un diseño 3D respaldado por una agencia de publicidad. Pero su popularidad ha llevado a otros empresarios a anunciar sus intenciones de crear influencers autónomos, que una vez lanzados puedan transitar entre diferentes plataformas como avatares “conscientes”. Estos personajes con identidades crowdsourced (diseñadas por comité) son manifestaciones del pathos contemporáneo, de la ambigüedad que produce el cuerpo y la virtualidad, la culpa y el deseo, la angustia y la euforia de la psicosis digital mencionada antes. Avatares que abren las puertas a nuevas relaciones entre personas y los seres artificiales que ya conviven con nosotros.
Si bien los obreros, campesinos, técnicos y trabajadores en diversas industrias han sido desplazados por robots, resulta hasta cierto punto irónico que el empleo más artificial concebible, el de influencer, sea arrebatado a la humanidad por seres sintéticos. Un problema fundamental es que los creadores de un personaje woke como Miquela no entienden que, más que servir como estandarte o promoción para las minorías subrepresentadas, este bot está ocupando ese lugar en gran medida. La diversidad generada por computadora no es realmente diversidad, como escribe Matt Klein.
* * *
El deepfake es una herramienta para erosionar aún más la fe en lo que vemos y las certezas tecnológicas que nos quedan. Es la ilusión prodigiosa del prestidigitador que en vez de sus manos emplea pixeles para engañar. El deepfake y demás falsificaciones digitales tendrán un serio impacto en el divorcio entre la realidad y la virtualidad. Es de esperar que si no podemos confiar en nuestras representaciones, las instituciones se dedicarán a imponer nuevas formas de validación de la identidad, nuevos requisitos y sistemas de escrutinio. Si algo dejan de cierto estas tecnologías es un fortalecimiento del Estado policiaco y el capitalismo de vigilancia. Con el aparente fin de la pandemia de Covid-19 los públicos vuelven poco a poco a los estadios. Ya no será necesario seguirlos falsificando con software. Esos espectros han desaparecido. En cambio los seres creados con aprendizaje profundo se quedarán entre nosotros, a sembrar confusión en el purgatorio de la posverdad que habitaremos ahogados de apatía mientras los monitores permanezcan encendidos.
