El Ventriloquismo Estructural de la IA

En cualquier conversación con un LLM emergen cuatro conceptos epistemológicos, todos relacionados entre sí, que marcan la relación de las personas con el conocimiento, y son: la dimensión performativa de la IA, la ilusión de rigor, el ventriloquismo estructural y el desplazamiento de la carga cognitiva.

El esquema siempre es el mismo, en la interacción con un LLM, el algoritmo genera un nuevo contenido, y lo hace suplantando la voz del original. Por la forma en que se expresa, transmite sensación de verosimilitud, y eso obliga a quiénes tienen sentido crítico, a verificar la respuesta, haciendo que su esfuerzo cognitivo pase de ser “creador”, a “verificador”.

Eso con suerte, en el peor de los casos, se toma una respuesta errónea y sigue adelante con ella.

Aunque los cuatro fenómenos son interesantes en sí mismos, en esta reflexión quiero desarrollar la idea del ventriloquismo estructural.

Toma, Moreno

Hoy en día parece difícil que alguien sepa lo que es un muñeco de ventriloquismo, porque ya no hay el «1,2,3» ni el «Noche de Fiesta» los sábados por la noche; tampoco han vuelto al género del terror, no como los payasos que nunca se fueron; y a nadie se le ha ocurrido llevarse uno a «La Isla de las Tentaciones».

Pero algunos hemos crecido viendo al cuervo Rockefeller, moviendo las caderas con su esmoquin; al Monchito, con su estética indescriptible de gorra de cuero y collar de pinchos; o a la tremenda Doña Rogelia, arquetipo de abuela de los pueblos de Castilla. También había un pato, pero nunca me hizo gracia.

Básicamente, el ventrilocuo se tapaba la boca con el micrófo, había auténticas alcachofas ahí, para disimular que en realidad quien hablaba era un muñeco al que le había metido la mano por el culo la espalda, y así podía decir cualquier barbaridad que se le ocurriera, para solaz de un público al que daban copazos y bocadillos a cambio de aguantar aquello y aplaudir.

Jose Luis Moreno y el Cuervo Rockefeller

«Toma, Moreno»

Filosóficamente, el ventriloquismo hace referencia a agentes que usan su voz para dársela a colectivos, a los que dicen representar, pero desde sus propios medios y entendimiento. Alcoff (1991) sostiene que existe un problema de raíz en la representación, porque el contexto social, político y económico de un agente tiene un impacto epistemológicamente significativo en sus afirmaciones. No se puede pretender trascender la localización para hablar en nombre de un colectivo sin riesgo de ejercer una coacción discursiva, una simplificación del otro, o una violencia epistémica si lo propio se impone sobre lo representado. Por eso, representar las necesidades del otro puede reforzar sin pretenderlo las estructuras de opresión o discriminación (Alcoff, 1991).

La lectura Gayatri Spivak aporta una vuelta de tuerca adicional al problema de la violencia epistémica. En “¿Puede hablar el subalterno?”, la autora vincula ese concepto con el borrado de las huellas de los otros, para convertirlos en objetos dóciles o silenciados, habitualmente con narrativas vinculadas al poder político o económico (Spivak, 2003). Esto da lugar al fenómeno del agente que se representa a sí mismo con apariencia de objetividad y neutralidad, para reforzar su autoridad, y no para elevar a su representado (Spivak, 2003).

El por qué de la representación

Cuando se trata de personas que trabajan con personas, la respuesta pasa por transitar hacia modelos de aceptación de la diferencia y reconocimiento del oprimido, que faciliten que el otro se represente a sí mismo. Las ideas de “reconocimiento” y “redistribución” son dos visiones habituales para remediar las injusticias de una sociedad.

Nancy Fraser concibe la redistribución como una forma de corregir la injusticia económica, y el reconocimiento como la forma de corregir la injusticia cultural. En torno a estos dos ejes propone a su vez dos tipos de políticas, las afirmativas y las transformativas. Las soluciones afirmativas son “aquellas que tratan de corregir los efectos injustos del orden social sin alterar el sistema subyacente que los genera” mientras que las transformativas “aspiran a corregir los efectos injustos precisamente reestructurando el sistema subyacente que los genera” (Butler y Fraser, 2000).

En esa línea, Iris Marion Young desarrolla un marco de pensamiento que busca definir las condiciones que tienen que garantizar las instituciones para permitir el desarrollo de las capacidades individuales y la comunicación colectiva (Young, 2014). Bajo este prisma, la autora identifica que hay dos fuentes para la injusticia, la opresión y la dominación, conceptos que incorporan conceptos difíciles de asimilar con la distribución, como por ejemplo, la capacidad de toma de decisión, la división del trabajo, aspectos relacionados con la cultura y la identidad, etc. (Young 2014). Desde este punto de vista, todas las personas que sufren injusticias comparten la situación de no poder expresar sus necesidades o ejercer sus talentos (Young 2014).

Sin embargo, Young no entiende la opresión necesariamente como el ejercicio de la tiranía por parte de un grupo en el poder, o las decisiones despóticas y crueles de una minoría. Más bien propone un concepto de injusticia estructural donde la opresión aparece en forma de las desventajas y situaciones asimétricas que sufren algunos grupos y colectivos debido a las prácticas habituales que se dan en una sociedad liberal, a priori bien intencionada. Como están imbricadas en las dinámicas sociales, en lugar de provenir de los designios de un tirano opresor, se califican como estructurales (Young 2014).

Lili, con Leslie Caron y Mel Ferrer

En Lili, Mel Ferrer usa sus moñecos para decirle a Leslie Caron todo lo que él no se atreve

¿Por qué es un problema el Ventriloquismo Estructural?

Pues sí. Para mí, el ventroliquismo estructural en la IA representa una crisis fundamental en la modernidad digital. El algoritmo compone respuestas de manera probabilística, usando fuentes de todo tipo, para generar un texto que invoca la autoridad de voces, tradiciones y marcos teóricos que no ha comprendido y que sus autores reales nunca generaron, incorporando sus marcadores sintácticos, vocabulario y forma de escribir para lograr una apariencia de verosimilitud (Wheatherby, 2023).

La crisis aparece en la posibilidad de que eso represente a otro.

Y que además, esté oprimido.

La actualidad de 2026 se percibe como una transición, un movimiento desde los agentes sociales o políticos que dan voz a un colectivo, y al hacerlo pueden cometer errores como anticipaba Alcoff, pero justo por ello asumen una responsabilidad y ponen en riesgo su legitimidad; a una simulación algorítmica capaz de producir mensajes sin tener responsabilidad sobre ellos, ni dar realmente voz al colectivo oprimido.

La IA Generativa es el ventrílocuo definitivo que usurpa al autor original (incluso sin pagar por sus derechos ), participa en la construcción de sus posiciones sin haber sido autorizada, y carece de responsabilidad jurídica sobre el resultado. Como anticipaba Alcoff (1991), cuando el modelo suplanta las voces de autores o colectivos, reduce la riqueza de su pensamiento a un repertorio estadístico, donde la voz de los oprimidos o de los expertos es simulada por un sistema que no comparte su mundo ni sus riesgos.

La carrera por la IA Generativa amplifica este problema a escala global, una misma voz es distorsionada por múltiples sistemas ventrílocuos, todos compitiendo entre sí por tener más impacto y más alcance.

Lo que subyace a la capacidad de imitación sin comprensión ni responsabilidad es lo que se ha dado en llamar la “metáfora de los loros estocásticos” (Bender et al., 2021). Los LLM están construidos técnicamente para predecir tokens, uniendo secuencias de formas lingüísticas que han identificado previamente en grandes conjuntos de datos por probabilidad, patrones, y corpus. Para entrenar a los algoritmos en la detección de patrones textuales se usaron todo tipo de fuentes y contenidos disponibles en internet, incluso sin derecho de acceso, simplemente basándose en el fair use, de ahí que los LLM hereden puntos de vista hegemónicos y todo tipo de sesgos sistémicos. La IA Generativa, amplifica las voces de los que ya tenían el poder, silenciando aún más a quienes no aparecen suficientemente representados (Bender et al., 2021).

El efecto del ventriloquismo hace que la IA Generativa actúe como sujeto teórico, que simula transparencia, anula la voz real del autor, y enmascara las estructuras de poder económico que la alimenta. Alcoff (1991) señala que el contexto socioeconómico del hablante tiene un impacto significativo en el significado de sus afirmaciones, pero la IA no tiene una ubicación social propia, asume la de su fabricante, de manera que el sesgo es doble: el que le transfiere la empresa que la crea, y el que aprende de su entrenamiento de loro estocástico.

El resultado es un ecosistema comunicativo donde el conocimiento se vuelve homogéneo y estructuralmente frágil por una concepción errónea del lenguaje. Desde un punto de vista lingüístico, el modelo genera frases por la extrapolación de las correlaciones entre los términos, mientras que el ser humano la hace buscado la causalidad (Chomsky et al., 2023), en una acepción perversa del adagio “correlación no implica causalidad”. La falta de responsabilidad del sistema sobre las consecuencias de la información que genera y de las voces que anula se presenta como una revisión de la «banalidad del mal”, el algoritmo plagia, corta y pega porque sigue las instrucciones de sus programadores y las inferencias de su entrenamiento (Chomsky et al., 2023). Ya Alcoff (1991) identifica que el agente que habla en nombre de otros tiene que estar sujeto a la rendición de cuentas.

Hugo en Dead of Night

En Dead of Night, de 1945, el moñeco Hugo poseía a Maxell Frere. PoseIA, ¿lo pillas?

Pero la IA Generativa sin embargo crea un contenido que matiza, reinterpreta y recombina la voz de un autor o un colectivo, sin su consentimiento, y sin que tenga que responder ante nada ni ante nadie.

Cuando se trata de personas, empresas, organizaciones, colectivos o gobiernos pueden aplicar políticas de aceptación de la diferencia y la diversidad; y lanzar acciones de reconocimiento o redistribución. Tendrán además que rendir cuentas de hacerlo o no hacerlo, y responder por sus consecuencias.

¿Y qué pasa cuando lo hace la IA?

Pues nada.

No pasa nada.

Que no te enteras, Morenín.

Bibliografía

Alcoff, L. (1991). The Problem of Speaking for Others. Cultural Critique, (20), 5-32. https://doi.org/10.2307/1354221

Bender, E. , Gebru, T. , McMillan-Major, A. y Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big?. Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623) https://doi.org/10.1145/3442188.3445922

Chomsky, N., Roberts, I. y Watumull, J. (8 de marzo de 2023). The False Promise of ChatGPT. Portside. https://portside.org/2023-03-08/noam-chomsky-false-promise-chatgpt

Butler, J. y Fraser N.  (2000) ¿Redistribución o Reconocimiento? Un debate entre marxismo y feminismo. New Left Review.

Spivak, G. (2003). ¿Puede hablar el subalterno? Revista Colombiana De Antropología, 39, 297–364. https://doi.org/10.22380/2539472X.1244

Weatherby, L. (21 de abril de 2023). El ChatGPT es una máquina de ideología. Jacobin. https://jacobinlat.com/2023/04/el-chatgpt-es-una-maquina-de-ideologia/

Young, I. M. (2014). Chapter One. Five Faces of Oppression. En: Asumah, Seth y Nagel, Mechthild “Diversity, Social Justice, and Inclusive Excellence : Transdisciplinary and Global Perspectives”, pp 3-32. State University of New York Press.

Deja un comentario

Este sitio utiliza Akismet para reducir el spam. Conoce cómo se procesan los datos de tus comentarios.