Autoría Crítica, una competencia clave para operadores de IA Agéntica

Tiempo de lectura: 15 minutos

“¿Cómo podrán los jóvenes desarrollar criterio para operar sistemas de IA sin tener experiencia laboral, y cómo obtener experiencia laboral si la IA ha erosionado las tareas de aprendizaje?”

Esta entrada es una versión simplifcada, resumida y traducida de «Critical Ownership: A Key Competency for Agentic AI Operators», un artículo de próxima publicación.

El dilema de la ejecución y el criterio

Considerado mucho más que una competencia cognitiva, el pensamiento crítico es, según lo plantea Peter Facione, una forma de razonar deliberada y autorregulada que permite interpretar, analizar, evaluar e inferir a partir de la evidencia disponible, el contexto situaciones y los criterios personales (Facione, 2015). Esta definición, construida por consenso de un panel de expertos, describe a un buen pensador por una combinación de destrezas intelectuales y disposiciones personales, como mente abierta, flexibilidad, confianza en el propio razonamiento, un compromiso honesto con la verdad, y la disposición a cambiar de punto de vista. Como competencia, es transversal y aplica a todos los campos de la vida, especialmente al mundo académico, profesional, político, directivo y, en general, a cualquier entorno donde se emiten juicios, aceptan o no creencias y toman decisiones.

El individuo ocupa el eje del pensamiento crítico, pues utiliza su inteligencia para acceder a la realidad, analizarla, tomar decisiones y actuar, en una acción de la que forma parte. En la era de la Inteligencia Artificial Generativa (GenAI) y los Large Language Models (LLM), esta dinámica se altera por la capacidad de los sistemas de IA de abordar ambas partes de la ecuación: la noesis y la praxis. Bajo el paradigma de la llamada IA Agéntica[1], las habilidades del pensamiento crítico (interpretar, analizar, evaluar…), aunque necesarias, son insuficientes, porque los individuos encargan tareas a sistemas que las pueden estructurar, ordenar y completar de forma autónoma.

Esto exige que un profesional que interactúa con sistemas de IA sea capaz de validar el proceso de razonamiento que sigue, el plan de acción que genera, monitorizar sus acciones, y asumir la responsabilidad de su resultado.

Y todo ello afecta a la integración de los recién licenciados en la economía de la IA generativa.

Efectivamente, la adopción masiva en las empresas de copilotos de IA, automatizaciones y sistemas agénticos ha reconfigurado los puestos de trabajo tradicionalmente destinados a las personas que se incorporaban por primera vez al mercado laboral, y que contribuían a su transición de la etapa de aprendizaje a la etapa profesional (Guardiola Ortuño, 2026). Como resultado, emergen diferentes fenómenos, como el sesgo de veteranía (seniority bias) —contratación preferente de profesionales experimentados capaces de supervisar los resultados de la IA frente a a jóvenes inexpertos—; la emergencia de un new collar —el profesional pasa de ejecutor a supervisor de un sistema—; y la desaparición del incentivo para contratar y formar a perfiles junior.

El dilema entonces es “¿cómo podrán los jóvenes desarrollar criterio para operar sistemas de IA sin tener experiencia laboral, y cómo obtener experiencia laboral si la IA ha erosionado las tareas de aprendizaje?”

En mi siguiente ensayo propongo como respuesta la Autoría Crítica, una competencia que expande el pensamiento crítico, porque lo incorpora y amplía hacia la supervisión de la acción de un sistema de IA. Para ello será necesario analizar cuatro riesgos epistemológicos mencionados en la interacción con LLMs, y comprobar que las habilidades del pensamiento crítico no bastan para asumir la responsabilidad del resultado de un sistema (ya sea texto, imagen, código fuente…). Ello dará lugar a la definición filosófica de la Autoría Critica, y sus habilidades relacionadas.

Cuatro riesgos epistemológicos a los que te enfrentas cuando usas IA Generativa

En cualquier interacción que hagas con sistemas construidos sobre LLM subyacen cuatro fenómenos de riesgo epistemológico: la dimensión performativa de la IA, el ventriloquismo estructural, la ilusión de rigor y el desplazamiento de la carga cognitiva. Como respuesta a peticiones, los LLM generan nuevo contenido, y lo hacen suplantando la voz de los originales que utiliza—incluso la propia voz de la persona, si esta le pide que escriba con su estilo—. Por la forma en que construye expresiones, aparenta verosimilitud, y eso obliga a quiénes tienen sentido crítico, a verificar la respuesta, haciendo que su esfuerzo cognitivo pase de ser “creador”, a “verificador”. Cuando además se encarga al sistema una poiesis, que puede venir en forma de imagen, vídeo, texto, código fuente… el sujeto que ha dado la instrucción se convierte en responsable del resultado.

El problema de la Performatividad [2]

El primer fenómeno que surge al interactuar con un LLM es observar que el sistema describe la realidad, y al hacerlo, la conforma, porque la altera. El algoritmo crea una nueva realidad, un contenido, que antes de la llamada no existía, y que aparece volcado a una interfaz, desde la que se abre al mundo porque se comparte. Ese contenido se ha generado sobre la marcha, y no hay forma de volver a generar el mismo. Además, reescribe (por tanto, modifica), el contenido original al que el usuario esperaba llegar, no como el snippet del buscador, que ofrecía una muestra literal y exacta para que la persona valorase si era o no era eso lo que buscaba.

La GenAI introduce así un cambio epistemológico relevante, porque para un mismo lema aparecen infinitas entradas diferentes. Hasta el lanzamiento de ChatGPT, la historia del acceso al conocimiento se basaba en que, dado un soporte concreto (la tablilla de cera, L’Encyclopédie, la Encarta, o la Wikipedia), todas las personas que consultaban una misma entrada en un mismo soporte accedían a la misma información en el mismo formato, validada por un consejo editorial (Guardiola Ortuño, 2023). Pero por mucho que se apliquen técnicas de grounding (fijar el contenido sobre el que trabaja un modelo para limitar la información a la que puede acceder), guardrails (reglas y controles que fijan el comportamiento de un modelo), temperatura (el parámetro que determina la volatilidad del modelo) y demás, el modelo construye su respuesta en tiempo real. Dado un mismo modelo, un mismo prompt y una misma sesión, la respuesta siempre será diferente.

La performatividad de interpretar y producir en cada situación es estructural del LLM, por eso surge el prompting como una forma de ayudar al LLM a interpretar la intención de la persona y guiar su discurrir. Ese fenómeno no existe al consultar un diccionario, cuyo contenido es independiente de la intención del usuario.

No es de extrañar que se perciba la IA como maquinaria ideológica si cada vez es más barato generar desinformación, personalizarla para adaptarla a los sesgos de las personas y compartirla a escala industrial; expertos en el análisis de la ideología en Internet como el Doctor Kieron O’Hara y la Dama Wendy Hall han acuñado el término “Pollucination” (mezcla de polución y alucinación) como la contaminación de internet derivada de los productos fallidos de la IA generativa(O’Hara y Hall, 2026).

¿Qué nueva realidad ha fabricado el sistema para atender a tu petición?

El problema del Ventriloquismo.

La IA es el «ventrílocuo definitivo» porque Suplanta voces, estilos y marcos teóricos que no comprende, imitando a autores y colectivos (a menudo oprimidos o sin reconocimiento) sin haber sido autorizada y sin asumir ninguna responsabilidad por el resultado.

Filosóficamente, el ventriloquismo hace referencia a agentes que usan su voz para dársela a colectivos, a los que representan desde sus propios medios y entendimiento. Alcoff (1991) introduce que el problema de raíz en la representación es que el contexto social, político y económico de un sujeto tiene un impacto epistemológicamente significativo en sus afirmaciones. No se puede trascender la auto-referenciación para hablar en nombre de un colectivo, sin riesgo de ejercer una coacción discursiva, simplificar al otro, o ejercer violencia epistémica (si lo propio se impone sobre lo representado).

La lectura de Gayatri Spivak amplía el problema de la violencia epistémica. En “¿Puede hablar el subalterno?”, la autora vincula ese concepto con el borrado de las huellas de los otros, para convertirlos en seres dóciles o silenciados, habitualmente con narrativas vinculadas al poder político o económico (Spivak, 2003). Otro fenómeno es el del agente que se presenta a sí mismo frente a su entorno con apariencia de objetividad y neutralidad, reforzando su autoridad, pero sin elevar a su representado (Spivak, 2003).

Lo que subyace a la capacidad de imitación sin comprensión ni responsabilidad es la metáfora de los “loros estocásticos” (Bender et al., 2021). Los LLM están construidos técnicamente para predecir tokens, uniendo secuencias de formas lingüísticas que han identificado previamente en grandes conjuntos de datos por probabilidad e inferencia. Para entrenar a los algoritmos en la detección de patrones, se usaron todo tipo de fuentes y contenidos disponibles en internet, de ahí que los LLM hereden puntos de vista hegemónicos y todo tipo de sesgos sistémicos, amplificando las voces de los que ya tenían el poder, silenciando aún más a quienes no aparecen suficientemente representados (Bender et al., 2021).

¿Con qué voz habla el sistema con el que interactúas?

El problema de la Ilusión de Rigor.

Los modelos poseen una fluidez gramatical asombrosa que nuestra mente interpreta erróneamente como entendimiento o razonamiento real. Esto es la base de las alucinaciones: la generación de contenido falso o incoherente que, sin embargo, resulta verosímil y plausible para el lector.

La ilusión de rigor ocurre por tanto en el lado humano del hecho comunicativo, porque la mente funciona asociando significado e intencionalidad a un mensaje. Al observar una respuesta coherente y bien estructurada, la persona infiere erróneamente que dialoga con una única entidad que persiste en el tiempo, en un sistema al que se le atribuyen creencias o entendimiento porque hay una doble interpretación: la del sistema que simula su entendimiento, y la del usuario que viendo la respuesta, interpreta que el sistema razona, tiene estados internos, creencias, etc. (Chalmers, 2025).

Eso es posible porque la mente opera buscando la explicación causal (Chomsky et al., 2023), pero los LLM operan exclusivamente en la forma del signo, con operaciones estadísticas que no buscan la causalidad, sino la inferencia o la referencia. Tampoco operan con conceptos o símbolos, sino con secuencias de tokens —el token no es una unidad gramatical como puede ser el lexema, el fonema o el morfema— que se predicen a partir de las correlaciones estadísticas inferidas del corpus usado para el entrenamiento (Vaswani et al., 2017).

La principal manifestación de la falta de rigor es el fenómeno de la alucinación, un término asociado a la IA desde los años 80 y actualmente definido como la generación de contenido que diverge de la entrada del usuario, contradice el contexto previo, o es incoherente frente al conocimiento fáctico establecido (Zhang et al., 2025).

Resumidamente, las alucinaciones surgen cuando el modelo tiene que preparar una respuesta usando regularidades estadísticas que se han aprendido y almacenado simplificadas, resumidas o comprimidas durante su entrenamiento previo, genérico a la tarea concreta que le pide un usuario (Brown et al., 2020). El sistema opera de forma auto-regresiva, accediendo a los símbolos almacenados previamente para predecir el siguiente mediante funciones matemáticas que asignan probabilidades a los tokens de salida (Vasani et al., 2017). Al ser modelos que carecen de una base de experiencia real o de un modelo del mundo más allá de la predicción de texto (Brown et al., 2020), puede darse la situación en la que el LLM se vea obligado a reconstruir información en un determinado momento. El sistema completa lo que le falta mediante un aprendizaje estocástico, fabricando un nuevo contenido “sintético” —generado por el programa— que resulta plausible y difícil de distinguir del escrito por humanos (Brown et al., 2020).

¿Cómo sabes que la respuesta que has recibido y que vas luego a usar es rigurosa, y responde a hechos o evidencias?

El problema del Desplazamiento de la Carga Cognitiva.

Si en cualquier interacción con un modelo puede aparecer la alucinación; y el sistema estructuralmente no sabe que lo ha hecho, la detección queda a discreción del humano que interactúa con él. Ese es el cuarto problema epistemológico. Bajo pretexto de liberar al humano de las tareas más tediosas del intelecto, la IA traslada el esfuerzo, en lugar de reducirlo.

Así, el tiempo y la carga cognitiva asociada al acto de crear (buscar fuentes, leerlas, comprenderlas y producir un contenido nuevo sobre ellas) pasa al de validar (comprobar que existen las fuentes, leerlas, comprenderlas, y ver que se han usado de la forma correcta) (Chi y Wiley, 2014). Antropológicamente, el usuario deja de crear algo nuevo para convertirse en auditor que revisa la respuesta del sistema; su carga de trabajo desaparece de la fase de elaboración, justo donde ocurre el aprendizaje y la formación del criterio. Cognitivamente, el valor está en las tareas activas de creación, y no en la validación (Chi y Wiley, 2014) y esto aplica al campo laboral, académico, artístico, etc. De acuerdo con el marco ICAP propuesto por Chi y Wiley (2014), al delegar la creación en un sistema externo, se desplaza al sujeto del modo constructivo (generativo) al modo activo (manipulativo/selector) o pasivo (receptivo), lo que equivale a anular procesos de co-inferencia y generación de nuevo conocimiento, limitando el trabajo cognitivo a la mera retención de información aislada, frente a una comprensión profunda, que además, habilita la capacidad de transferencia.

La investigación reciente advierte de una transformación en la arquitectura cognitiva del ser humano, en forma de la erosión de su capacidad de razonamiento. El fenómeno del desplazamiento de la carga cognitiva al usar la tecnología y sus consecuencias ha sido analizado con diversas metodologías y trabajos de campo, que coinciden en que no es un proceso neutro, por su impacto medible en términos de esfuerzo, conectividad neuronal y autonomía en la decisión.

  • El trabajo de Gerlich (2025) explora la relación entre el uso de herramientas de IA y las habilidades de pensamiento crítico, identificando la descarga cognitiva (cognitive offloading) como el factor fundamental. Su investigación revela una correlación negativa relevante entre la frecuencia de uso de la IA y la capacidad de análisis independiente. Gerlich postula que el aumento de la confianza en estas herramientas fomenta lo que denomina pereza cognitiva, por la que el individuo pierde el compromiso con procesos de pensamiento profundos y reflexivos al carecer de incentivos.
  • Desde una perspectiva neurofisiológica, Kosmyna y sus colaboradores (2025) aportan evidencia sobre lo que denominan la acumulación de deuda cognitiva. Su estudio muestra cómo las conexiones cerebrales se reducen a medida que aumenta el nivel de apoyo externo en herramientas de IA. El grupo que trabajó exclusivamente con su capacidad biológica mostró las redes neuronales más fuertes y amplias, mientras que el grupo asistido por LLM exhibió un acoplamiento neural más débil. Un hallazgo revelador de esta investigación es que el uso de IA afecta negativamente a la memoria episódica, fenómeno que se manifestaba en una menor capacidad de los sujetos a la hora de recordar o citar párrafos de escritos que presentaban como suyos (Kosmyna et al., 2025). Eso refleja la ruptura del autor con una obra que no es creación propia.
  • Por su parte, el análisis de Shalu y colaboradores (2025) estudia las consecuencias psicológicas de la interacción a largo plazo con sistemas de IA, que vincula con agotamiento mental y fatiga en la toma de decisiones. Sus resultados refuerzan el dilema entre la eficiencia en el corto plazo y la erosión en el largo. Admitiendo que al interactuar con modelos de IA, el individuo acelera las elecciones inmediatas, en el largo plazo su uso se asocia con una pérdida de la confianza en el criterio personal de toma de decisión, y un aumento en la tensión atencional
  • En esa línea, la investigación de Bastani y colaboradores (2025) entre estudiantes de matemáticas demuestra la divergencia en la autopercepción del rendimiento. Quienes usaban sistemas de IA tendieron a pensar que su rendimiento había sido mejor y no habían aprendido menos, aunque los resultados empíricos demostrasen lo contrario. Esta misma investigación demostraba que, aunque el uso de sistemas de IA mejoraba los resultados en el corto plazo, las calificaciones bajaban drásticamente cuando a los alumnos se les privaba del acceso al asistente IA, demostrando que el aprendizaje realmente no se había producido.

¿Hasta qué punto sientes que es «tuyo» lo que produces usando la IA?

El pensamiento crítico no es suficiente

El pensamiento crítico, en su definición clásica, se centra precisamente en el “pensamiento”, la capacidad de razonar mentalmente a partir de evidencias y contexto, para tomar decisiones que afectan a creencias o cursos de acción.

«Purposeful, reflective judgement which manifest itself in reasoned consideration of evidence, context, method, standards, and conceptualizations in deciding what to believe or what to do» (Facione, 2015)

La competencia del pensamiento crítico se transmite en seis habilidades cognitivas, que Facione (2015) define como:

  1. La interpretación del significado o la importancia de artefactos de conocimiento (como datos, juicios de valor, opiniones…).
  2. El análisis que permite identificar las relaciones implícitas o explícitas en los argumentos.
  3. La capacidad de evaluar y medir la credibilidad de afirmaciones y descripciones, con especial atención a sesgos y falacias que distorsionan el razonamiento.
  4. La inferencia de nuevo conocimiento a partir de información y contexto, para esbozar hipótesis, afirmaciones u opiniones.
  5. La capacidad de explicar el proceso que se ha seguido en la toma de decisión, haciendo partícipes a otros del razonamiento seguido.
  6. Y el autocontrol, como capacidad del individuo de reflexionar sobre sus propios procesos de pensamiento para mejorarlo.
  7. A la que en su día incorporé una séptima, la capacidad de comunicarse y relacionarse con las personas para incorporar sus puntos de vista a tu proceso de reflexión.

Podría parecer que la solución es simplemente aplicar el Pensamiento Crítico tal y como se ha entendido tradicionalmente, pero lo cierto es que es insuficiente. El pensamiento crítico es un juicio reflexivo sobre qué creer, qué afirmar, o qué decidir a partir de evidencias y marcos de pensamiento. Pero fue diseñado para un sujeto que analiza artefactos de conocimiento ya existentes, y que es protagonista de sus afirmaciones o decisiones. La IA Agéntica introduce un nuevo escenario, porque interactuamos con una «caja negra» que no solo aparentemente piensa, sino que puede establecer cursos de acción, ejecutarlos de manera autónoma y producir resultados.

Y ese sistema carece de intención, voluntad y responsabilidad moral (incluso jurídica, aunque eso por suerte al menos en Europa se acaba regulando). Lo cierto es que toda la carga de la responsabilidad recae sobre el humano, aunque este no controle ni comprenda totalmente el proceso interno de la máquina.

Necesitamos algo más: una competencia que no solo evalúe la información, sino que gestione la delegación de la agencia, y permita a la persona la propiedad y la responsabilidad sobre el resultado.

La definición filosófica de la Autoría Crítica

Como respuesta a este desafío, propongo el concepto de Autoría Crítica. A diferencia del pensamiento crítico, cuyo éxito es intelectual, el de la Autoría Crítica es la preservación de la agencia y la responsabilidad humana.

Esto es así por el reconocimiento de que, por encima de cualquier sistema, debe aparecer el usuario como agente libre, con una intención que nace de su voluntad, con la capacidad de conducirse hacia ella, y la posibilidad de elegir hacer y cómo, e incluso de elegir no hacer (Locke, 2004). Y como los resultados de la acción obedecen a creencias, deliberaciones y decisiones que le son propias, el agente se convierte en autor imputable de sus actos, debiendo asumir las consecuencias que de ellos se deriven (Kant, 2004).

Para ejercerla, el operador (entendido como el sujeto que interactúa con un sistema autónomo dándole instrucciones) debe desarrollar cinco habilidades fundamentales:

  1. Creación dinámica de procesos. Dado que el modelo elige el curso de acción de su razonamiento a partir de su entrenamiento, el operador debe ser capaz de dar instrucciones precisas al sistema. Sin embargo, estas instrucciones cambiarán según la naturaleza específica de la tarea que le requiera, sea análisis de documentos, creación de imágenes, código fuente, etc. Para poder indicar un curso de acción correcto al modelo, el usuario tendrá que familiarizarse con la tarea que va a solicitar, la forma adecuada de conseguirlo, etc. Además, las acciones del sistema pueden alterar el entorno de formas imprevistas, generando nuevas situaciones que requieren reevaluación constante. Será necesario, por tanto, formular especificaciones claras, restricciones explícitas, criterios de éxito y límites de autonomía antes de la ejecución, todo ello prácticas que forman parte del denominado prompt engineering.
  2. Evaluación de estados intermedios. Incluso con explicaciones que proporciona el sistema, el usuario no puede verificar paso a paso la cadena causal interna del LLM (pesos, activaciones, trayectorias inferenciales…). Por muy completas que sean las explicaciones del proceso de razonamiento que comparta el sistema, no dejan de ser indicaciones genéricas de lo que se propone hacer, no da los detalles de cómo va a hacerlo. Pueden por tanto ser incompletas, no representar el proceso real, o no ofrecer acceso epistémico directo. Será necesario exigir y revisar registros de acciones, justificaciones intermedias y evidencias de cumplimiento de restricciones. También, dividir las tareas en fragmentos atómicos que requieran la aprobación previa del operador, y verificar que no se ha perdido la coherencia en puntos anteriores de la secuencia de operaciones.
  3. Auditoría de resultados. Necesaria para verificar el rigor fáctico y la veracidad de los productos generados (texto, código, imágenes), el operador deberá acceder a las fuentes primarias fiables, y comprobar la correspondencia en el razonamiento, las citas y las afirmaciones se corresponden con los originales, y que las conclusiones que se derivan son coherentes. Esta auditoría de resultados es indispensable para neutralizar la ilusión de rigor y las alucinaciones estructurales del modelo, asegurando que el contenido sea preciso antes de ser integrado, reutilizado o compartido. Para ello, será necesario haber catalogado a priori las fuentes y los conjuntos de datos que se van a utilizar, y acceder a nuevas fuentes que el modelo hubiera generado por sí mismo. Esta labor cognitiva convierte al operador en un agente activo, lo que asegura su aprendizaje y formación de criterio.
  4. Deconstrucción de sesgos. Habilidad para identificar el origen de las narrativas simuladas por la IA y detectar el ventriloquismo estructural que puede estar suplantando la voz de colectivos y autores, o perpetuando injusticias sistémicas. Permite al autor evitar la perpetuación inconsciente de injusticias y sesgos que la IA hereda de su entrenamiento estadístico, desligando la ilusión de neutralidad del modelo, y reconociendo que el sistema no posee una intención comunicativa propia, sino que realiza una interpolación estadística de voces presentes en su entrenamiento. El operador deberá entonces documentar antes de la interacción con el modelo los contextos sociales, políticos o económicos en los que va a actuar, los colectivos que en ellos participan, y sus representantes o portavoces si los tienen, también los autores, demandas de redistribución o reconocimiento, etc., para después comprobar cómo el modelo las ha utilizado, desenmascarando posibles reducciones, simplificaciones o manipulaciones.
  5. Responsabilidad anticipada. Implica realizar un análisis de riesgos antes de comenzar las interacciones con el modelo, con el fin de identificar posibles daños colaterales en caso de que se malinterpreten las instrucciones, o se realicen acciones inadecuadas. Este análisis de riesgos dará pie a incorporar el estudio de las posibles consecuencias, lo que a su vez cristalizará en criterios de aceptación, planes de mitigación, etc. La responsabilidad anticipada está estrechamente ligada a la agencia, es cierto que hay una responsabilidad restrospectiva (atribución de culpa en caso de error) pero también debe haber una responsabilidad prospectiva, por la cual el operador asume el deber de prevenir y mitigar. Esta responsabilidad anticipada es clave para vincular al autor con los resultados de su obra, ya que le permite recuperar su agencia.

¿Qué es, entonces, la Autoría Crítica? Desde una perspectiva filosófica, diremos que:

La Autoría Crítica es el juicio reflexivo y la validación intencional que un sujeto ejerce sobre los procesos de razonamiento, creación y acción delegados en sistemas de Inteligencia Artificial, con el objetivo de aceptar como propios sus resultados y las consecuencias que de ellos se deriven.

Si el pensamiento crítico fue la competencia que definió al buen profesional en la era de los trabajadores del conocimiento, la Autoría Crítica definirá al profesional de la era agéntica. Queda mucho por investigar sobre cómo evaluar y enseñar estas habilidades en las universidades y empresas.

Esta reflexión, repartida en posts en linkedin, convertida en un artículo para su publicación en un Journal, convertida de nuevo en un post de LinkedIn, migrada a mi blog personal, nace de conversaciones que he tenido estos meses con personas que querían construir planes de formación en IA para sus compañeros, con profesores de TecnoFor, con compañeros de Sngular, con directores de tecnología, con alumnos del Máster en el que doy clase, y profesores del Máster que acabo de terminar, con gente en las redes, por supuesto con amigos y socios, en los comentarios de LinkedIn, en debates de café y debates de gin-tonic, etc.

Gracias a todos los que me habéis inspirado.

Referencias

Alcoff, L. (1991). The Problem of Speaking for Others. Cultural Critique, (20), 5-32. https://doi.org/10.2307/1354221

Bastani, H., Bastani, O., Sungu, A., Ge, H., Kabakcı, Ö. y Mariman, R. (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. Proceedings of the National Academy of Sciences, 122(26). https://doi.org/10.1073/pnas.2422633122

Bender, E. M., Gebru, T., McMillan-Major, A. y Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big?🦜. En: Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623). https://doi.org/10.1145/3442188.3445922

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., … y Amodei, D. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33, 1877-1901.

Chalmers, D. J. (2025). What we talk to when we talk to language models. Philpapers.

Chi, M. T., y Wylie, R. (2014). The ICAP framework: Linking cognitive engagement to active learning outcomes. Educational psychologist, 49(4), 219-243. https://doi.org/10.1080/00461520.2014.965823

Facione, P. (2015). Critical Thinking: What It Is and Why It Counts. Insight Assessment.

Gerlich, M. (2025). AI tools in society: Impacts on cognitive offloading and the future of critical thinking. Societies, 15(1), 6. https://doi.org/10.3390/soc15010006

Guardiola Ortuño, C. L. (2023, 23 de noviembre). Idealismo artificial: el sueño de Diderot y d’Alembert. Ethic. https://ethic.es/2023/11/idealismo-artificial-el-sueno-de-diderot-y-dalambert/

Guardiola Ortuño, C. L. (2026). From execution to judgement: Reconfiguring higher education policy and outcome-based education for the integration of youth in the GenAI economy. Artificial Intelligence Advances in Education, 1(1), 1-16. https://doi.org/10.66818/aiaie.v1i1.915

Kant, I. (2004). The Metaphysical Elements of Ethics. Project Gutenberg https://www.gutenberg.org/ebooks/5684

Kosmyna, N., Hauptmann, E., Yuan, Y. T., Situ, J., Liao, X. H., Beresnitzky, A. V., Braunstein, I. y Maes, P. (2025). Your brain on ChatGPT: Accumulation of cognitive debt when using an AI assistant for essay writing task. arXiv preprint. https://doi.org/10.48550/arXiv.2506.08872

Locke, T. (2004) An Essay Concerning Humane Understanding. Project Gutenberg https://www.gutenberg.org/ebooks/10615

O’Hara, K. y Hall, Dama W. (2026). Pollucination: Why the rush to AGI via generative AI is self-defeating, and what to do about it. University of Southampton. https://doi.org/10.5258/SOTON/WSI-WP017

Shalu, D.,Verma, N., Dev, K., Bhardwaj, A. B. y Kumar, K. (2026). The cognitive cost of AI: How AI anxiety and attitudes influence decision fatigue in daily technology use. Annals of Neurosciences, 33(1), 73-84. https://doi.org/10.1177/09727531251359872

Spivak, G. (2003). ¿Puede hablar el subalterno? Revista Colombiana De Antropología, 39, 297–364. https://doi.org/10.22380/2539472X.1244

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N.,Kaiser, L., y Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.

Zhang, Y., Li, Y., Cui, L., Cai, D., Liu, L., Fu, T., … & Shi, S. (2025). 🧜 Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models. Computational Linguistics, 51(4), 1373-1418. https://doi.org/10.1162/COLI.a.16

 

[1] El término “agente” se ha popularizado para referirse a un sistema capaz de definir un curso de acción y actuar, sin embargo, filosóficamente no se puede considerar en la actualidad que un sistema de IA sea un “agente”, puesto que no tiene intención, carece de responsabilidad moral, y no puede elegir no hacer (Locke, 2004).

[2] Un término vinculado a las teorías de Judith Butler sobre el género como un hacer, y no como un ser, y al proceso de elecciones que aparecen durante ese hacer. Ver Butler, J. (1993) Bodies that matter. On the discursive limits of sex. Roudedge.

 

El Ventriloquismo Estructural de la IA

En cualquier conversación con un LLM emergen cuatro conceptos epistemológicos, todos relacionados entre sí, que marcan la relación de las personas con el conocimiento, y son: la dimensión performativa de la IA, la ilusión de rigor, el ventriloquismo estructural y el desplazamiento de la carga cognitiva.

La performatividad hace referencia a cómo la IA es a la vez un objeto de conocimiento, y creadora de conocimiento. Si es «objeto», «sujeto» o «agente» no son cuestiones menores, y lo trataremos en otro post. El esquema siempre es el mismo: en la interacción con un LLM, el algoritmo genera un nuevo conocimiento, y lo hace suplantando la voz del original. Por la forma en que se expresa, transmite sensación de verosimilitud, y eso obliga a quiénes tienen sentido crítico, a verificar la respuesta, haciendo que su esfuerzo cognitivo pase de ser “creador”, a “verificador”.

Eso con suerte, en el peor de los casos, se toma una respuesta errónea y sigue adelante con ella.

El desplazamiento cognitivo y su impacto también es objeto de estudio, y llegaremos a ello en otro momento. Baste decir que para mí es una de las cuestiones más graves que ha traído la IA, después de tanto tiempo luchando por la idea de «todos somos creativos«, resulta que Claude y ChatGPT van a lograr que «todos seamos revisores».

Así que los cuatro fenómenos son interesantes en sí mismos, pero en esta reflexión quiero desarrollar la idea del ventriloquismo estructural.

Toma, Moreno

Hoy en día parece difícil que alguien sepa lo que es un muñeco de ventriloquismo, porque ya no hay el «1,2,3» ni el «Noche de Fiesta» los sábados por la noche; tampoco han vuelto al género del terror, no como los payasos que nunca se fueron; y a nadie se le ha ocurrido llevarse uno a «La Isla de las Tentaciones».

Pero algunos hemos crecido viendo al cuervo Rockefeller, moviendo las caderas con su esmoquin; al Monchito, con su estética indescriptible de gorra de cuero y collar de pinchos dando collejas al Morenín; o a la tremenda Doña Rogelia, arquetipo de abuela de los pueblos de Castilla. También había un pato, pero nunca me hizo gracia.

Básicamente, el ventrilocuo se tapaba la boca con el micrófo, había auténticas alcachofas ahí, para disimular que en realidad quien hablaba era un muñeco al que le había metido la mano por el culo la espalda, y así podía decir cualquier barbaridad que se le ocurriera, para solaz de un público al que daban copazos y bocadillos a cambio de aguantar aquello y aplaudir.

Jose Luis Moreno y el Cuervo Rockefeller

«Toma, Moreno»

Filosóficamente, el ventriloquismo hace referencia a agentes que usan su voz para dársela a colectivos, a los que dicen representar, pero desde sus propios medios y entendimiento. Alcoff (1991) sostiene que existe un problema de raíz en la representación, porque el contexto social, político y económico de un agente tiene un impacto epistemológicamente significativo en sus afirmaciones. No se puede pretender trascender la localización para hablar en nombre de un colectivo sin riesgo de ejercer una coacción discursiva, una simplificación del otro, o una violencia epistémica si lo propio se impone sobre lo representado. Por eso, representar las necesidades del otro puede reforzar sin pretenderlo las estructuras de opresión o discriminación (Alcoff, 1991).

La lectura Gayatri Spivak aporta una vuelta de tuerca adicional al problema de la violencia epistémica. En “¿Puede hablar el subalterno?”, la autora vincula ese concepto con el borrado de las huellas de los otros, para convertirlos en objetos dóciles o silenciados, habitualmente con narrativas vinculadas al poder político o económico (Spivak, 2003). Esto da lugar al fenómeno del agente que se representa a sí mismo con apariencia de objetividad y neutralidad, para reforzar su autoridad, y no para elevar a su representado (Spivak, 2003).

Aquí ya han aparecido problemas esenciales: ¿desde qué posición habla el sistema? ¿Desde la de quién lo crea? ¿Desde la de quién lo programa? ¿Desde la de quién lo alimenta? ¿O desde la de quién lo usa? Un hilo mental a desarrollar es el que tiene que ver con la profesión del «ingeniero de prompts», mítica flor de un día, eclipsada por la profesión del «orquestador de agentes». Pero es cierto que la forma en que se interpela al modelo condiciona su respuesta. Otro problema esencial es ¿a quién representa la IA? ¿A la empresa que la financia? ¿A los ingenieros que la desarrollaron? ¿A sí misma? En fin. Volveremos a ello en otro momento.

El por qué de la representación

Cuando se trata de personas que trabajan con personas, la respuesta de organizaciones o sociedades pasa por transitar hacia modelos de aceptación de la diferencia y reconocimiento del oprimido, que faciliten que el otro se represente a sí mismo. Las ideas de “reconocimiento” y “redistribución” son dos visiones habituales para remediar las injusticias de una sociedad.

Nancy Fraser concibe la redistribución como una forma de corregir la injusticia económica, y el reconocimiento como la forma de corregir la injusticia cultural. En torno a estos dos ejes propone a su vez dos tipos de políticas, las afirmativas y las transformativas. Las soluciones afirmativas son “aquellas que tratan de corregir los efectos injustos del orden social sin alterar el sistema subyacente que los genera” mientras que las transformativas “aspiran a corregir los efectos injustos precisamente reestructurando el sistema subyacente que los genera” (Butler y Fraser, 2000).

En esa línea, Iris Marion Young desarrolla un marco de pensamiento que busca definir las condiciones que tienen que garantizar las instituciones para permitir el desarrollo de las capacidades individuales y la comunicación colectiva (Young, 2014). Bajo este prisma, la autora identifica que hay dos fuentes para la injusticia, la opresión y la dominación, conceptos que incorporan conceptos difíciles de asimilar con la distribución, como por ejemplo, la capacidad de toma de decisión, la división del trabajo, aspectos relacionados con la cultura y la identidad, etc. (Young 2014). Desde este punto de vista, todas las personas que sufren injusticias comparten la situación de no poder expresar sus necesidades o ejercer sus talentos (Young 2014), y esta reflexión es muy interesante para este caso.

Sin embargo, Young no entiende la opresión necesariamente como el ejercicio de la tiranía por parte de un grupo en el poder, o las decisiones despóticas y crueles de una minoría. Más bien propone un concepto de injusticia estructural donde la opresión aparece en forma de las desventajas y situaciones asimétricas que sufren algunos grupos y colectivos debido a las prácticas habituales que se dan en una sociedad liberal, a priori bien intencionada. Como están imbricadas en las dinámicas sociales, en lugar de provenir de los designios de un tirano opresor, se califican como estructurales (Young 2014).

Como el ventriloquismo de la IA Generativa surge desde su propia naturaleza y esencia, también es posible definir su categoría de estructural.

Lili, con Leslie Caron y Mel Ferrer

En Lili, Mel Ferrer usa sus moñecos para decirle a Leslie Caron todo lo que él no se atreve

¿Por qué es un problema el Ventriloquismo Estructural?

Gracias a sistemas como Claude, ChatGPT o Gemini, parece que cualquier colectivo puede tener voz, siempre y cuando su situación haya sido adecuadamente indexada en un LLM, o esté disponible en Internet (en páginas que no bloqueen el acceso a los modelos, claro).

Lo cierto es que en realidad, el ventroliquismo estructural en la IA representa una crisis fundamental en la modernidad digital. El algoritmo compone respuestas de manera probabilística, usando fuentes de todo tipo, para generar un texto que invoca la autoridad de voces, tradiciones y marcos teóricos que no ha comprendido y que sus autores reales nunca generaron, incorporando sus marcadores sintácticos, vocabulario y forma de escribir para lograr una apariencia de verosimilitud (Wheatherby, 2023).

La crisis aparece en la posibilidad de que eso represente a otro.

Y que además, ese otro esté oprimido.

En la actualidad de 2026, asistimos a una transición en la forma en que accedemos a la comprensión de las fuentes de opresión. Del acceso a la visión del propio colectivo, o al de aquellos agentes sociales o políticos que les dan voz (y que al hacerlo pueden cometer errores como anticipaba Alcoff, pero justo por ello asumen una responsabilidad y ponen en riesgo su legitimidad) pasamos al acceso a una simulación algorítmica capaz de producir mensajes sin tener responsabilidad sobre ellos, ni dar realmente voz al colectivo oprimido.

La IA Generativa es el ventrílocuo definitivo que usurpa al autor original (incluso sin pagar por sus derechos ), participa en la construcción de sus posiciones sin haber sido autorizada, y carece de responsabilidad jurídica sobre el resultado. Como anticipaba Alcoff (1991), cuando el modelo suplanta las voces de autores o colectivos, reduce la riqueza de su pensamiento a un repertorio estadístico, donde la voz de los oprimidos o de los expertos es simulada por un sistema que no comparte su mundo ni sus riesgos.

La carrera por la IA Generativa amplifica este problema a escala global, una misma voz es distorsionada por múltiples sistemas ventrílocuos, todos compitiendo entre sí por tener más impacto y más alcance. Y por su propia naturaleza, varias personas lanzando una misma consulta a un mismo sistema a través de un mismo canal reciben resultados diferentes, creados en ese momento, que no se pueden volver a generar de la misma forma. Este es uno de los principales cambios en lo epistemológico que llaman la atención de la IA Generativa: cada vez que se busca un lema, se obtiene una entrada diferente, algo insólito, porque hasta el lanzamiento de ChatGPT, la historia del conocimiento se basaba en que, dado un soporte concreto (la tablilla de cera, la Encyclopédie, o la Wikipedia), todas las personas que consultaban una misma entrada accedían a la misma información en una misma fuente, validada por un consejo editorial (Guardiola, 2023).

Lo que subyace a la capacidad de imitación sin comprensión ni responsabilidad es lo que se ha dado en llamar la “metáfora de los loros estocásticos” (Bender et al., 2021). Los LLM están construidos técnicamente para predecir tokens, uniendo secuencias de formas lingüísticas que han identificado previamente en grandes conjuntos de datos por probabilidad, patrones, y corpus. Para entrenar a los algoritmos en la detección de patrones textuales se usaron todo tipo de fuentes y contenidos disponibles en internet, incluso sin derecho de acceso, simplemente basándose en el fair use, de ahí que los LLM hereden puntos de vista hegemónicos y todo tipo de sesgos sistémicos. La IA Generativa, amplifica las voces de los que ya tenían el poder, silenciando aún más a quienes no aparecen suficientemente representados (Bender et al., 2021).

El efecto del ventriloquismo hace que la IA Generativa actúe como sujeto teórico, que simula transparencia, anula la voz real del autor, y enmascara las estructuras de poder económico que la alimenta. Alcoff (1991) señala que el contexto socioeconómico del hablante tiene un impacto significativo en el significado de sus afirmaciones, pero la IA no tiene una ubicación social propia, asume la de su fabricante, de manera que el sesgo es doble: el que le transfiere la empresa que la crea, y el que aprende de su entrenamiento de loro estocástico.

El resultado es un ecosistema comunicativo donde el conocimiento se vuelve homogéneo y estructuralmente frágil por una concepción errónea del lenguaje. Desde un punto de vista lingüístico, el modelo genera frases por la extrapolación de las correlaciones entre los términos, mientras que el ser humano la hace buscado la causalidad (Chomsky et al., 2023), en una acepción perversa del adagio “correlación no implica causalidad”. La falta de responsabilidad del sistema sobre las consecuencias de la información que genera y de las voces que anula se presenta como una revisión de la «banalidad del mal”, el algoritmo plagia, corta y pega porque sigue las instrucciones de sus programadores y las inferencias de su entrenamiento (Chomsky et al., 2023). Ya Alcoff (1991) identifica que el agente que habla en nombre de otros tiene que estar sujeto a la rendición de cuentas.

Hugo en Dead of Night

En Dead of Night, de 1945, el moñeco Hugo poseía a Maxell Frere. PoseIA, ¿lo pillas?

Pero la IA Generativa sin embargo crea un contenido que matiza, reinterpreta y recombina la voz de un autor o un colectivo, sin su consentimiento, y sin que tenga que responder ante nada ni ante nadie.

Cuando se trata de personas, empresas, organizaciones, colectivos o gobiernos pueden aplicar políticas de aceptación de la diferencia y la diversidad; y lanzar acciones de reconocimiento o redistribución. Tendrán además que rendir cuentas de hacerlo o no hacerlo, y responder por sus consecuencias.

¿Y qué pasa cuando lo hace la IA?

Pues nada.

No pasa nada.

Que no te enteras, Morenín.

Coda

La reflexión final es qué rol asume una persona que repite el mensaje generado por una IA.

¿Se convierte entonces en el moñeo del moñeco?

Y de ser así, ¿por dónde le ha metido la mano el sistema para hacerle hablar?

PS

El hilo musical de este post no podría ser otro

Bibliografía

Alcoff, L. (1991). The Problem of Speaking for Others. Cultural Critique, (20), 5-32. https://doi.org/10.2307/1354221

Bender, E. , Gebru, T. , McMillan-Major, A. y Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big?. Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623) https://doi.org/10.1145/3442188.3445922

Butler, J. y Fraser N.  (2000) ¿Redistribución o Reconocimiento? Un debate entre marxismo y feminismo. New Left Review.

Chomsky, N., Roberts, I. y Watumull, J. (8 de marzo de 2023). The False Promise of ChatGPT. Portside. https://portside.org/2023-03-08/noam-chomsky-false-promise-chatgpt

Guardiola, C. (23 de noviembre de 2023). Idealismo artificial: el sueño de Diderot y D’Alembert. Ethic https://ethic.es/2023/11/idealismo-artificial-el-sueno-de-diderot-y-dalambert/

Spivak, G. (2003). ¿Puede hablar el subalterno? Revista Colombiana De Antropología, 39, 297–364. https://doi.org/10.22380/2539472X.1244

Weatherby, L. (21 de abril de 2023). El ChatGPT es una máquina de ideología. Jacobin. https://jacobinlat.com/2023/04/el-chatgpt-es-una-maquina-de-ideologia/

Young, I. M. (2014). Chapter One. Five Faces of Oppression. En: Asumah, Seth y Nagel, Mechthild “Diversity, Social Justice, and Inclusive Excellence : Transdisciplinary and Global Perspectives”, pp 3-32. State University of New York Press.