Humanos en el bucle: la supervisión efectiva como garantía jurídica frente a la decisión automatizada

Análisis crítico de la Checklist on human intervention on automated decision-making (ADM) del Supervisor Europeo de Protección de Datos a la luz del Reglamento (UE) 2018/1725, la Ley de Inteligencia Artificial y el acervo del artículo 22 del RGPD

El Supervisor Europeo de Protección de Datos (EDPS) publicó en 2026 una Checklist on human intervention on automated decision-making (ADM), concebida como herramienta de autoevaluación para que las instituciones, órganos y organismos de la Unión Europea midan la madurez de sus medidas de supervisión humana. El documento completo puede consultarse y descargarse en este enlace.

I. INTRODUCCIÓN: EL PROBLEMA DE LA SUPERVISIÓN HUMANA EN LA ERA DE LA DECISIÓN AUTOMATIZADA

1. Planteamiento y contexto tecnológico‑normativo

La progresiva incorporación de sistemas de toma de decisiones automatizadas (automated decision‑making, en adelante ADM) en la gestión de asuntos públicos y privados ha transformado radicalmente los procesos de adjudicación de prestaciones, la evaluación de riesgos, la selección de personal, la concesión de créditos y, en general, cualquier supuesto en el que un algoritmo sustituya o auxilie el juicio humano. Este fenómeno, lejos de ser neutral, plantea interrogantes fundamentales sobre la compatibilidad de tales sistemas con los principios del Estado de Derecho, la protección de los datos personales y la garantía de los derechos fundamentales. En el seno de la Unión Europea, el legislador ha respondido a este desafío mediante un doble régimen normativo: por un lado, el Reglamento (UE) 2016/679 (RGPD) y, para las instituciones de la UE, el Reglamento (UE) 2018/1725 (EUDPR), que consagran el derecho del interesado a no ser objeto de una decisión basada únicamente en el tratamiento automatizado; por otro, el Reglamento (UE) 2024/1689 (Ley de IA), que impone a los sistemas de inteligencia artificial de alto riesgo la obligación de diseñar mecanismos de supervisión humana efectivos (5,14)

La supervisión humana se ha erigido, así, en una de las garantías transversales más relevantes para mitigar los riesgos de opacidad, discriminación algorítmica y pérdida de control sobre decisiones que afectan a la esfera jurídica de las personas. Sin embargo, la mera presencia de un operador humano en el bucle (human in the loop) no asegura por sí sola una intervención significativa. Como ha puesto de relieve la doctrina más autorizada, el control humano puede degenerar en una formalidad vacía si no va acompañado de una capacitación adecuada, de interfaces que faciliten la comprensión del sistema y de protocolos que incentiven una actitud crítica ante las recomendaciones automatizadas (11,16). El propio Supervisor Europeo de Protección de Datos (EDPS) ha advertido que la supervisión humana no es un sustituto de un diseño sólido del sistema, y que una frecuencia excesiva de intervenciones humanas para corregir fallos revela deficiencias de base que impiden la puesta en producción del sistema (EDPS Checklist, p. 3).

En este contexto, el EDPS ha publicado en 2026 una Checklist on human intervention on automated decision‑making (ADM) (en adelante, la Checklist), concebida como una herramienta de autoevaluación para que las instituciones, órganos y organismos de la Unión Europea midan la madurez de las medidas de supervisión humana aplicadas a sus sistemas de ADM (2). Este documento, que trae causa del TechDispatch #2/2025 sobre Human Oversight of Automated Decision‑Making (1),(7) no pretende ser un instrumento de compliance formal, sino un catalizador para la reflexión, la identificación de lagunas y la mejora continua de los procesos de supervisión (EDPS Checklist, p. 3) (2). Su publicación refleja la creciente preocupación de las autoridades de control por garantizar que la intervención humana no sea meramente simbólica, sino que aporte un valor añadido real al proceso decisorio, en línea con el concepto de meaningful human intervention acuñado por la doctrina y por algunas autoridades nacionales, como la Autoriteit Persoonsgegevens neerlandesa (7,8)

2. Objeto y estructura del estudio

El presente estudio tiene por objeto analizar críticamente la Checklist del EDPS desde una perspectiva jurídica, evaluando su coherencia con el marco normativo aplicable, su utilidad práctica y sus eventuales limitaciones. Para ello, se examinará en primer lugar el entramado normativo de referencia —el EUDPR, el RGPD y la Ley de IA—, prestando especial atención a las exigencias de intervención humana y a los criterios que la doctrina y las autoridades de control han elaborado para determinar cuándo dicha intervención resulta «significativa». A continuación, se describirá la génesis, naturaleza y estructura de la Checklist, para proceder a un análisis sistemático de cada uno de los controles que propone, distinguiendo entre los que tienen un alcance general (sección 1) y aquellos específicamente dirigidos a operadores con capacidad de intervención activa (sección 2) (2).

El estudio no se limitará a una exposición descriptiva, sino que abordará los principales problemas jurídicos abiertos que suscita la implementación de estos controles, como la tensión entre supervisión humana y diseño seguro, la dificultad de definir la «significatividad» de la intervención, los conflictos con los secretos comerciales, o la responsabilidad civil y administrativa derivada de una supervisión ineficaz. Asimismo, se llevará a cabo un análisis comparado con otras iniciativas regulatorias y guías de autoridades de protección de datos, para situar el estándar del EDPS en el panorama internacional. Finalmente, se ofrecerán recomendaciones prácticas para las instituciones de la UE y se apuntarán tendencias regulatorias futuras.

3. Metodología y fuentes documentales

La metodología empleada es la propia del análisis jurídico‑dogmático, complementada con un enfoque de law and technology que atiende a las particularidades de los sistemas algorítmicos. Las fuentes primarias utilizadas son los textos normativos citados (RGPD, EUDPR y Ley de IA), los documentos oficiales del EDPS (especialmente la Checklist objeto de estudio y el TechDispatch que la precede) (1),(2) y las guías de otras autoridades de control. Como fuentes secundarias, se han consultado informes de organismos internacionales y una selección de la literatura académica más relevante publicada en los últimos años, que abordan desde la construcción de sistemas impugnables (10) hasta la relación entre supervisión humana y equidad en la Ley de IA (12), pasando por el papel de los jueces en la supervisión de sistemas de apoyo a la decisión (13) y los desafíos de opacidad de los sistemas ADM (14,15). El análisis se completa con referencias a la doctrina que ha estudiado la interacción entre el RGPD y la Ley de IA (16) y los marcos psico‑jurídicos para evaluar la toma de decisiones digitales (17,10)

Todo el estudio se ciñe estrictamente a las fuentes documentales verificadas, y las citas se realizan mediante el sistema de numeración correlativa que se mantendrá a lo largo del trabajo.

II. MARCO NORMATIVO DE REFERENCIA PARA LA INTERVENCIÓN HUMANA

1. El derecho a no ser objeto de decisiones automatizadas en el RGPD y el EUDPR

1.1. Artículo 22 RGPD: ámbito de aplicación y excepciones

El punto de partida de cualquier análisis sobre la intervención humana en la toma de decisiones automatizada en el ordenamiento de la Unión Europea es el artículo 22 del Reglamento General de Protección de Datos (RGPD) (3). Este precepto establece, en su apartado primero, el derecho del interesado a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos sobre él o le afecte de modo similarmente significativo (14,17). La prohibición no es absoluta, sino que el apartado segundo del artículo 22 admite tres excepciones: (a) cuando la decisión sea necesaria para la celebración o ejecución de un contrato; (b) cuando esté autorizada por el Derecho de la Unión o de los Estados miembros que establezca medidas adecuadas para salvaguardar los derechos y libertades e intereses legítimos del interesado; y (c) cuando se base en el consentimiento explícito del interesado (13).

Ahora bien, incluso en estos supuestos excepcionales en los que se permite una decisión basada únicamente en el tratamiento automatizado, el apartado tercero del artículo 22 impone al responsable del tratamiento la obligación de adoptar medidas adecuadas para salvaguardar los derechos y libertades e intereses legítimos del interesado, lo que incluye, como mínimo, el derecho a obtener intervención humana por parte del responsable, a expresar su punto de vista y a impugnar la decisión (13,14). La intervención humana se configura así como una garantía ex post —esto es, posterior a la adopción de la decisión automatizada— en aquellos casos en los que, excepcionalmente, la decisión automatizada está permitida.

La doctrina ha subrayado que la clave para determinar si una decisión queda comprendida en el ámbito de aplicación del artículo 22(1) reside en el carácter «únicamente» automatizado de la misma (13). Si existe una intervención humana significativa (meaningful human intervention) en el proceso decisorio, la decisión deja de ser «únicamente» automatizada y, por tanto, queda excluida del ámbito de la prohibición (2,11,12). El Grupo de Trabajo del Artículo 29, en sus Directrices sobre decisiones individuales automatizadas y elaboración de perfiles (WP251 rev.01), posteriormente refrendadas por el Comité Europeo de Protección de Datos (CEPD) en su primera sesión plenaria, ha precisado que «el responsable no puede eludir las disposiciones del artículo 22 fabricando una intervención humana» y que, para que la intervención sea cualificable como tal, «debe ser significativa y no meramente un gesto simbólico» (11,12,14).

El concepto de «significatividad» ha sido objeto de elaboración doctrinal y jurisprudencial, aunque permanece en gran medida indeterminado (11,12). Como han puesto de relieve Corrêa, Garsia y Elbi, la indeterminación normativa del estándar de intervención humana significativa dificulta su aplicación práctica, en la medida en que ni la Ley de IA ni el RGPD ofrecen criterios operativos precisos y los escasos precedentes del TJUE y de los tribunales nacionales no colman esa laguna (12). La jurisprudencia disponible sugiere que la intervención humana debe ser activa, ejercida por alguien con autoridad y capacidad para modificar el resultado de la decisión, y no meramente confirmatoria de lo que el sistema ha decidido (13).

1.2. Artículo 24 EUDPR: especificidades para las instituciones de la UE

El Reglamento (UE) 2018/1725 (EUDPR) es el equivalente del RGPD para las instituciones, órganos y organismos de la Unión Europea (4,16). Su artículo 24 reproduce, con ligeras variaciones de redacción, el contenido del artículo 22 del RGPD (16). El apartado primero del artículo 24 EUDPR consagra el derecho de todo interesado a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos sobre él o le afecte de modo similarmente significativo (16). El apartado segundo establece las mismas excepciones que el RGPD (contrato, autorización legal y consentimiento explícito), y el apartado tercero exige al responsable la adopción de medidas adecuadas para salvaguardar los derechos del interesado, incluyendo el derecho a obtener intervención humana, a expresar el punto de vista y a impugnar la decisión (16).

La especificidad del EUDPR radica en su ámbito de aplicación subjetivo: se dirige a las instituciones de la UE, que son precisamente el destinatario principal de la Checklist objeto del presente estudio (2). El EDPS, como autoridad de control de la UE en materia de protección de datos, tiene competencia para velar por el cumplimiento del EUDPR y para emitir orientaciones dirigidas a las instituciones de la UE (1,2,10). La Checklist se inscribe en esta función de supervisión y asesoramiento, ofreciendo a las instituciones de la UE un instrumento para evaluar la madurez de sus medidas de supervisión humana, sin perjuicio de que sus principios puedan ser de utilidad para otros responsables del tratamiento sujetos al RGPD (8).

El EDPS ha advertido expresamente que «los requisitos del EUDPR se aplican a cualquier sistema que trate datos personales, con independencia de que se califique como un ADM» (2). Esta afirmación, contenida en la propia Checklist, reviste una importancia capital: la obligación de garantizar una intervención humana significativa no se limita a los sistemas que encajan en la definición estricta de «decisión automatizada» del artículo 24 EUDPR, sino que se extiende a cualquier tratamiento de datos personales que pueda afectar a los derechos de los interesados (2). El EDPS amplía así el ámbito de aplicación material de la garantía de supervisión humana más allá de los estrechos límites del artículo 24 EUDPR, en consonancia con una interpretación finalista y garantista de la normativa de protección de datos.

1.3. La noción de «intervención humana significativa» en la doctrina de las autoridades de control

La indeterminación del concepto de «intervención humana significativa» ha llevado a las autoridades de protección de datos a elaborar criterios orientadores. La Autoriteit Persoonsgegevens (AP) neerlandesa ha publicado un documento específico sobre Meaningful Human Intervention que constituye una de las aproximaciones más desarrolladas a esta cuestión (11,12). La AP parte de la base de que la intervención humana debe ser «significativa» para que la decisión no se considere únicamente automatizada, y ofrece herramientas para que los responsables del tratamiento determinen cuándo concurre ese requisito (11). El documento de la AP, elaborado a partir de las directrices del CEPD, la literatura científica y algunas decisiones judiciales, subraya que la intervención humana no debe ser meramente formal, sino que debe permitir al operador humano ejercer una influencia real en el resultado de la decisión (11,12).

El EDPS, por su parte, ha abordado esta cuestión en el TechDispatch #2/2025, que constituye el antecedente inmediato de la Checklist (1,9). El TechDispatch examina los presupuestos erróneos más comunes sobre la supervisión humana y advierte que «simplemente añadir un humano en el proceso de toma de decisiones no garantiza inherentemente mejores resultados, ni debería servir como un medio para desviar la responsabilidad por las decisiones del sistema» (9). El documento identifica una serie de factores que pueden hacer que la supervisión humana sea ineficaz, como la falta de formación adecuada, el diseño deficiente de la interfaz, la confianza excesiva en el sistema (automation bias) o la ausencia de autoridad real para anular las decisiones del sistema (1,9).

La doctrina académica ha añadido capas adicionales de complejidad. Almada propone el concepto de «sistemas impugnables» (contestable systems), en los que la intervención humana no se limita a la supervisión puntual de una decisión, sino que se integra en un marco más amplio que permite a los afectados cuestionar y revisar las decisiones automatizadas (10). Otros autores han señalado que la supervisión humana, tal como se regula en la Ley de IA, intenta introducir empatía y consideración de factores contextuales en los procesos de toma de decisiones automatizados, lo que puede conducir a resultados más justos (12). Sin embargo, también se ha advertido del riesgo de que la supervisión humana se convierta en una mera formalidad si no va acompañada de las salvaguardas adecuadas (11).

2. La supervisión humana como requisito ex ante en la Ley de IA

2.1. Artículo 14 AI Act: diseño de mecanismos de supervisión para sistemas de alto riesgo

El Reglamento (UE) 2024/1689, conocido como Ley de Inteligencia Artificial (AI Act), introduce un régimen complementario al de la protección de datos en materia de supervisión humana (5). Mientras que el RGPD y el EUDPR abordan la intervención humana principalmente como una garantía ex post frente a decisiones automatizadas ya adoptadas (salvo en la interpretación amplia que hace el EDPS), la AI Act impone la supervisión humana como un requisito ex ante de diseño para los sistemas de IA de alto riesgo.

El artículo 14 de la AI Act establece que «los sistemas de IA de alto riesgo se diseñarán y desarrollarán de manera que, también con el uso de tecnologías de interfaz humano-máquina adecuadas, puedan ser supervisados eficazmente por personas físicas durante el periodo en que estén en uso» (5,15). El objetivo de la supervisión humana, según el apartado segundo del artículo 14, es «prevenir o minimizar los riesgos para la salud, la seguridad o los derechos fundamentales que puedan surgir cuando se utilice un sistema de IA de alto riesgo de conformidad con su finalidad prevista o en condiciones de uso indebido razonablemente previsible» (11,12,15).

La AI Act distingue dos tipos de medidas de supervisión humana. El apartado tercero del artículo 14 establece que las medidas de supervisión serán «proporcionales a los riesgos, al nivel de autonomía y al contexto de uso del sistema de IA de alto riesgo», y se garantizarán mediante uno o ambos de los siguientes tipos de medidas: (a) medidas identificadas e incorporadas por el proveedor en el sistema de IA antes de su comercialización o puesta en servicio; y (b) medidas identificadas por el proveedor y que el usuario final debe aplicar (15). El apartado cuarto del artículo 14 detalla los requisitos que deben cumplir estas medidas, entre los que se incluyen la capacidad del supervisor humano para comprender plenamente las capacidades y limitaciones del sistema, para detectar y abordar desviaciones y anomalías, y para intervenir o anular el funcionamiento del sistema (15).

El artículo 14 de la AI Act se complementa con el artículo 26, apartado 2, que impone a los usuarios finales (deployers) la obligación de «asignar la supervisión humana a personas físicas que posean la competencia, la formación y la autoridad necesarias, así como el apoyo necesario» (15). Esta disposición refuerza la idea de que la supervisión humana no es una cuestión meramente técnica, sino que exige una capacitación específica y una asignación clara de responsabilidades.

2.2. Relación y complementariedad entre el EUDPR y la AI Act en materia de supervisión

La relación entre el EUDPR (y el RGPD) y la AI Act en materia de supervisión humana es de complementariedad, no de sustitución. Como ha señalado la doctrina, la AI Act no deroga ni modifica las obligaciones derivadas del RGPD o del EUDPR, sino que las refuerza y amplía (16). Mientras que el RGPD y el EUDPR se centran en la protección de los datos personales y en el derecho del interesado a no ser objeto de decisiones automatizadas, la AI Act aborda la seguridad y la fiabilidad de los sistemas de IA desde una perspectiva más amplia, que incluye, pero no se limita a, la protección de datos (5).

En el ámbito de las instituciones de la UE, el EUDPR constituye el marco general aplicable a cualquier tratamiento de datos personales, incluido el que se realiza mediante sistemas de ADM o de IA (4). La AI Act, por su parte, se aplica a los sistemas de IA de alto riesgo, con independencia de que traten datos personales. Cuando un sistema de IA de alto riesgo trata datos personales, se aplican acumulativamente ambos regímenes: el EUDPR (o el RGPD) y la AI Act (11,12). Esto significa que las instituciones de la UE deben cumplir simultáneamente con las exigencias de supervisión humana del artículo 24 EUDPR y con las del artículo 14 de la AI Act.

El EDPS ha sido consciente de esta interacción normativa desde el inicio de sus trabajos sobre supervisión humana. El TechDispatch #2/2025 señala que «tanto el EUDPR como la AI Act prevén la intervención humana en la toma de decisiones automatizada, aunque lo hacen en contextos diferentes» (2). La Checklist, por su parte, «no pretende determinar dónde la legislación aplicable exige la supervisión humana. Más bien, ofrece una orientación estructurada sobre los factores críticos a considerar al implementar medidas de supervisión humana» (2). Esta neutralidad respecto al fundamento normativo de la obligación es deliberada: la Checklist aspira a ser una herramienta práctica que pueda utilizarse con independencia de que la obligación de supervisión derive del EUDPR, de la AI Act o de ambos.

3. Interacción entre los regímenes de protección de datos y de seguridad de los productos algorítmicos

La coexistencia del EUDPR y de la AI Act plantea desafíos interpretativos y prácticos. En primer lugar, el ámbito de aplicación de ambos regímenes no es idéntico: el EUDPR se aplica a cualquier tratamiento de datos personales, mientras que la AI Act solo se aplica a los sistemas de IA de alto riesgo (5). Esto significa que hay sistemas de ADM que no son sistemas de IA de alto riesgo (por ejemplo, sistemas basados en reglas simples) y que, sin embargo, están sujetos a las exigencias del EUDPR en materia de decisiones automatizadas. La Checklist del EDPS cubre ambos tipos de sistemas, ya que se aplica a «cualquier sistema cuyas decisiones o recomendaciones puedan afectar a las personas» (2).

En segundo lugar, el estándar de supervisión exigido por ambos regímenes no es idéntico. El artículo 24 EUDPR exige una «intervención humana» que puede ser ex post (es decir, posterior a la decisión automatizada) en los casos excepcionales del apartado segundo, o bien una intervención que impida que la decisión sea «únicamente» automatizada en el sentido del apartado primero (16). El artículo 14 de la AI Act, en cambio, exige una supervisión humana ex ante, integrada en el diseño del sistema y que permita al supervisor humano intervenir durante el funcionamiento del sistema (15). La Checklist del EDPS integra ambas perspectivas, ofreciendo controles que cubren tanto la supervisión durante el diseño y la operación (sección 2) como la gobernanza general y la capacitación de los usuarios (sección 1) (2).

En tercer lugar, la responsabilidad derivada de una supervisión ineficaz puede ser diferente según el régimen aplicable. Bajo el EUDPR, el responsable del tratamiento es el principal sujeto responsable de garantizar la intervención humana y de responder por las violaciones de los derechos de los interesados (3). Bajo la AI Act, la responsabilidad se distribuye entre el proveedor (que debe diseñar el sistema para permitir la supervisión humana) y el usuario final (que debe asignar la supervisión a personas competentes) (5,15). La Checklist del EDPS aborda esta complejidad al exigir una «gobernanza documentada» que incluya roles, responsabilidades y procedimientos de escalado, así como mecanismos de rendición de cuentas que eviten la búsqueda de chivos expiatorios y promuevan el aprendizaje organizativo (2).

La doctrina ha señalado que la interacción entre el RGPD y la AI Act en materia de supervisión humana no está exenta de tensiones. Algunos autores han advertido que la supervisión humana puede ser utilizada como un mecanismo para eludir las garantías del artículo 22 RGPD, si la intervención humana es meramente formal o simbólica (11,12). El EDPS, en su TechDispatch, ha sido especialmente claro en este punto: «La supervisión humana no es un sustituto de un diseño sólido del sistema. Los mecanismos de supervisión desempeñan un papel fundamental en la mitigación de riesgos, pero no deben servir como sustituto de la corrección de sistemas automatizados fundamentalmente defectuosos, inseguros o poco fiables» (2). Esta advertencia, que la Checklist incorpora en su propia página 3, constituye una de las contribuciones más importantes del EDPS al debate sobre la supervisión humana, al establecer un límite claro a la función de la intervención humana: esta no puede legitimar un sistema mal diseñado (2).

III. LA CHECKLIST DEL EDPS: GÉNESIS, ALCANCE Y FUNCIÓN

1. Antecedentes: el TechDispatch #2/2025 sobre Human Oversight of Automated Decision‑Making

La Checklist publicada por el EDPS en 2026 no surge de un vacío institucional, sino que constituye el desarrollo práctico de un trabajo previo de reflexión técnica y jurídica materializado en el TechDispatch #2/2025, titulado precisamente Human Oversight of Automated Decision‑Making (1). La serie TechDispatch, impulsada por el EDPS, tiene como finalidad analizar tecnologías emergentes desde la perspectiva de la protección de datos, ofreciendo a las instituciones de la Unión Europea y al público en general una evaluación rigurosa de los riesgos y las oportunidades que plantean determinados desarrollos tecnológicos (9).

El TechDispatch #2/2025 se centra en desmontar los presupuestos erróneos más comunes en relación con la supervisión humana de los sistemas de ADM (1,9). Entre estos, el EDPS identifica la creencia de que la mera presencia de un operador humano en el circuito decisorio garantiza automáticamente la corrección y la equidad de las decisiones, o que la supervisión humana puede suplir carencias de diseño del sistema. El documento subraya que «simplemente añadir un humano en el proceso de toma de decisiones no garantiza inherentemente mejores resultados, ni debería servir como un medio para desviar la responsabilidad por las decisiones del sistema» (9). El TechDispatch propone, además, una serie de medidas técnicas y organizativas para mejorar la efectividad de la supervisión humana, que abarcan desde la formación de los operadores hasta el diseño de interfaces y la definición de métricas de rendimiento (1).

La Checklist toma como punto de partida este análisis y lo traduce en un conjunto de controles concretos y verificables (1,2). El propio documento señala en su página 2 que «la TechDispatch del EDPS sobre supervisión humana de la toma de decisiones automatizada (2025) presenta un análisis de conceptos erróneos comunes y proporciona algunas medidas sobre cómo mejorarla. La Checklist adjunta utiliza la TechDispatch como punto de partida» (2). Esta referencia explícita revela la continuidad metodológica entre ambos documentos: la Checklist no es un instrumento autónomo, sino la operacionalización de las reflexiones contenidas en el TechDispatch, adaptada a las necesidades de autoevaluación de las instituciones de la UE.

La elección del formato de checklist responde a una lógica pragmática. El EDPS, en su función de asesoramiento y supervisión, ha optado por ofrecer a los responsables del tratamiento una herramienta de fácil uso que permita identificar carencias y orientar la mejora continua, sin sustituir la obligación de cumplimiento normativo ni eximir a las instituciones de realizar sus propias evaluaciones de impacto y análisis de riesgos (2,6).

2. Naturaleza jurídica y finalidad de la Checklist

2.1. Herramienta de autoevaluación versus instrumento de compliance formal

La primera cuestión que debe abordarse al examinar la Checklist es su naturaleza jurídica. El EDPS ha sido especialmente cuidadoso en delimitar el alcance y la función de este documento. En la página 3 de la Checklist, bajo el epígrafe «Disclaimer», se establece que «esta checklist pretende apoyar la reflexión, la identificación de lagunas y la mejora de los procesos de supervisión. Si bien la checklist puede respaldar la responsabilidad (accountability) de los responsables del tratamiento, no está diseñada para ser utilizada como una herramienta formal de evaluación del cumplimiento normativo» (2).

Esta declaración tiene implicaciones jurídicas relevantes. En primer lugar, la Checklist no crea nuevas obligaciones legales para las instituciones de la UE, ni modifica ni amplía el alcance de las obligaciones derivadas del EUDPR, de la AI Act o de cualquier otra norma aplicable (5). Su función es puramente instrumental: proporcionar un marco estructurado para que los responsables del tratamiento evalúen la madurez de sus medidas de supervisión humana y adopten las correcciones oportunas (8). En segundo lugar, la Checklist no constituye una interpretación vinculante de la normativa aplicable, ni sustituye a las eventuales directrices o decisiones que puedan adoptar el EDPS, el CEPD o el Tribunal de Justicia de la Unión Europea (11). Se trata de un soft law en el sentido más clásico: una orientación no vinculante que, sin embargo, goza de una autoridad moral e institucional significativa, al provenir de la autoridad de control de la UE en materia de protección de datos.

Ahora bien, esta naturaleza no vinculante no resta valor a la Checklist como herramienta de compliance práctico. Como ha señalado el EDPS, la Checklist «puede respaldar la responsabilidad de los responsables del tratamiento» (2). En el marco del principio de accountability, consagrado en el artículo 5.2 del RGPD y en el artículo 4.2 del EUDPR, los responsables del tratamiento deben ser capaces de demostrar el cumplimiento de las obligaciones legales que les incumben (3). La Checklist ofrece un conjunto de criterios objetivos que pueden servir de base para documentar las medidas adoptadas y para justificar, ante el EDPS o ante otras autoridades, que se ha desplegado un esfuerzo razonable para garantizar una supervisión humana efectiva. En este sentido, aunque no sea un instrumento de compliance formal, una institución que implemente todos los controles de la Checklist estará en una posición mucho más sólida para demostrar su diligencia debida que aquella que no los haya considerado.

2.2. Ámbito subjetivo: instituciones, órganos y organismos de la UE

La Checklist se dirige expresamente a las «instituciones, órganos y organismos de la Unión Europea» (EUIs, por sus siglas en inglés), que son precisamente los sujetos obligados por el EUDPR (2,4). Esta delimitación subjetiva es coherente con las competencias del EDPS, que actúa como autoridad de control de la UE para la aplicación del EUDPR (1). No obstante, el EDPS ha manifestado en diversas ocasiones que sus orientaciones pueden ser de utilidad para otros responsables del tratamiento sujetos al RGPD, aunque no tengan el carácter de vinculantes para ellos (2).

El ámbito subjetivo de la Checklist no se limita, sin embargo, a los sistemas de ADM que encajan en la definición estricta del artículo 24 EUDPR. Como se ha señalado anteriormente, el EDPS advierte que «los requisitos del EUDPR se aplican a cualquier sistema que trate datos personales, con independencia de que se califique como un ADM» (2). Esta afirmación, contenida en el «Disclaimer» de la Checklist, extiende el ámbito de aplicación material de la Checklist a todos los sistemas de tratamiento de datos personales que puedan afectar a los derechos de los interesados, con independencia de que sus decisiones o recomendaciones sean automatizadas en el sentido técnico del término.

Esta interpretación expansiva es coherente con la función general del EDPS de promover una cultura de protección de datos en todas las actividades de las instituciones de la UE, y no únicamente en aquellas que caen dentro de los supuestos más restrictivos del artículo 24 EUDPR (5). La inclusión de esta advertencia en la propia Checklist refuerza la idea de que la supervisión humana no es una cuestión marginal o excepcional, sino un principio transversal que debe informar cualquier uso de sistemas automatizados que incida sobre las personas.

2.3. Relación con la obligación de rendición de cuentas (accountability)

La obligación de rendición de cuentas, consagrada en el artículo 5.2 del RGPD y en el artículo 4.2 del EUDPR, exige al responsable del tratamiento no solo cumplir con las obligaciones materiales establecidas en la normativa, sino también ser capaz de demostrar ese cumplimiento de manera continua y documentada (3). La Checklist del EDPS se inscribe directamente en esta lógica de accountability, al ofrecer a los responsables del tratamiento un marco para evaluar y documentar la efectividad de sus medidas de supervisión humana (8).

El propio EDPS, en su Guidance for Risk Management of Artificial Intelligence Systems (2025), ha subrayado que «el control algorítmico, la supervisión human‑in‑the‑loop, el registro (logging) y la gestión de proveedores son objeto de interés supervisor» (6). La Checklist da concreción a estas áreas de interés, transformando los principios generales de la guía en controles específicos y verificables. Por ejemplo, el requisito de que existan «KPIs definidos para la supervisión (por ejemplo, tasa de detección de errores, frecuencia de anulación)» y que «las métricas se revisen periódicamente y se comuniquen a la dirección» (2) responde directamente a la necesidad de documentar y medir la efectividad de la supervisión, elemento esencial de la accountability.

La relación de la Checklist con la accountability es, sin embargo, matizada. El EDPS insiste en que la Checklist no es una herramienta formal de evaluación del cumplimiento, lo que significa que la mera autoevaluación positiva no exime al responsable del tratamiento de otras obligaciones, como la realización de evaluaciones de impacto relativas a la protección de datos (EIPD) o la consulta previa al EDPS en los casos previstos en el artículo 40 EUDPR (4). La Checklist es un medio, no un fin: ayuda a estructurar el proceso de reflexión y mejora, pero la accountability requiere, además, una integración efectiva de los controles en el sistema de gobernanza de la organización y una supervisión continua por parte de la dirección y de las autoridades de control (6,11).

3. Estructura general de la Checklist: sección general y sección específica para operadores con capacidad de intervención

La Checklist se organiza en dos grandes secciones, precedidas por una introducción que fija el alcance y las limitaciones del instrumento, y seguidas de un conjunto de controles que cubren aspectos muy diversos de la supervisión humana (2). El propio documento indica, en su página 4, que la sección 1 «se aplica ampliamente a cualquier sistema cuyas decisiones o recomendaciones puedan afectar a las personas», mientras que la sección 2 «se aplica cuando hay operadores responsables de supervisar los sistemas de ADM que tienen autoridad para intervenir en su acción (por ejemplo, suspender el sistema o no tener en cuenta las decisiones)» (2).

Esta estructura dual responde a una distinción funcional entre dos niveles de supervisión humana. El primer nivel, recogido en la sección 1, es de carácter general y se refiere a la gobernanza, la formación, la explicabilidad, la rendición de cuentas y la participación de los afectados. Estos controles son aplicables a cualquier sistema de ADM, con independencia del grado de autonomía del sistema o de la capacidad de intervención de los operadores. Su finalidad es crear un entorno organizativo y cultural que favorezca una supervisión humana efectiva, incluso en aquellos sistemas en los que la intervención humana no es inmediata o no implica la anulación de la decisión.

El segundo nivel, correspondiente a la sección 2, es de carácter específico y se dirige a los operadores que tienen la capacidad de intervenir activamente en el funcionamiento del sistema. Estos controles abordan aspectos como la autorización formal del operador, la carga de trabajo, el diseño de la interfaz, la realización de auditorías, el mantenimiento de la atención mediante inyección de anomalías simuladas y el muestreo de registros de decisión (2). La sección 2 es, por tanto, complementaria de la sección 1: no puede haber una supervisión efectiva de los operadores si no existe una gobernanza general adecuada y una formación suficiente.

La elección de esta estructura obedece a una consideración práctica: no todos los sistemas de ADM requieren el mismo nivel de supervisión humana, y no todos los operadores tienen las mismas capacidades o responsabilidades. Al distinguir entre controles generales y controles específicos, la Checklist permite a las instituciones de la UE adaptar sus medidas de supervisión al contexto concreto de cada sistema, sin renunciar a un estándar mínimo de gobernanza y rendición de cuentas.

La sección 1 se compone de nueve bloques de controles: (i) gobernanza documentada y responsabilidad; (ii) formación de usuarios; (iii) rendición de cuentas tras fallos; (iv) medición del impacto de la supervisión; (v) explicabilidad y trazabilidad; (vi) principio de los cuatro ojos; (vii) circuitos de retroalimentación; (viii) competencia y experiencia en el dominio; y (ix) concienciación crítica y prevención de la confianza ciega (2). La sección 2, por su parte, se compone de seis bloques: (i) autorización formal y poder efectivo; (ii) tiempo de revisión y carga de trabajo; (iii) diseño de interfaz; (iv) auditorías internas y externas; (v) inyección de anomalías simuladas; y (vi) muestreo de registros (2).

Esta estructura detallada permite un análisis pormenorizado de cada uno de los controles, que se abordará en las secciones siguientes del presente estudio, evaluando su coherencia con el marco normativo, su utilidad práctica y sus eventuales limitaciones.

IV. ANÁLISIS SISTEMÁTICO DE LOS CONTROLES DE LA SECCIÓN 1 (GOBERNANZA Y CAPACITACIÓN GENERAL)

1. Gobernanza documentada y responsabilidad asignada

El primer control de la sección 1 establece la exigencia de que exista «un marco de gobernanza claramente definido y documentado para la supervisión humana del sistema de ADM, que incluya roles, responsabilidades y procedimientos de escalado» (2). Este requisito, aparentemente sencillo, encierra una de las dimensiones más críticas de la supervisión humana: la asignación inequívoca de responsabilidades en un entorno en el que la toma de decisiones es compartida entre el sistema automatizado y el operador humano.

Desde una perspectiva jurídica, este control responde directamente a las exigencias de accountability del EUDPR y de la AI Act. El artículo 24.3 del EUDPR impone al responsable del tratamiento la adopción de «medidas adecuadas para salvaguardar los derechos y libertades e intereses legítimos del interesado», lo que incluye la intervención humana (16). Sin una definición clara de quién ejerce esa intervención, con qué autoridad y bajo qué procedimientos, la garantía resulta inoperante. La AI Act, por su parte, exige en su artículo 26.2 que los usuarios finales «asignen la supervisión humana a personas físicas que posean la competencia, la formación y la autoridad necesarias» (15). La Checklist del EDPS traduce esta exigencia legal en un control verificable: la documentación de roles, responsabilidades y procedimientos de escalado.

La referencia a los «procedimientos de escalado» (escalation procedures) es particularmente relevante. En los sistemas de ADM, no todas las decisiones pueden ser resueltas por el operador de primera línea. Existen casos de alta complejidad, de gran impacto para los derechos de los afectados o de desacuerdo entre operadores que requieren la intervención de niveles superiores de la organización. La Checklist exige que estos procedimientos estén predefinidos y documentados, lo que evita la improvisación y garantiza que las decisiones más sensibles reciban la atención adecuada. Este enfoque es coherente con la idea de «supervisión humana significativa» defendida por la Autoriteit Persoonsgegevens, que insiste en que el operador humano debe tener la autoridad real para modificar el resultado de la decisión (7).

El control de gobernanza documentada no se limita, sin embargo, a la mera existencia de un documento. La expresión «claramente definido y documentado» sugiere que el marco debe ser accesible, comprensible y aplicable por todos los implicados, y que debe ser objeto de revisión periódica. La doctrina ha señalado que la falta de claridad en la asignación de responsabilidades es uno de los principales factores que contribuyen a la «confianza ciega» en los sistemas automatizados, ya que los operadores tienden a atribuir la responsabilidad de las decisiones al sistema, evitando un examen crítico (11). La exigencia de documentación contribuye a contrarrestar este fenómeno, al hacer explícitas las expectativas y los límites de la actuación del operador.

2. Formación de los usuarios como condición para una supervisión eficaz

El segundo bloque de controles de la sección 1 se refiere a la formación de los usuarios. La Checklist exige, en primer lugar, que los usuarios reciban una formación obligatoria de incorporación (onboarding training) sobre las capacidades y límites del sistema, incluyendo posibles escenarios de fallo (2). Esta exigencia, aunque aparentemente obvia, es uno de los aspectos más descuidados en la práctica. El TechDispatch #2/2025 ya advertía de que la falta de formación adecuada es una de las principales causas de que la supervisión humana sea ineficaz, ya que los operadores no comprenden ni las fortalezas ni las debilidades del sistema que supervisan (1).

La Checklist va más allá de la formación inicial y exige que esta incluya «ejercicios basados en escenarios que incorporen casos de fallo conocidos y lecciones aprendidas» (2). Este requisito tiene una doble finalidad: por un lado, preparar a los operadores para situaciones reales de anomalía o disfunción del sistema; por otro, garantizar que las lecciones extraídas de incidentes pasados se integren en el programa formativo, creando un ciclo de aprendizaje organizativo. El EDPS ha sido especialmente insistente en este punto, como se refleja en la propia Checklist, que más adelante exige que «las lecciones aprendidas se documenten, se refuercen mediante medidas técnicas y organizativas específicas, y se incorporen a la formación de los usuarios» (2).

La formación debe incluir, además, «componentes sobre toma de decisiones ética» y debe abordar los «sesgos cognitivos y de automatización para prevenir la "confianza excesiva en el sistema"» (2). La inclusión de la ética en la formación de los operadores es un rasgo distintivo de la Checklist y refleja la preocupación del EDPS por la dimensión cualitativa de la supervisión humana. La mera capacidad técnica para manejar el sistema no es suficiente; el operador debe ser consciente de los valores en juego y de las implicaciones éticas de sus decisiones.

El problema del sesgo de automatización (automation bias) ha sido ampliamente estudiado en la literatura. Se define como la tendencia de los operadores a confiar excesivamente en las recomendaciones de un sistema automatizado, incluso cuando existen indicios de que dichas recomendaciones son erróneas (11). La Checklist aborda este riesgo exigiendo que la formación incluya específicamente este componente, y más adelante, en la sección 2, exige medidas adicionales como la inyección de anomalías simuladas para mantener la atención de los operadores (2). La doctrina ha señalado que la formación en sesgos cognitivos es una de las medidas más efectivas para contrarrestar la confianza ciega, siempre que vaya acompañada de interfaces que faciliten la identificación de errores (16).

3. Mecanismos de rendición de cuentas tras fallos

La tercera categoría de controles de la sección 1 se centra en los mecanismos de rendición de cuentas tras la ocurrencia de fallos. La Checklist exige que existan «mecanismos para garantizar la responsabilidad por las decisiones influenciadas por el ADM (por ejemplo, pistas de auditoría, registros de decisiones), particularmente cuando pueda producirse un sesgo de automatización» (2). Esta exigencia es un corolario lógico del principio de accountability: para poder rendir cuentas, es necesario que las decisiones queden registradas de manera que sea posible rastrear su origen, su justificación y las intervenciones humanas que las hayan afectado.

El EDPS, en su Guidance for Risk Management of Artificial Intelligence Systems, ya había subrayado la importancia del registro (logging) como herramienta de control algorítmico (6). La Checklist concreta esta recomendación exigiendo que los registros permitan identificar no solo la decisión final, sino también las intervenciones humanas, los motivos de la anulación y las circunstancias concurrentes. Esta trazabilidad es esencial no solo para la rendición de cuentas ex post, sino también para el aprendizaje organizativo y para la identificación de patrones de error o sesgo en el sistema.

Un elemento especialmente relevante de este bloque es la exigencia de que se documenten las «lecciones aprendidas», se refuercen mediante medidas técnicas y organizativas, y se incorporen a la formación de los usuarios (2). La Checklist impone así un ciclo de mejora continua: el fallo no se considera un incidente aislado, sino una oportunidad para revisar y mejorar tanto el sistema como los protocolos de supervisión. Esta aproximación se alinea con la recomendación de la doctrina de construir «sistemas impugnables» (contestable systems), en los que la retroalimentación de los fallos se integra en el diseño del sistema (10).

El control que exige la «implementación de un protocolo de análisis de causa raíz (root‑cause analysis, RCA) tras los fallos (es decir, "qué salió mal y por qué")» (2) refuerza esta lógica. El RCA es una técnica de gestión de calidad que busca identificar la causa fundamental de un problema, en lugar de limitarse a tratar sus síntomas. Su aplicación a los sistemas de ADM es particularmente compleja, ya que las causas de un fallo pueden ser múltiples y entrelazadas: errores en los datos de entrenamiento, deficiencias en el algoritmo, fallos de la interfaz, error humano, etc. La Checklist exige que se realice este análisis de manera sistemática, lo que obliga a las instituciones a desarrollar capacidades técnicas y metodológicas específicas.

Finalmente, el control que exige reevaluar el protocolo de supervisión humana «cuando el sistema de ADM se actualiza» (2) es un recordatorio oportuno de que la supervisión no es un ejercicio estático. Los sistemas de ADM evolucionan con el tiempo, ya sea mediante actualizaciones del modelo, cambios en los datos de entrenamiento o modificaciones en los parámetros de decisión. Cada uno de estos cambios puede alterar el comportamiento del sistema y, por tanto, la forma en que los operadores deben supervisarlo. La Checklist exige que el protocolo de supervisión se reevalúe tras cada actualización, lo que evita que los operadores sigan aplicando procedimientos obsoletos.

4. Indicadores de desempeño y medición del impacto de la supervisión

El cuarto bloque de controles se refiere a la medición del impacto de la supervisión. La Checklist exige que se definan «KPI para la supervisión (por ejemplo, tasa de detección de errores, frecuencia de anulación)» y que «el impacto de la supervisión en la calidad del proceso de toma de decisiones se mida y se incorpore a los KPI de la organización» (2). Además, se exige que las métricas se revisen periódicamente y se comuniquen a la dirección, y que se proporcione formación o actualización sobre la supervisión del ADM a la alta dirección.

Esta batería de controles refleja una comprensión madura de la supervisión humana como una función de gestión, no meramente como una formalidad jurídica. La exigencia de KPI específicos para la supervisión permite medir su efectividad y detectar áreas de mejora. Por ejemplo, una tasa de detección de errores baja puede indicar que el sistema es muy fiable, pero también puede indicar que los operadores no están suficientemente atentos o que la interfaz no facilita la detección de errores. Una frecuencia de anulación muy alta puede revelar que el sistema genera demasiados falsos positivos o que los operadores no confían en él. El análisis de estos indicadores permite una gestión basada en datos de la supervisión humana.

La exigencia de que el impacto de la supervisión se «incorpore a los KPI de la organización» va un paso más allá. No basta con medir la supervisión; la supervisión debe considerarse un factor relevante para la evaluación del desempeño de la organización en su conjunto. Esto implica que la alta dirección debe valorar la efectividad de la supervisión como parte de la gestión de riesgos y de la calidad de los servicios prestados. La Checklist es consciente de que, sin este compromiso de la dirección, la supervisión humana puede quedar relegada a una función marginal y poco atendida.

La exigencia de que se revise periódicamente las métricas y se comuniquen a la dirección responde a la misma lógica de accountability. La rendición de cuentas no puede limitarse a la documentación interna; requiere que la información relevante fluya hacia los niveles de decisión, de modo que estos puedan adoptar las medidas correctivas necesarias. La formación específica para la alta dirección en materia de supervisión del ADM, que la Checklist también exige, es un complemento necesario para que los directivos comprendan la importancia y las particularidades de esta función y puedan ejercer un liderazgo efectivo en su implementación.

5. Explicabilidad y trazabilidad de las decisiones

El quinto bloque de controles aborda uno de los desafíos más complejos de la supervisión humana: la comprensión de la lógica del sistema. La Checklist exige que «los usuarios del sistema dispongan de resúmenes en lenguaje claro de la lógica del ADM, o del razonamiento subyacente a cada decisión revisada» y que «exista evidencia clara que demuestre que todas las decisiones son trazables hasta los fundamentos y la justificación utilizados». Además, exige que «las salidas del sistema de ADM se muestren con puntuaciones de confianza (confidence scores)» (2).

La exigencia de «resúmenes en lenguaje claro» de la lógica del ADM es una manifestación del principio de transparencia, consagrado en los artículos 13 y 14 del RGPD y en los artículos 15 y 16 del EUDPR (3,4). El EDPS, en su Guidance for Risk Management of AI Systems, ya había subrayado que la falta de transparencia es uno de los principales riesgos de los sistemas de IA, ya que impide a los responsables del tratamiento y a los afectados comprender cómo se toman las decisiones (6). La Checklist traduce este principio en una exigencia operativa: los operadores deben ser capaces de entender el razonamiento del sistema para poder evaluarlo críticamente.

La trazabilidad de las decisiones hasta «los fundamentos y la justificación utilizados» es una exigencia que va más allá de la mera transparencia. Implica que el sistema debe ser diseñado de manera que cada decisión pueda ser descompuesta en sus elementos constitutivos y que estos elementos puedan ser identificados y verificados. Esta es una condición necesaria para la impugnación efectiva de las decisiones, ya que el afectado debe poder conocer las razones que han motivado la decisión para poder combatirlas. En este punto, la Checklist se alinea con la noción de «sistemas impugnables» propuesta por Almada (10) y con la doctrina que ha señalado los desafíos de opacidad de los sistemas ADM (14).

La exigencia de mostrar «puntuaciones de confianza» (confidence scores) es una medida técnica con profundas implicaciones jurídicas. La puntuación de confianza indica el grado de certeza del sistema en relación con una decisión determinada. Una puntuación baja puede ser una señal de alarma para el operador, indicándole que debe prestar especial atención a esa decisión y, eventualmente, anularla o someterla a revisión adicional. La doctrina ha señalado que las puntuaciones de confianza son una herramienta valiosa para la supervisión humana, siempre que los operadores sean formados adecuadamente para interpretarlas y actuar en consecuencia (13). Sin embargo, también se ha advertido que las puntuaciones de confianza pueden ser engañosas si no se calibran correctamente, y que los operadores pueden confiar excesivamente en ellas (sesgo de automatización), anulando su utilidad (11).

6. Principio de los cuatro ojos en decisiones de alto impacto

El sexto bloque de controles exige la aplicación del principio de los cuatro ojos, de manera que «más de un usuario supervise independientemente las decisiones con efectos jurídicos o que tengan un alto impacto en los derechos y libertades de las personas (por ejemplo, procedimientos disciplinarios, retirada de fondos)» (2). El control añade que debe existir «un mecanismo formalizado de escalado para resolver desacuerdos entre los supervisores humanos, o entre un humano y un sistema de ADM de alta confianza, que incluya un proceso documentado de desempate y, cuando sea necesario, escalado a la alta dirección», así como que se documenten «las tasas de acuerdo/desacuerdo entre los operadores del sistema» (2).

El principio de los cuatro ojos es una garantía clásica en los procedimientos administrativos y en la gestión de riesgos. Su traslación al ámbito de la ADM responde a la constatación de que la supervisión realizada por una sola persona puede ser insuficiente para detectar errores o sesgos, especialmente en decisiones de alto impacto. La exigencia de que la supervisión sea «independiente» es crucial: no basta con que dos personas participen en el proceso; estas deben hacerlo de manera autónoma, sin influencia mutua, para que la segunda revisión pueda aportar un valor añadido real.

La formalización del mecanismo de escalado para resolver desacuerdos es un elemento esencial. El EDPS es consciente de que la supervisión humana puede generar discrepancias, tanto entre operadores como entre un operador y el sistema. Estas discrepancias no deben ser ignoradas; deben ser resueltas mediante un procedimiento predefinido que garantice que la decisión final se toma con el mayor nivel posible de seguridad y calidad. La documentación de las tasas de acuerdo/desacuerdo permite medir la consistencia de la supervisión humana y detectar posibles problemas de formación, de diseño del sistema o de sesgos sistemáticos.

La aplicación del principio de los cuatro ojos en el contexto de la ADM plantea, sin embargo, desafíos prácticos. El primero es la disponibilidad de recursos: la supervisión doble requiere un número suficiente de operadores cualificados, lo que puede ser difícil de garantizar en organizaciones con recursos limitados. El segundo es la posible ralentización del proceso de toma de decisiones, que puede ser incompatible con la rapidez que a menudo se exige a los sistemas automatizados. La Checklist no aborda explícitamente estos problemas, pero la exigencia de que el escalado sea «formalizado» y «documentado» sugiere que las instituciones deben encontrar un equilibrio entre la garantía de calidad y la eficiencia operativa, documentando ese equilibrio y justificándolo en función de los riesgos.

7. Feedback loops y participación de los afectados

El séptimo bloque de controles aborda la participación de los afectados en el proceso de supervisión. La Checklist exige que «existan mecanismos de recurso accesibles y fáciles de usar para las personas afectadas» y que «la retroalimentación de los usuarios se integre en el reentrenamiento del modelo de IA o en las actualizaciones del sistema» (2). Este doble control conecta la supervisión humana con el derecho de los afectados a impugnar las decisiones automatizadas, consagrado en el artículo 22.3 del RGPD y en el artículo 24.3 del EUDPR (3,4).

La exigencia de mecanismos de recurso «accesibles y fáciles de usar» es una traducción del principio de accesibilidad, que en el ámbito de la protección de datos exige que los derechos de los interesados puedan ejercerse de manera efectiva y sin barreras injustificadas. El EDPS ha sido especialmente sensible a esta cuestión, y en su Guidance for Risk Management of AI Systems ha subrayado que los derechos de los interesados no deben ser meramente formales, sino que deben poder ejercerse de manera práctica y efectiva (6). La Checklist concreta esta recomendación exigiendo que los mecanismos de recurso sean diseñados pensando en el usuario final, y no solo en el cumplimiento formal de la normativa.

La integración de la retroalimentación de los usuarios en el reentrenamiento del modelo o en las actualizaciones del sistema es un control especialmente relevante porque cierra el ciclo de la supervisión. La supervisión humana no es solo una garantía ex post para corregir decisiones individuales; es también una fuente de información valiosa para mejorar el sistema en su conjunto. Cuando un afectado impugna una decisión y esa impugnación revela un error sistemático, el sistema debe ser actualizado para evitar que ese error se repita en el futuro. Este enfoque convierte a los afectados en agentes de mejora del sistema, más allá de su papel como titulares de derechos individuales.

La doctrina ha señalado que la integración de la retroalimentación en el sistema es una característica esencial de los «sistemas impugnables» (contestable systems), en los que la impugnación no es solo una vía de reparación individual, sino también un mecanismo de gobernanza colectiva (10). La Checklist del EDPS adopta esta perspectiva al exigir que la retroalimentación se integre en el sistema, aunque no desarrolle los mecanismos concretos para hacerlo, lo que deja un amplio margen a las instituciones para diseñar sus propios procedimientos.

8. Competencia técnica y experiencia en el dominio

El octavo bloque de controles se refiere a la competencia de los supervisores humanos. La Checklist exige que «exista una matriz de competencias actualizada para cada función de usuario que maneje sistemas críticos (es decir, qué características se buscan al evaluar a los candidatos)» (2). Esta exigencia, aunque breve, encierra una de las condiciones más básicas y a la vez más descuidadas de la supervisión humana: la necesidad de que los operadores posean los conocimientos y la experiencia necesarios en el dominio de aplicación del sistema.

El control parte de la premisa de que la supervisión de un sistema de ADM no puede realizarse en el vacío. Un operador que supervisa un sistema de concesión de préstamos debe conocer el sector financiero, las normativas aplicables y los criterios de evaluación de riesgos. Un operador que supervisa un sistema de selección de personal debe conocer los principios de igualdad de oportunidades y no discriminación. La «matriz de competencias» exigida por la Checklist es un instrumento para definir, de manera objetiva y verificable, qué conocimientos y habilidades se requieren para cada función, y para evaluar si los candidatos los poseen.

La exigencia de que la matriz esté «actualizada» es un recordatorio de que las competencias necesarias pueden cambiar con el tiempo, a medida que el sistema evoluciona, que la normativa se modifica o que el contexto de uso se transforma. La actualización periódica de la matriz de competencias es, por tanto, una condición necesaria para mantener la efectividad de la supervisión humana.

La doctrina ha señalado que la falta de competencia en el dominio es uno de los factores que contribuyen a la «confianza ciega» en los sistemas automatizados (11). Un operador que no comprende plenamente el contexto de la decisión tiende a confiar en el sistema, ya que carece de los criterios para evaluar críticamente sus recomendaciones. La exigencia de una matriz de competencias actualizada es, por tanto, una medida preventiva contra este riesgo, aunque la Checklist no especifica cómo debe elaborarse ni qué criterios debe incluir, dejando a las instituciones la tarea de desarrollar sus propios estándares en función de sus necesidades específicas.

9. Concienciación crítica y prevención de la confianza ciega

El noveno y último bloque de controles de la sección 1 se centra en la prevención de la confianza ciega en el sistema automatizado. La Checklist exige que se «pruebe periódicamente la toma de decisiones de los operadores sin el apoyo del ADM» y que «los operadores roten entre tareas para evitar la habituación» (2). Estos controles se dirigen a combatir dos fenómenos psicológicos bien documentados en la literatura: el sesgo de automatización (automation bias) y la habituación (habituation).

El sesgo de automatización es la tendencia a confiar excesivamente en las recomendaciones de un sistema automatizado, incluso cuando existen indicios de error. La prueba periódica de la toma de decisiones sin el apoyo del sistema es una medida para contrarrestar este sesgo, al obligar a los operadores a ejercitar su juicio crítico y a recordar que el sistema no es infalible. La doctrina ha señalado que esta práctica, conocida como «entrenamiento de contraste» o «pruebas de competencia», es especialmente efectiva cuando se combina con una retroalimentación inmediata sobre el desempeño del operador (11). La Checklist no especifica la frecuencia ni la metodología de estas pruebas, lo que deja un margen de discrecionalidad a las instituciones, pero su inclusión envía una señal clara de que la supervisión humana no puede darse por descontada.

La rotación de operadores entre tareas es una medida para evitar la habituación. La habituación es el fenómeno por el cual los operadores, tras exponerse repetidamente a las mismas tareas y a los mismos estímulos, reducen su nivel de atención y su capacidad de detectar anomalías. La rotación entre diferentes tareas o sistemas ayuda a mantener un nivel de alerta y a evitar la rutina. El EDPS ha identificado este fenómeno en el TechDispatch #2/2025 como uno de los factores que pueden hacer que la supervisión humana sea ineficaz, y recomienda la rotación como una de las medidas para contrarrestarlo (1,9).

La inclusión de estos controles en la sección 1 refleja la concepción del EDPS de la supervisión humana como una práctica activa y deliberada, no como una función pasiva. El EDPS se distancia así de los enfoques que conciben la supervisión humana como un mero requisito formal, y subraya la necesidad de un compromiso activo por parte de los operadores y de la organización en su conjunto. Esta perspectiva es coherente con la noción de «intervención humana significativa» defendida por la Autoriteit Persoonsgegevens (7) y con la doctrina que ha señalado que la supervisión humana debe ser un proceso dinámico y adaptativo (16,17)

En conjunto, los controles de la sección 1 configuran un modelo de supervisión humana que va mucho más allá de la mera presencia de un operador. Exigen una gobernanza robusta, una formación integral, una medición continua del desempeño, una trazabilidad completa de las decisiones, una participación activa de los afectados, una competencia técnica acreditada y una concienciación crítica constante. Este modelo es exigente y costoso, pero también es el único que puede garantizar que la supervisión humana cumpla su función de salvaguarda efectiva frente a los riesgos de la decisión automatizada.

V. ANÁLISIS DE LOS CONTROLES DE LA SECCIÓN 2 (OPERADORES CON CAPACIDAD DE INTERVENCIÓN ACTIVA)

La sección 2 de la Checklist se dirige a los operadores que no solo supervisan pasivamente las salidas del sistema, sino que cuentan con autoridad para intervenir activamente en su funcionamiento —ya sea suspendiendo el sistema, anulando decisiones particulares o ignorando sus recomendaciones—. Su estructura refleja la distinción funcional entre la supervisión como tarea de verificación y la supervisión como poder de modificación efectiva de la decisión automatizada. Mientras que la sección 1 establecía las condiciones organizativas y culturales generales, la sección 2 aborda las condiciones concretas en las que los operadores ejercen su autoridad, con especial atención a los factores de diseño, carga de trabajo, autorización formal, auditoría y mantenimiento de la atención.

La propia Checklist delimita el ámbito de aplicación de la sección 2 en los siguientes términos: «Los controles de esta sección se aplican cuando hay operadores responsables de supervisar los sistemas de ADM que tienen la autoridad para intervenir en su acción (por ejemplo, suspender el sistema o no tener en cuenta las decisiones)» (2). Esta delimitación es crucial porque no todos los sistemas de ADM requieren la figura de un operador con poder de anulación. En algunos sistemas, la supervisión humana puede limitarse a la revisión posterior de decisiones (revisión ex post) o a la validación de recomendaciones sin capacidad de veto. La sección 2 se aplica solo cuando existe esta capacidad de intervención activa, que es precisamente la que convierte a la supervisión humana en una verdadera contrapesos al poder algorítmico.

1. Autorización formal y poder efectivo de actuación

El primer bloque de la sección 2 establece tres controles relacionados con la autoridad del operador. En primer lugar, exige que «las tareas de supervisión asignadas a los operadores hayan sido claramente definidas, comunicadas y documentadas» (2). En segundo lugar, que «la posibilidad de anular las decisiones del sistema se indique explícitamente en la descripción del puesto» (2). Y en tercer lugar, que exista «un mecanismo formal que garantice que los operadores puedan ejercer la autoridad de "detener la línea" (stop‑the‑line) para pausar o detener todo el sistema en respuesta a problemas sistémicos sospechosos, sin riesgo de represalias o consecuencias adversas» (2).

Estos tres controles forman un continuum lógico que va desde la definición de tareas hasta la garantía de inmunidad operativa. El primero responde a la necesidad básica de claridad en la asignación de funciones: un operador que no sabe con exactitud qué se espera de él difícilmente puede ejercer una supervisión efectiva. La exigencia de que las tareas estén «comunicadas» refuerza la idea de que la claridad no es solo formal (documental), sino también práctica (conocimiento efectivo por parte del operador).

El segundo control —la inclusión explícita de la posibilidad de anulación en la descripción del puesto— tiene un alcance simbólico y práctico. Simbólicamente, envía el mensaje de que la anulación no es una excepción o un fallo, sino una parte normal y esperada de las funciones del operador. Prácticamente, asegura que el operador es consciente de que tiene la facultad de apartarse de la recomendación automatizada, lo que contrarresta la tendencia psicológica a la deferencia pasiva ante el sistema (sesgo de automatización). La doctrina ha señalado que la mera existencia de un botón de anulación no es suficiente si el operador no percibe que tiene la legitimidad y el respaldo organizativo para usarlo (11). La inclusión explícita en la descripción del puesto es una medida para conferir esa legitimidad.

El tercer control, el mecanismo de «stop‑the‑line», es el más innovador y de mayor calado. El concepto de stop‑the‑line proviene de la gestión de calidad industrial (especialmente del sistema Toyota), donde cualquier trabajador tiene la autoridad para detener la línea de producción si detecta un defecto, sin temor a represalias. El EDPS traslada este principio a la supervisión de sistemas de ADM, reconociendo que un operador que detecta una anomalía sistémica grave —no un error puntual, sino un problema generalizado del sistema— debe poder suspender el sistema inmediatamente, sin tener que seguir procedimientos burocráticos que podrían retrasar la acción y permitir que el daño se produzca.

La garantía de «sin riesgo de represalias o consecuencias adversas» es un elemento esencial de este control. La doctrina ha documentado casos en los que los operadores se abstienen de ejercer su autoridad de supervisión por temor a ser sancionados si su intervención resulta finalmente innecesaria o si retrasa la toma de decisiones (11). La exigencia de una protección explícita contra represalias busca eliminar este temor y fomentar una cultura de vigilancia proactiva. Este control se alinea con las obligaciones de la AI Act, cuyo artículo 26.2 exige que los usuarios finales asignen la supervisión a personas con la autoridad necesaria (15). La Checklist concreta esa exigencia al exigir no solo autoridad formal, sino también protección efectiva para su ejercicio.

2. Tiempo de revisión y carga de trabajo realista

El segundo bloque de la sección 2 aborda una de las condiciones más prosaicas pero más críticas para una supervisión efectiva: el tiempo y la carga de trabajo. La Checklist exige que «los operadores tengan asignada una cuota máxima de trabajo por turno»; que «cuando se enfrenten a tareas de supervisión, los operadores no participen en otras tareas»; y que exista «un requisito formalizado que exija períodos de "enfriamiento" (cool‑down) para los operadores responsables de decisiones de alto impacto o emocionalmente exigentes, garantizando la calidad sostenida del juicio y el bienestar del operador» (2).

Estos controles responden a una realidad empírica bien documentada: la calidad de la supervisión humana se deteriora con el cansancio, la sobrecarga cognitiva y la falta de descanso. El EDPS, en el TechDispatch #2/2025, ya había señalado que la sobrecarga de trabajo y la multitarea son factores que contribuyen a la supervisión ineficaz (1). La Checklist traduce esta advertencia en exigencias concretas: un límite máximo de trabajo por turno, dedicación exclusiva a las tareas de supervisión durante ese tiempo, y pausas obligatorias para decisiones de alto impacto emocional.

La exigencia de dedicación exclusiva es particularmente relevante. Un operador que supervisa un sistema de ADM mientras realiza otras tareas (por ejemplo, atender llamadas, responder correos o gestionar otros sistemas) tiene su atención dividida y es menos probable que detecte anomalías. La Checklist exige que, durante el tiempo asignado a la supervisión, el operador no realice otras tareas, lo que implica un reconocimiento explícito de que la supervisión es una función que exige atención plena y no puede ser tratada como una actividad secundaria.

El requisito de «períodos de enfriamiento» para decisiones de alto impacto es una novedad en la regulación de la supervisión humana. El EDPS reconoce que algunas decisiones —como las disciplinarias, las que afectan a la concesión de prestaciones o las que tienen un impacto profundo en la vida de las personas— pueden generar un desgaste emocional significativo en el operador. Este desgaste puede afectar a la calidad del juicio en decisiones posteriores. La exigencia de períodos de enfriamiento —no definidos en duración, pero sí formalizados— busca preservar tanto la calidad de la decisión como el bienestar del operador, en línea con una concepción humanista de la supervisión.

La doctrina ha señalado que la carga de trabajo excesiva es uno de los factores que contribuyen a la confianza ciega en el sistema (11). Cuando un operador está sobrecargado, tiende a confiar en el sistema para ahorrar tiempo y esfuerzo, renunciando al examen crítico. La limitación de la carga de trabajo es, por tanto, una medida preventiva contra el sesgo de automatización, al crear las condiciones para un juicio cuidadoso y deliberado.

3. Diseño de interfaz centrado en el operador

El tercer bloque de controles se centra en el diseño de la interfaz de usuario. La Checklist exige que se realicen «pruebas de usabilidad y accesibilidad con operadores representativos (anotándose debidamente las reacciones inesperadas de los operadores)»; que se mida «el tiempo medio de reacción de los operadores»; que los «botones/órdenes de anulación en la interfaz sean fácilmente accesibles»; y que la «interfaz esté diseñada para enmascarar los datos sensibles que no sean estrictamente necesarios para la revisión de la decisión, minimizando así los riesgos de protección de datos» (2).

El EDPS otorga una importancia considerable al diseño de la interfaz, como ya se reflejaba en el TechDispatch #2/2025, donde se señalaba que una interfaz mal diseñada puede ocultar información crítica, dificultar la detección de errores o inducir a confusión (1). La exigencia de pruebas de usabilidad con operadores representativos es una manifestación del principio de diseño centrado en el usuario: la interfaz no debe ser diseñada por ingenieros para ingenieros, sino por y para los operadores que realmente la van a utilizar. La anotación de las reacciones inesperadas de los operadores es una práctica de investigación cualitativa que permite identificar problemas de usabilidad no previstos por los diseñadores.

La medición del tiempo medio de reacción es un control cuantitativo. El tiempo de reacción es un indicador de la facilidad de uso de la interfaz y de la atención del operador. Un tiempo de reacción excesivamente largo puede indicar que la interfaz es confusa o que el operador está sobrecargado. Un tiempo de reacción excesivamente corto puede indicar que el operador está actuando de manera automática, sin un examen crítico suficiente. La medición permite establecer líneas base y detectar desviaciones que puedan requerir intervención.

La exigencia de que los botones de anulación sean «fácilmente accesibles» es un control que parece obvio pero que en la práctica a menudo se descuida. Si el operador tiene que navegar por varios menús para anular una decisión, es probable que se abstenga de hacerlo, especialmente en situaciones de presión temporal. La facilidad de acceso al botón de anulación es una medida para garantizar que el poder de anulación sea efectivo, no solo formal.

El enmascaramiento de datos sensibles innecesarios es un control con una doble finalidad: minimiza los riesgos de protección de datos y, al mismo tiempo, reduce la carga cognitiva del operador al mostrarle solo la información relevante para la decisión. El principio de minimización de datos, consagrado en el artículo 5.1.c del RGPD y en el artículo 4.1.c del EUDPR, exige que los datos personales sean adecuados, pertinentes y limitados a lo necesario en relación con los fines del tratamiento (3). El EDPS aplica este principio al diseño de la interfaz de supervisión, exigiendo que el operador solo tenga acceso a los datos estrictamente necesarios para su función de supervisión, evitando la exposición innecesaria de datos sensibles.

4. Auditorías internas y externas integradoras de factores técnicos y humanos

El cuarto bloque de controles exige que «todas las anulaciones de decisiones del sistema se registren y se sometan a análisis»; que se realicen «auditorías externas independientes al ADM (incluidos los roles de los operadores)»; y que se realicen «auditorías internas periódicas de los registros de decisiones» (2). Estos controles articulan un sistema de supervisión de segundo orden: no solo se supervisa el sistema y a los operadores, sino que también se audita el proceso de supervisión.

El registro y análisis de todas las anulaciones es un control de trazabilidad que complementa los controles de la sección 1 sobre pistas de auditoría. La anulación es el acto más significativo del operador, aquel en el que ejerce su poder para apartarse de la recomendación automatizada. El registro sistemático de las anulaciones permite analizar los patrones de desacuerdo entre el operador y el sistema, identificar si las anulaciones se producen en determinados tipos de casos, si están motivadas por errores del sistema o por sesgos del operador, y si la frecuencia de anulaciones es consistente con el nivel de fiabilidad esperado del sistema.

La exigencia de auditorías externas independientes es una manifestación del principio de accountability en su dimensión más exigente. La auditoría externa proporciona una evaluación objetiva e imparcial tanto del sistema de ADM como del desempeño de los operadores. El EDPS, en su Guidance for Risk Management of AI Systems, ya había recomendado la realización de auditorías externas como parte de las medidas de gestión de riesgos (6). La Checklist concreta esta recomendación, exigiendo que la auditoría incluya específicamente los roles de los operadores, reconociendo que la supervisión humana es un factor de riesgo que debe ser objeto de evaluación.

Las auditorías internas periódicas de los registros de decisiones son un complemento necesario de las auditorías externas. Mientras que las auditorías externas pueden ser anuales o con menor frecuencia, las auditorías internas deben ser más regulares y permitir una corrección rápida de las desviaciones. La exigencia de que las auditorías sean «periódicas» sugiere una frecuencia definida, aunque no especificada, dejando a las instituciones la determinación de la periodicidad en función del riesgo y del volumen de decisiones.

5. Mantenimiento de la atención: inyección de anomalías simuladas (red teaming)

El quinto bloque de controles establece que «se introduzcan inyecciones de anomalías de "equipo rojo" (red team) de forma regular, siempre que las pruebas puedan realizarse sin afectar negativamente al rendimiento del operador ni perjudicar a las personas» y que «la precisión y la velocidad de respuesta del operador se documenten y midan para cada ejercicio» (2). Este control, que recuerda las pruebas de penetración en ciberseguridad, es una medida para mantener la atención y la capacidad crítica de los operadores frente a un sistema que, en condiciones normales, puede generar muy pocos errores.

El red teaming o «equipo rojo» es una técnica originaria de los ámbitos militar y de inteligencia, que consiste en un grupo que simula el comportamiento de un adversario para probar la robustez de un sistema. En el contexto de la supervisión humana, el red team introduce deliberadamente anomalías o casos atípicos para comprobar si el operador los detecta y actúa en consecuencia. La Checklist exige que estas pruebas se realicen «de forma regular», lo que implica que no son un ejercicio puntual, sino una práctica continua de entrenamiento y verificación.

La condición de que las pruebas se realicen «sin afectar negativamente al rendimiento del operador ni perjudicar a las personas» es una salvaguarda ética importante. El red teaming no debe ser un ejercicio de acoso o de evaluación punitiva, sino una herramienta de aprendizaje y mejora. Tampoco debe poner en riesgo a las personas afectadas por las decisiones, lo que significa que las anomalías simuladas deben ser claramente identificables como tales (por ejemplo, mediante marcas internas) para que no se traduzcan en decisiones reales perjudiciales.

La medición de la precisión y la velocidad de respuesta para cada ejercicio permite evaluar el desempeño del operador e identificar áreas de mejora. Un operador que falla sistemáticamente en la detección de anomalías puede necesitar formación adicional o una reevaluación de su idoneidad para la función. La doctrina ha señalado que el red teaming es una de las medidas más efectivas para prevenir la habituación y la confianza ciega, ya que introduce un elemento de imprevisibilidad que mantiene al operador en estado de alerta (11).

6. Muestreo de registros de decisión para auditoría

El sexto y último bloque de la sección 2 exige que los registros de decisiones sean objeto de muestreo para su auditoría, con una «tasa de muestreo definida (por ejemplo, el 10% del total)» y que las muestras contengan «diferentes tipos de resultados del ADM (por ejemplo, positivos y negativos)» (2). Este control complementa las auditorías de la sección 1, añadiendo una dimensión estadística al proceso de revisión.

El muestreo es una técnica de auditoría que permite evaluar una población (en este caso, el conjunto de decisiones) mediante el examen de una submuestra representativa. La exigencia de una tasa de muestreo definida —la Checklist ofrece el 10% como ejemplo, aunque no lo impone— proporciona un criterio objetivo que evita la arbitrariedad en la selección de los casos a revisar. La representatividad de la muestra se garantiza mediante la exigencia de que incluyan diferentes tipos de resultados (positivos y negativos), lo que evita el sesgo de selección y permite evaluar el desempeño del sistema en todo el espectro de decisiones.

La doctrina ha señalado que el muestreo es una herramienta valiosa para las auditorías de sistemas de ADM, ya que permite identificar patrones de error o sesgo sin necesidad de revisar todas las decisiones, lo que sería inviable en sistemas de gran volumen (14). Sin embargo, el muestreo tiene limitaciones: puede pasar por alto errores sistémicos que afectan a un subconjunto reducido de decisiones si ese subconjunto no está adecuadamente representado en la muestra. Por ello, la Checklist exige que la muestra contenga diferentes tipos de resultados, lo que es una medida para mitigar este riesgo, pero no lo elimina por completo. La elección de la tasa de muestreo y del método de selección de la muestra sigue siendo una decisión crítica que las instituciones deben tomar con base en un análisis de riesgos detallado.

En conjunto, los controles de la sección 2 configuran un ecosistema de supervisión activa que va más allá de la mera verificación puntual. Exigen autoridad formal, protección contra represalias, condiciones de trabajo adecuadas, interfaces centradas en el usuario, auditorías integradoras, mantenimiento de la atención mediante pruebas de estrés y muestreo estadístico de decisiones. Este modelo es exigente en recursos y requiere un compromiso organizativo significativo, pero responde a la constatación de que la supervisión humana no puede ser un añadido superficial; debe ser una función integrada, bien diseñada y continuamente evaluada para cumplir su papel de salvaguarda efectiva.

VI. PROBLEMAS JURÍDICOS ABIERTOS Y LAGUNAS REGULATORIAS

La Checklist del EDPS, pese a su indudable utilidad como herramienta de autoevaluación y guía para la mejora de los procesos de supervisión humana, no está exenta de limitaciones y deja abiertos numerosos interrogantes jurídicos que merecen un análisis detenido. Algunos de estos problemas son inherentes a la propia naturaleza de la supervisión humana como garantía jurídica; otros derivan de la interacción entre los distintos regímenes normativos aplicables; y otros, finalmente, responden a lagunas o silencios de la propia Checklist que, aunque deliberados en algunos casos, pueden generar inseguridad jurídica o dificultades de implementación práctica. El presente apartado aborda los principales problemas jurídicos abiertos que suscita la implementación de los controles de la Checklist, así como las lagunas regulatorias que el EDPS ha dejado sin resolver o que requieren un desarrollo ulterior.

1. La tensión entre supervisión humana y diseño seguro del sistema

1.1. La advertencia del EDPS: la supervisión no sustituye a un diseño deficiente

El EDPS ha sido especialmente enfático en un punto que constituye uno de los ejes vertebradores de la Checklist: la supervisión humana no es un sustituto de un diseño sólido del sistema. La propia Checklist, en su página 3, contiene una advertencia taxativa: «Los mecanismos de supervisión desempeñan un papel fundamental en la mitigación de riesgos, pero no deben servir como sustituto de la corrección de sistemas automatizados fundamentalmente defectuosos, inseguros o poco fiables. Si un sistema de ADM requiere una intervención humana frecuente para funcionar correctamente o para evitar resultados perjudiciales, ello indica deficiencias en su diseño y en su idoneidad para su despliegue, y dicho sistema no debería ponerse en producción hasta que esos riesgos se hayan mitigado adecuadamente» (2).

Esta advertencia, aunque jurídicamente no vinculante, tiene un profundo significado interpretativo. El EDPS está estableciendo un criterio material de calidad del sistema: la frecuencia de la intervención humana necesaria para corregir errores es un indicador de la fiabilidad del sistema. Si un sistema requiere intervenciones humanas constantes, no es que la supervisión humana sea insuficiente; es que el sistema en sí mismo es deficiente y no debería estar en funcionamiento. Este criterio, si bien no está formulado como una obligación legal explícita, se alinea con el artículo 14 de la AI Act, que exige que los sistemas de alto riesgo se diseñen para permitir una supervisión humana efectiva, pero no para que esa supervisión supla las carencias del diseño (5).

El problema jurídico que se plantea es doble. En primer lugar, ¿cómo se determina cuándo la frecuencia de intervención humana es «excesiva»? La Checklist no proporciona un umbral cuantitativo, lo que deja un amplio margen de apreciación a las instituciones y a las autoridades de control. En segundo lugar, ¿qué consecuencias jurídicas se derivan del incumplimiento de esta advertencia? Si un sistema requiere una intervención humana frecuente, ¿debe ser retirado del mercado o suspendido? ¿Y quién asume la responsabilidad por las decisiones adoptadas mientras el sistema estuvo en funcionamiento? La Checklist no responde a estas preguntas, y la doctrina aún no ha desarrollado criterios uniformes al respecto. Como han señalado algunos autores, la distinción entre «supervisión como garantía» y «supervisión como muleta de un sistema deficiente» es difusa y puede dar lugar a interpretaciones divergentes (11).

1.2. Consecuencias jurídicas de una frecuencia excesiva de intervenciones humanas

La frecuencia excesiva de intervenciones humanas puede tener consecuencias jurídicas en varios planos. En el plano de la protección de datos, una frecuencia elevada de anulaciones puede indicar que el sistema automatizado no es fiable y que, por tanto, las decisiones basadas en él no cumplen con los requisitos de exactitud y equidad del artículo 5.1.d del RGPD y del artículo 4.1.d del EUDPR (3,4). Si el sistema genera sistemáticamente recomendaciones erróneas que los operadores deben corregir, la calidad de los datos tratados y de las decisiones adoptadas puede verse comprometida, lo que podría dar lugar a infracciones de los principios de protección de datos.

En el plano de la responsabilidad civil y administrativa, una frecuencia excesiva de intervenciones humanas puede ser un factor que agrave la responsabilidad del responsable del tratamiento. Si se demuestra que el sistema era conocido por ser poco fiable y que, a pesar de ello, se mantuvo en funcionamiento, confiando en que los operadores corregirían los errores, el responsable podría ser considerado negligente y, por tanto, responsable de los daños causados por las decisiones erróneas. La doctrina ha señalado que la supervisión humana no exime al responsable del tratamiento de su obligación de garantizar la exactitud y la fiabilidad del sistema; al contrario, la necesidad de una supervisión intensiva puede ser un indicio de que el sistema no cumple con los estándares exigibles (14).

En el plano de la AI Act, una frecuencia excesiva de intervenciones humanas puede ser un indicio de que el sistema no cumple con el requisito de diseño del artículo 14, que exige que el sistema sea «supervisado eficazmente» por personas físicas (5). Si la supervisión humana es necesaria constantemente para evitar resultados perjudiciales, el sistema no está cumpliendo con su finalidad prevista de manera autónoma y fiable, lo que podría llevar a la retirada del sistema del mercado o a la imposición de multas por parte de las autoridades de control.

2. La dificultad de definir «intervención significativa» en la práctica operativa

2.1. Criterios materiales y formales de significatividad según la doctrina

El concepto de «intervención humana significativa» (meaningful human intervention) es el eje sobre el que gira la exclusión de una decisión del ámbito del artículo 22 RGPD y del artículo 24 EUDPR. Si la intervención humana es significativa, la decisión no es «únicamente» automatizada y, por tanto, no se aplica la prohibición del artículo 22.1. Sin embargo, como ha señalado la doctrina, este concepto es notoriamente vago y ha sido objeto de escaso desarrollo jurisprudencial (12). Las directrices del CEPD y los documentos de las autoridades nacionales, como la guía neerlandesa de la Autoriteit Persoonsgegevens, han intentado proporcionar criterios orientadores, pero estos no siempre son fáciles de aplicar en la práctica (7).

La Checklist del EDPS no aborda directamente la cuestión de la significatividad. Su objeto no es determinar cuándo una intervención es significativa, sino enumerar las características que los mecanismos de supervisión humana «podrían tener para ser lo más efectivos posible» (2). Esta neutralidad es deliberada, como se indica en el «Disclaimer», pero deja sin resolver el problema de fondo: ¿qué criterios deben aplicarse para determinar si una intervención humana concreta es significativa a efectos de excluir una decisión del ámbito del artículo 24 EUDPR?

La doctrina ha propuesto varios criterios. Almada sugiere que la intervención debe ser «impugnable» (contestable), es decir, que el afectado pueda cuestionarla y obtener una revisión sustancial (10). Otros autores proponen que la intervención debe ser «activa» y no meramente confirmatoria, y que debe ser ejercida por alguien con autoridad real para modificar la decisión (12). La Autoriteit Persoonsgegevens, en su guía, añade que la intervención debe ser «significativa» en el sentido de que el operador humano debe ser capaz de evaluar la decisión a la luz de todos los factores relevantes, incluidos aquellos que el sistema no ha tenido en cuenta (7). La Checklist recoge algunos de estos elementos —como la autoridad formal, la capacitación, la disponibilidad de información explicativa, y la posibilidad de anular—, pero no los articula en una definición unitaria de significatividad.

2.2. El riesgo de supervisión meramente formal o simbólica

Uno de los riesgos más señalados por la doctrina y por las autoridades de control es que la supervisión humana se convierta en una mera formalidad o en un gesto simbólico, sin un impacto real en el proceso de toma de decisiones (11). Este riesgo es especialmente acusado en sistemas en los que los operadores están sometidos a una fuerte presión temporal o a una sobrecarga de trabajo, lo que les lleva a confirmar las decisiones del sistema de manera automática, sin un examen crítico suficiente.

La Checklist aborda este riesgo mediante diversos controles: la formación en sesgos cognitivos, la medición de tiempos de reacción, la inyección de anomalías simuladas, la rotación de tareas, y la exigencia de que los operadores no realicen otras tareas durante la supervisión. Sin embargo, ninguno de estos controles garantiza por sí mismo que la intervención sea significativa. Un operador puede estar bien formado, tener una carga de trabajo razonable y ser sometido a pruebas periódicas, y aun así caer en la rutina de confirmar las decisiones del sistema por defecto. La significatividad de la intervención humana es, en última instancia, una cuestión de cultura organizativa y de actitud del operador, que los controles formales pueden fomentar pero no asegurar.

El EDPS es consciente de este riesgo. La propia Checklist, en su introducción, señala que la supervisión humana no debe ser una formalidad y que los mecanismos de supervisión deben ser «lo más efectivos posible» (2). Sin embargo, la Checklist no proporciona un criterio para distinguir entre supervisión formal y supervisión significativa, más allá de la agregación de los controles. Esta laguna puede dar lugar a que instituciones bien intencionadas implementen todos los controles de la Checklist pero, aun así, no logren una supervisión verdaderamente significativa, porque la cultura organizativa no favorece el pensamiento crítico o porque el diseño del sistema induce a la deferencia pasiva.

3. Incompatibilidades entre los requisitos de explicabilidad (explainability) y los secretos comerciales o industriales

El control de explicabilidad de la sección 1 exige que los usuarios del sistema dispongan de «resúmenes en lenguaje claro de la lógica del ADM, o del razonamiento subyacente a cada decisión revisada» y que exista «evidencia clara que demuestre que todas las decisiones son trazables hasta los fundamentos y la justificación utilizados» (2). Esta exigencia, que es una manifestación del principio de transparencia, puede entrar en conflicto con los derechos de propiedad intelectual y los secretos comerciales de los proveedores de sistemas de ADM.

El conflicto entre transparencia y secreto comercial en el ámbito de los sistemas algorítmicos es bien conocido. Los proveedores de sistemas de IA a menudo invocan el secreto comercial para no revelar los detalles internos de sus algoritmos, argumentando que su divulgación perjudicaría su competitividad. Sin embargo, como ha señalado la doctrina, esta invocación no puede ser absoluta, especialmente cuando el sistema afecta a derechos fundamentales de las personas (14). El Tribunal de Justicia de la Unión Europea ha establecido en diversos contextos que el derecho a la protección de datos y el derecho a una tutela judicial efectiva pueden prevalecer sobre los secretos comerciales cuando están en juego derechos fundamentales (13).

La Checklist del EDPS no aborda este conflicto de manera explícita, pero su redacción sugiere una salida posible. La exigencia de «resúmenes en lenguaje claro de la lógica del ADM» no implica necesariamente la revelación del código fuente o de los pesos del modelo; puede satisfacerse mediante explicaciones de alto nivel, como la identificación de las variables más relevantes y su influencia en la decisión. Del mismo modo, la exigencia de «trazabilidad» puede satisfacerse mediante registros de las entradas y salidas del sistema, sin necesidad de revelar el funcionamiento interno del algoritmo.

El problema persiste, sin embargo, en los casos en los que la mera identificación de las variables utilizadas o de su peso relativo pueda revelar información comercial sensible. En estos casos, las instituciones de la UE deben encontrar un equilibrio entre la transparencia exigida por el EDPS y la protección de los secretos comerciales, lo que puede requerir la adopción de medidas como la agregación de información, la utilización de explicaciones contrafactuales o la realización de auditorías externas bajo acuerdos de confidencialidad. La Checklist no proporciona orientaciones sobre cómo gestionar esta tensión, lo que deja a las instituciones un amplio margen de discrecionalidad, pero también un riesgo de inseguridad jurídica.

4. Responsabilidad civil y administrativa en caso de supervisión ineficaz

4.1. Imputación de responsabilidad al responsable del tratamiento y al productor del sistema

La supervisión humana, cuando es ineficaz, puede dar lugar a decisiones erróneas que causen daños a los afectados. La determinación de quién es responsable de esos daños —el responsable del tratamiento, el productor del sistema, el operador humano o una combinación de ellos— es una cuestión jurídica compleja que la Checklist no aborda.

En el marco del EUDPR, la responsabilidad principal recae sobre el responsable del tratamiento, que es quien determina los fines y los medios del tratamiento (4). El responsable del tratamiento es responsable de garantizar que el sistema de ADM cumple con los principios de protección de datos y de que la supervisión humana es efectiva. Si la supervisión es ineficaz y ello da lugar a una violación de los derechos de los afectados, el responsable del tratamiento puede ser sancionado administrativamente por el EDPS y puede ser demandado civilmente por los afectados en virtud del artículo 80 del EUDPR y de la normativa nacional de transposición.

Sin embargo, la responsabilidad del productor del sistema también puede estar comprometida, especialmente si el sistema está defectuoso de origen. La Directiva 85/374/CEE sobre responsabilidad por productos defectuosos, aplicable a los sistemas de ADM en la medida en que se consideren «productos», podría permitir a los afectados reclamar contra el productor si demuestran que el sistema ha causado un daño debido a un defecto de diseño o fabricación. El Reglamento sobre responsabilidad civil en materia de inteligencia artificial, actualmente en tramitación, podría reforzar esta vía de reclamación.

La responsabilidad del operador humano es más controvertida. El operador es un empleado o agente del responsable del tratamiento, y su responsabilidad suele canalizarse a través de la responsabilidad del empleador. Sin embargo, si el operador actúa con negligencia grave o dolo, podría ser personalmente responsable frente a los afectados. La doctrina ha señalado que la responsabilidad del operador humano puede ser difícil de establecer, ya que el operador actúa en un contexto de opacidad algorítmica y de presión institucional, y su margen de maniobra puede estar limitado por el diseño del sistema (13).

4.2. El papel del operador humano como posible «interviniente» que rompe el nexo causal

Una cuestión estrechamente relacionada es si la intervención humana, incluso cuando es ineficaz, puede romper el nexo causal entre el sistema automatizado y el daño causado. En el marco del artículo 22 RGPD y del artículo 24 EUDPR, la intervención humana significativa excluye la decisión del ámbito de la prohibición, pero no exime al responsable de su responsabilidad por el daño causado. La intervención humana es una garantía para el interesado, no una eximente de responsabilidad para el responsable.

Sin embargo, la cuestión se complica cuando la intervención humana es ineficaz o negligente. En estos casos, el afectado podría argumentar que el daño ha sido causado no solo por el sistema automatizado, sino también por la negligencia del operador humano. El responsable del tratamiento podría, a su vez, argumentar que la negligencia del operador rompe el nexo causal y exime al responsable de su responsabilidad. Esta cuestión no está resuelta en la normativa actual, y los tribunales han abordado casos similares con resultados dispares. La doctrina ha señalado que la responsabilidad del responsable del tratamiento es objetiva en materia de protección de datos, lo que significa que no puede eximirse de su responsabilidad por el daño causado por el sistema, incluso si el operador humano ha sido negligente (14). La supervisión humana es una garantía para el interesado, no una eximente de responsabilidad para el responsable.

5. La insuficiente atención a los sesgos algorítmicos y a la equidad en la Checklist

Uno de los problemas más señalados de la Checklist, a pesar de sus virtudes, es su limitado tratamiento de los sesgos algorítmicos y de la equidad (fairness). La Checklist menciona los sesgos en relación con la formación de los usuarios (para prevenir la confianza excesiva) y en relación con los registros de auditoría, pero no aborda de manera directa el problema de los sesgos que pueden estar incorporados en el sistema de ADM y que la supervisión humana debe detectar y corregir.

El sesgo algorítmico es una de las principales fuentes de riesgo de los sistemas de ADM, y puede dar lugar a decisiones discriminatorias por motivos de raza, género, edad, discapacidad u otros factores protegidos por la Carta de los Derechos Fundamentales de la UE. La detección y corrección de estos sesgos requiere una supervisión humana cualificada, que debe ser capaz de identificar patrones de discriminación en las decisiones del sistema. Sin embargo, la Checklist no exige que la formación de los usuarios incluya específicamente la identificación de sesgos algorítmicos, ni que los KPIs de supervisión incluyan la detección de sesgos o la evaluación de la equidad de las decisiones.

El EDPS, en su Guidance for Risk Management of AI Systems, sí aborda el sesgo algorítmico como uno de los riesgos a gestionar (6). Sin embargo, la Checklist, que es un instrumento más específico, parece haber optado por centrarse en los aspectos operativos de la supervisión humana, dejando la cuestión de la equidad para otros instrumentos. Esta opción puede ser criticable, ya que la equidad es un componente esencial de la supervisión humana significativa, especialmente en sistemas que afectan a derechos fundamentales. La doctrina ha señalado que la supervisión humana intenta introducir empatía y consideración de factores contextuales en los procesos de toma de decisiones automatizados, lo que puede conducir a resultados más justos (12). La Checklist, sin embargo, no proporciona orientaciones sobre cómo los operadores deben integrar consideraciones de equidad en su supervisión.

6. La ausencia de referencias a los derechos de los afectados más allá del feedback (acceso, rectificación, oposición)

La Checklist incluye un control sobre los mecanismos de recurso y la integración de la retroalimentación de los afectados en el sistema (sección 1, bloque 7). Sin embargo, no menciona otros derechos de los afectados que son fundamentales en el contexto de los sistemas de ADM, como el derecho de acceso (artículo 17 EUDPR, artículo 15 RGPD), el derecho de rectificación (artículo 18 EUDPR, artículo 16 RGPD), el derecho de oposición (artículo 23 EUDPR, artículo 21 RGPD) y el derecho a no ser objeto de una decisión automatizada (artículo 24 EUDPR, artículo 22 RGPD) (3,4). La Checklist se centra en la supervisión humana como una obligación del responsable del tratamiento, pero no aborda cómo los afectados pueden ejercer sus derechos en relación con el sistema de ADM.

Esta ausencia es comprensible en la medida en que la Checklist es un instrumento de autoevaluación para las instituciones, no una guía de derechos para los afectados. Sin embargo, la supervisión humana y los derechos de los afectados están intrínsecamente vinculados. La supervisión humana es una garantía para el afectado, pero también es un medio para que el responsable del tratamiento pueda cumplir con sus obligaciones de transparencia y de respuesta a las solicitudes de los afectados. Un sistema de ADM que no permite un control efectivo de los derechos de los afectados —porque los registros no son accesibles, porque la información sobre la lógica del sistema no es comprensible, o porque los mecanismos de recurso no son efectivos— difícilmente puede considerarse que tiene una supervisión humana significativa.

La doctrina ha señalado que la participación de los afectados es un elemento esencial de la gobernanza de los sistemas de ADM, y que los mecanismos de recurso y de participación deben ser integrados en el diseño del sistema, no añadidos como un complemento (10). La Checklist recoge parte de esta perspectiva al exigir la integración de la retroalimentación en el sistema, pero omite otros derechos que son igualmente importantes. Esta omisión puede ser suplida por otras guías del EDPS, como la Guidance on the exercise of data subject rights, pero la ausencia en la Checklist puede llevar a que las instituciones se centren en la supervisión humana como un fin en sí mismo, descuidando su conexión con los derechos de los afectados.

En suma, la Checklist del EDPS, pese a su indudable valor, deja abiertos interrogantes importantes que requieren un desarrollo ulterior, tanto por parte del propio EDPS como por parte de la doctrina y de los tribunales. La tensión entre supervisión y diseño seguro, la dificultad de definir la significatividad, los conflictos con los secretos comerciales, la responsabilidad civil y administrativa, la insuficiente atención a los sesgos y la equidad, y la ausencia de referencias a los derechos de los afectados son problemas que no pueden ser ignorados por las instituciones de la UE al implementar los controles de la Checklist. La Checklist es un punto de partida, no un punto de llegada, y su aplicación debe ir acompañada de un análisis jurídico y ético más profundo.

VII. ANÁLISIS COMPARADO CON OTRAS INICIATIVAS REGULATORIAS Y GUÍAS

La Checklist del EDPS no es un instrumento aislado en el panorama regulatorio europeo. Diversas autoridades de protección de datos —tanto a nivel de la Unión Europea como de los Estados miembros y del Reino Unido— han desarrollado guías, recomendaciones y herramientas sobre la supervisión humana y la intervención significativa en la toma de decisiones automatizada. El análisis comparado de estos instrumentos permite situar el estándar del EDPS en su contexto, identificar convergencias y divergencias, y evaluar su contribución al desarrollo de un corpus doctrinal común en materia de supervisión humana.

1. El enfoque de la Comisión Nacional de Informática y Libertades (CNIL) francesa

La CNIL ha abordado la cuestión de la supervisión humana desde una perspectiva que combina la protección de datos con la ética de los algoritmos. Su Laboratorio de Innovación Digital (LINC) publicó en octubre de 2024 una serie de artículos titulada Human supervision, hybrid decisions: what are the challenges?, en la que se analizan los obstáculos a la efectividad de los mecanismos híbridos de decisión que combinan la intervención humana con el uso de algoritmos (7). El LINC explora, a partir de la literatura científica, dos obstáculos clave: los sesgos de confianza de los usuarios hacia el sistema y la opacidad de las sugerencias del sistema (7)

La CNIL parte de la premisa de que «la ley exige una intervención humana o un control humano integrado en el procedimiento de decisión, dando lugar a dispositivos "híbridos" que combinan potencia de cálculo y discernimiento humano» (7). Esta exigencia, según la CNIL, no es meramente formal, sino que responde a la necesidad de preservar la autonomía decisoria y garantizar la pertinencia de las decisiones, especialmente en sectores críticos como la salud, las finanzas o la moderación de contenidos (7).

El enfoque de la CNIL se caracteriza por su énfasis en los factores psicológicos y cognitivos que afectan a la supervisión humana. El LINC identifica el sesgo de confianza (trust bias) como uno de los principales obstáculos a la efectividad de la supervisión: los usuarios tienden a confiar excesivamente en las recomendaciones del sistema, incluso cuando estas son erróneas o inapropiadas (7). Para contrarrestar este sesgo, la CNIL sugiere medidas como la formación de los usuarios, el diseño de interfaces que faciliten la comprensión de las limitaciones del sistema, y la implementación de mecanismos que fomenten una actitud crítica (7,5)

A diferencia de la Checklist del EDPS, que ofrece un conjunto estructurado y exhaustivo de controles verificables, el enfoque de la CNIL es más exploratorio y se centra en la identificación de problemas y en la propuesta de pistas de mejora, sin pretender ser una herramienta de autoevaluación completa (5). Sin embargo, ambas autoridades comparten un diagnóstico común: la supervisión humana no es efectiva por sí misma, sino que requiere un diseño cuidadoso y una atención constante a los factores que pueden distorsionar el juicio del operador.

La CNIL ha desarrollado también guías prácticas para el uso de sistemas de IA en producción, en las que se aborda la cuestión de la supervisión humana desde una perspectiva operativa. Estas guías recomiendan que se prevea la supervisión por un operador humano, que se anticipen los mecanismos para que el operador pueda modificar manualmente una decisión del sistema, y que se establezcan procedimientos para prevenir que los errores se vuelvan sistemáticos . En este sentido, el enfoque de la CNIL converge con el del EDPS en la necesidad de una autoridad efectiva de intervención y en la importancia de la formación y la capacitación de los operadores.

2. El enfoque del Comité Europeo de Protección de Datos (CEPD)

El CEPD, en su calidad de organismo encargado de velar por la aplicación coherente del RGPD en toda la Unión Europea, ha abordado la cuestión de la intervención humana en sus Guidelines on Automated individual decision-making and Profiling (WP251rev.01), adoptadas originalmente por el Grupo de Trabajo del Artículo 29 y posteriormente respaldadas por el CEPD (6). Estas directrices, aunque anteriores a la Ley de IA y al TechDispatch del EDPS, siguen siendo el referente doctrinal básico para la interpretación del artículo 22 RGPD (6,1)

El CEPD establece que la intervención humana debe ser «significativa» para que una decisión no se considere «únicamente» automatizada (1,6). La mera confirmación automática de las decisiones del sistema, o la revisión superficial sin capacidad real de influir en el resultado, no basta para excluir la decisión del ámbito de aplicación del artículo 22 (1). El CEPD exige que el responsable del tratamiento identifique y registre el grado de intervención humana en el proceso de toma de decisiones y en qué fase se produce esta intervención (1)

El enfoque del CEPD se caracteriza por su carácter general y principialista. Las directrices no proporcionan una lista exhaustiva de controles, sino que establecen criterios cualitativos que los responsables del tratamiento deben aplicar caso por caso. El CEPD ha señalado que la intervención humana debe ser «sustantiva y capaz de influir en el resultado» (1). Este criterio, aunque útil, deja un amplio margen de interpretación, lo que ha llevado a las autoridades nacionales y al EDPS a desarrollar guías más detalladas y operativas.

El EDPS, en su TechDispatch #2/2025 y en la Checklist, ha ido más allá de las directrices del CEPD, proporcionando un conjunto de controles concretos que permiten a las instituciones de la UE evaluar la madurez de sus medidas de supervisión (1,2). La Checklist puede considerarse, en este sentido, una operacionalización de los principios establecidos por el CEPD, adaptada al contexto específico de las instituciones de la UE y a las exigencias adicionales de la Ley de IA.

3. El enfoque de la Autoriteit Persoonsgegevens (AP) neerlandesa sobre meaningful human intervention

La Autoriteit Persoonsgegevens (AP) de los Países Bajos ha desarrollado uno de los enfoques más detallados y sistemáticos sobre la intervención humana significativa. En julio de 2025, la AP publicó una guía sobre meaningful human intervention en la toma de decisiones algorítmica, acompañada de un conjunto de herramientas descargables (8,2). La guía, desarrollada tras una consulta con empresas, organizaciones, expertos y partes interesadas, está estructurada en cuatro capítulos: humano, tecnología y diseño, proceso, y gobernanza (1,2)

La AP parte de la premisa de que la intervención humana no debe ser meramente simbólica, sino que debe hacer una contribución significativa al proceso de toma de decisiones (8,2). La guía proporciona ejemplos y un panorama de preguntas que pueden ayudar a las organizaciones a establecer un proceso centrado en la tecnología y el diseño, el proceso y la gobernanza (8). La AP insiste en que las organizaciones deben documentar adecuadamente su política de intervención humana significativa, incluyendo la realización de una evaluación de impacto relativa a la protección de datos (EIPD) para determinar la fase y el alcance de la intervención antes de utilizar el algoritmo (8). Una vez desplegado el algoritmo, las organizaciones deben mantener la supervisión de la intervención humana, incluyendo el seguimiento de los resultados del algoritmo y la verificación de cómo ha llegado a su decisión (8). Finalmente, las organizaciones deben considerar y registrar las circunstancias en las que un revisor puede adoptar o rechazar la salida del algoritmo (8)

El enfoque de la AP se asemeja al del EDPS en varios aspectos. Ambos insisten en la necesidad de documentación, en la importancia de la EIPD, en el seguimiento de los resultados y en el registro de las circunstancias de anulación (8,2). La AP, sin embargo, estructura su guía en torno a cuatro pilares (humano, tecnología y diseño, proceso, y gobernanza), mientras que la Checklist del EDPS se organiza en dos secciones (general y específica para operadores con capacidad de intervención) y en un mayor número de bloques de control (1,2). Ambos enfoques son compatibles y complementarios: la guía de la AP proporciona un marco conceptual más amplio, mientras que la Checklist del EDPS ofrece un conjunto más detallado y operativo de controles.

Cabe señalar que la AP ha reconocido expresamente la publicación del EDPS, lo que sugiere una coordinación entre ambas autoridades en el desarrollo de sus respectivas guías (2). Esta coordinación es coherente con el papel del EDPS como autoridad de control de la UE y con la función del CEPD de promover la aplicación coherente del RGPD (6,1)

4. El enfoque de la Information Commissioner's Office (ICO) del Reino Unido

La ICO del Reino Unido, aunque ya no forma parte del marco institucional de la UE, ha desarrollado una guía sobre toma de decisiones automatizada que presenta similitudes y diferencias con el enfoque del EDPS. En marzo de 2026, la ICO publicó un proyecto de guía actualizada sobre ADM y elaboración de perfiles, que refleja tanto la rápida adopción de sistemas impulsados por IA como la reciente reforma legislativa en virtud de la Data (Use and Access) Act 2025 (DUAA) (9).

La ICO es clara en su exigencia de que la supervisión humana debe ser «activa» y no un «gesto simbólico» (9). Para que una decisión quede fuera del ámbito de la ADM, un decisor humano debe tener autoridad real, comprender la base de la salida automatizada y ser capaz de cuestionarla o anularla (9). La mera ratificación (rubber-stamping) de una recomendación algorítmica no cumple con este estándar (9). La ICO también insiste en la necesidad de transparencia: las organizaciones deben ser abiertas sobre el uso de ADM y proporcionar a los individuos explicaciones claras y significativas de cómo se toman las decisiones y de cómo pueden afectarles (9). La ICO reconoce que la explicabilidad sigue siendo un desafío para los modelos de IA complejos, pero enfatiza que es un requisito legal y no opcional (9)

El enfoque de la ICO se distingue del del EDPS en varios aspectos. En primer lugar, la ICO opera en un marco legal diferente, el UK GDPR, que ha sido modificado por la DUAA para proporcionar a las organizaciones una mayor flexibilidad en el despliegue de la automatización, siempre que se establezcan salvaguardas adecuadas (9,3). En segundo lugar, la ICO se ha centrado especialmente en el sector del reclutamiento, identificándolo como un área de riesgo particular (9,3). En tercer lugar, la ICO ha enfatizado la necesidad de que las organizaciones evalúen si sus procesos implican una toma de decisiones únicamente automatizada, especialmente en áreas como el filtrado de CV, la puntuación de idoneidad o las evaluaciones de comportamiento (3)

A pesar de estas diferencias, existen convergencias significativas entre la ICO y el EDPS. Ambas autoridades coinciden en que la supervisión humana no debe ser meramente formal, en la necesidad de autoridad real para anular decisiones, en la importancia de la formación y la cualificación de los operadores, y en la exigencia de transparencia y explicabilidad (9,2). La Checklist del EDPS, aunque dirigida a las instituciones de la UE, contiene principios que son perfectamente aplicables en el contexto del UK GDPR, y su enfoque sistemático puede servir de referencia para las organizaciones del Reino Unido.

5. Convergencias y divergencias respecto al estándar del EDPS

El análisis comparado de las distintas guías y enfoques revela un alto grado de convergencia en los principios fundamentales de la supervisión humana, pero también diferencias significativas en el nivel de detalle, en el enfoque metodológico y en el ámbito de aplicación.

En cuanto a las convergencias, todas las autoridades coinciden en que la intervención humana debe ser «significativa» y no meramente formal o simbólica (1,2,3,7,8,9). Coinciden también en la necesidad de que el operador humano tenga autoridad real para influir en el resultado de la decisión, en la importancia de la formación y la capacitación, en la exigencia de transparencia y explicabilidad, y en la necesidad de documentar y auditar el proceso de supervisión (2,3). Estas convergencias reflejan un consenso doctrinal en torno a la interpretación del artículo 22 RGPD y del artículo 24 EUDPR, y apuntan hacia la formación de un standard europeo en materia de supervisión humana.

En cuanto a las divergencias, estas se manifiestan principalmente en tres planos. En primer lugar, en el nivel de detalle y concreción: la Checklist del EDPS y la guía de la AP son los instrumentos más detallados y operativos, mientras que las directrices del CEPD y los trabajos de la CNIL son más generales y principialistas (1,2,6,7). En segundo lugar, en el enfoque metodológico: la CNIL se centra en los obstáculos psicológicos y cognitivos a la supervisión, la AP estructura su guía en torno a cuatro pilares, y el EDPS organiza su Checklist en dos secciones con múltiples bloques de control (2,7,8). En tercer lugar, en el ámbito de aplicación: la Checklist del EDPS se dirige específicamente a las instituciones de la UE, mientras que las guías de la AP y de la ICO están pensadas para todo tipo de organizaciones, y las directrices del CEPD tienen un alcance general para todos los responsables del tratamiento sujetos al RGPD (2,6,8,9).

6. Valoración global del estándar del EDPS en el panorama comparado

La Checklist del EDPS se sitúa, en el panorama comparado, como uno de los instrumentos más exhaustivos y sistemáticos disponibles para la evaluación de la supervisión humana en sistemas de ADM (10,4). Su principal fortaleza reside en su nivel de detalle y en su estructuración en controles verificables, lo que la convierte en una herramienta práctica y de fácil uso para las instituciones de la UE (10). La Checklist va más allá de las directrices generales del CEPD y de los trabajos exploratorios de la CNIL, proporcionando un conjunto de criterios concretos que permiten a las instituciones identificar lagunas y orientar la mejora continua (2).

La Checklist también se distingue por su integración de las exigencias del EUDPR y de la Ley de IA, ofreciendo un marco único que cubre tanto la supervisión ex post (artículo 24 EUDPR) como la supervisión ex ante (artículo 14 AI Act) (2,5). Esta integración es particularmente valiosa para las instituciones de la UE, que deben cumplir simultáneamente con ambos regímenes normativos (4,16)

Sin embargo, la Checklist no es el único instrumento disponible, ni necesariamente el más adecuado para todos los contextos. La guía de la AP, por su enfoque en cuatro pilares y por su énfasis en la EIPD y en la documentación, puede ser más adecuada para organizaciones que están en las primeras fases de implementación de sistemas de ADM (8). Los trabajos de la CNIL, por su exploración de los obstáculos psicológicos y cognitivos, pueden ser más útiles para comprender los factores humanos que afectan a la supervisión (7). Las directrices del CEPD, por su carácter general y principialista, siguen siendo el referente doctrinal básico para la interpretación del artículo 22 RGPD (6).

En definitiva, la Checklist del EDPS constituye una contribución relevante y oportuna al desarrollo de un estándar europeo en materia de supervisión humana. Su enfoque sistemático y detallado la convierte en una herramienta valiosa para las instituciones de la UE, y sus principios pueden servir de referencia para otros responsables del tratamiento, tanto en la UE como en otros jurisdicciones. La Checklist no sustituye a otros instrumentos, sino que los complementa, ofreciendo un nivel de detalle y de concreción que no se encuentra en otras guías. Su adopción por parte de las instituciones de la UE, junto con la aplicación de otros instrumentos como la guía de la AP y las directrices del CEPD, puede contribuir a una supervisión humana más efectiva y a una mayor protección de los derechos de los afectados.

VIII. IMPLICACIONES PRÁCTICAS PARA LAS INSTITUCIONES DE LA UE Y LOS RESPONSABLES DEL TRATAMIENTO

La Checklist del EDPS, por su naturaleza de herramienta de autoevaluación, no impone directamente obligaciones ejecutivas ni establece plazos concretos para su implementación. Sin embargo, su adopción por parte de las instituciones de la UE —y, por extensión, por cualquier responsable del tratamiento que aspire a un nivel elevado de diligencia en la supervisión de sistemas de ADM— exige un despliegue organizativo que trasciende la mera verificación formal de los controles. La implementación efectiva de la Checklist requiere una planificación estratégica, la asignación de recursos adecuados, la integración con otros sistemas de gestión de riesgos y una documentación rigurosa que permita acreditar el cumplimiento ante el EDPS y ante los afectados. El presente apartado ofrece una hoja de ruta práctica para la implementación, aborda el impacto organizativo de la Checklist, analiza su integración con las evaluaciones de impacto y las auditorías, y especifica la documentación exigible.

1. Hoja de ruta para la implementación de la Checklist: fases, recursos y plazos

La implementación de la Checklist no puede ser un ejercicio puntual, sino que debe concebirse como un proceso continuo de mejora que se despliega a lo largo del tiempo. A partir de la estructura de la Checklist y de la experiencia de otras autoridades en la implementación de guías similares (8,9), puede proponerse una hoja de ruta en cuatro fases: diagnóstico, planificación, ejecución y evaluación continua.

La fase de diagnóstico consiste en la realización de una autoevaluación inicial con base en la Checklist, con el objetivo de identificar el grado de cumplimiento actual de cada uno de los controles y de priorizar las áreas de mejora. Esta fase debe ser liderada por el delegado de protección de datos (DPD) de la institución, en colaboración con los responsables de los sistemas de ADM y con los equipos de recursos humanos y de formación. El diagnóstico debe documentarse mediante un informe que identifique, para cada control, el estado actual (implementado, parcialmente implementado, no implementado o no aplicable) y las evidencias disponibles que acrediten dicho estado. La experiencia de la Autoriteit Persoonsgegevens sugiere que esta fase puede requerir entre dos y cuatro meses, dependiendo del número y de la complejidad de los sistemas de ADM en funcionamiento (8).

La fase de planificación consiste en la elaboración de un plan de acción que establezca las medidas correctivas necesarias para alcanzar el nivel deseado de cumplimiento, los recursos requeridos (humanos, financieros y tecnológicos), los responsables de su ejecución y los plazos estimados. El plan de acción debe priorizar los controles de la sección 1 (gobernanza y capacitación general) sobre los de la sección 2 (operadores con capacidad de intervención), ya que los primeros son condiciones necesarias para la efectividad de los segundos. La planificación debe incluir también la formación específica para la alta dirección, en línea con el control que exige la sección 1 (2). Los plazos para la implementación completa de la Checklist dependerán del nivel de partida de cada institución, pero puede estimarse un horizonte de entre doce y veinticuatro meses para una implementación integral, con hitos intermedios trimestrales.

La fase de ejecución consiste en la puesta en marcha de las medidas correctivas identificadas en el plan de acción. Esta fase debe incluir la revisión y actualización de la documentación de gobernanza, el diseño e impartición de programas de formación, la adaptación de interfaces, la implementación de sistemas de registro y auditoría, y la definición de KPIs y procedimientos de escalado. La ejecución debe ser coordinada por un equipo multidisciplinar que incluya a responsables del sistema, juristas, especialistas en protección de datos, expertos en usabilidad y representantes de los operadores. La doctrina ha señalado que la participación activa de los operadores en el diseño de las medidas de supervisión es un factor clave para su efectividad (11).

La fase de evaluación continua consiste en el seguimiento periódico de los indicadores definidos (KPI de supervisión, tasas de detección de errores, frecuencia de anulación, tiempos de reacción, etc.) y en la revisión del plan de acción a la luz de los resultados obtenidos y de los cambios en el sistema o en el contexto normativo. Esta fase debe incluir la realización de auditorías internas periódicas, conforme a lo exigido en la sección 2 (2), y la participación en auditorías externas independientes. La evaluación continua debe alimentar un ciclo de mejora que se traduzca en actualizaciones de la formación, de los protocolos de supervisión y, en su caso, del propio sistema de ADM. La Checklist, al exigir que las «lecciones aprendidas» se documenten y se incorporen a la formación (2), institucionaliza este ciclo de mejora.

2. Impacto organizativo: formación continua, cambio cultural y asignación presupuestaria

La implementación de la Checklist tiene un impacto organizativo profundo que va más allá de la mera adopción de procedimientos técnicos. La Checklist exige una transformación cultural que sitúe la supervisión humana en el centro de la gobernanza de los sistemas de ADM, y que reconozca su valor como garantía para los derechos de los afectados y como fuente de aprendizaje organizativo.

La formación continua es uno de los pilares de esta transformación. La Checklist exige no solo una formación inicial de incorporación (onboarding), sino también formación en escenarios de fallo, formación en toma de decisiones ética, formación en sesgos cognitivos y de automatización, y formación específica para la alta dirección (2). Esto implica que las instituciones de la UE deben desarrollar un plan de formación integral que incluya módulos presenciales, ejercicios basados en escenarios y sesiones de actualización periódicas. La formación no debe limitarse a los operadores de primera línea, sino que debe extenderse a todos los niveles de la organización, desde la alta dirección hasta el personal de apoyo, para crear una cultura compartida de vigilancia crítica y de responsabilidad.

El cambio cultural es quizás el aspecto más desafiante de la implementación. La Checklist exige una cultura en la que la supervisión humana sea valorada como una función esencial y no como una carga, en la que los operadores se sientan legitimados para cuestionar y anular las decisiones del sistema, y en la que los fallos se traten como oportunidades de aprendizaje y no como ocasiones para buscar chivos expiatorios. El control de la sección 2 que garantiza el ejercicio de la autoridad de «stop‑the‑line» sin riesgo de represalias (2) es una manifestación concreta de este cambio cultural. La doctrina ha señalado que la creación de una cultura de supervisión efectiva requiere un liderazgo visible y un compromiso sostenido de la dirección, que debe predicar con el ejemplo y asignar recursos suficientes a la función de supervisión (11).

La asignación presupuestaria es un corolario necesario del cambio cultural. La implementación de la Checklist requiere recursos significativos: personal cualificado para la supervisión, formación continua, diseño y mantenimiento de interfaces, sistemas de registro y auditoría, contratación de auditores externos, y tiempo dedicado a las pruebas de red teaming y a la rotación de operadores. Las instituciones de la UE deben prever estas partidas en sus presupuestos y asegurar que la financiación de la supervisión humana no sea tratada como un gasto marginal o prescindible. La experiencia de otras organizaciones sugiere que el coste de la supervisión humana puede ser significativo —especialmente en sistemas de alto riesgo— pero que es un coste necesario para garantizar la fiabilidad y la equidad del sistema y para evitar los costes aún mayores de los litigios, las sanciones y la pérdida de confianza de los afectados (8).

3. Integración con los sistemas de gestión de riesgos y con las evaluaciones de impacto relativas a la protección de datos (EIPD) y a los sistemas de IA de alto riesgo

La Checklist no opera en el vacío, sino que debe integrarse en los sistemas de gestión de riesgos existentes en las instituciones de la UE y en los procesos de evaluación de impacto exigidos por el EUDPR y por la Ley de IA. El EDPS ha subrayado, en su Guidance for Risk Management of AI Systems, que la supervisión humana es uno de los elementos del control algorítmico que deben ser objeto de interés supervisor (6).

La evaluación de impacto relativa a la protección de datos (EIPD), exigida por el artículo 39 del EUDPR y por el artículo 35 del RGPD, es el instrumento mediante el cual los responsables del tratamiento identifican y mitigan los riesgos para los derechos y libertades de las personas derivados del tratamiento de datos personales (3,4). La EIPD debe incluir una evaluación de los riesgos específicos de los sistemas de ADM, incluyendo los riesgos de opacidad, discriminación algorítmica, falta de exactitud y ausencia de supervisión humana efectiva. La Checklist del EDPS proporciona un conjunto de criterios que pueden integrarse directamente en la EIPD, permitiendo a las instituciones evaluar de manera estructurada si las medidas de supervisión humana son adecuadas para mitigar los riesgos identificados. El EDPS, en su guía de gestión de riesgos, recomienda que la EIPD incluya la identificación de las medidas de supervisión humana y la evaluación de su efectividad (6).

La evaluación de impacto para sistemas de IA de alto riesgo, exigida por el artículo 27 de la AI Act, es un instrumento adicional que deben realizar los usuarios finales de sistemas de IA de alto riesgo antes de su puesta en servicio (5). Esta evaluación debe incluir una descripción de las medidas de supervisión humana previstas, de acuerdo con el artículo 14 de la AI Act, y una evaluación de su adecuación para prevenir o minimizar los riesgos para la salud, la seguridad y los derechos fundamentales (15). La Checklist del EDPS, aunque no se refiere expresamente a esta evaluación, proporciona criterios que pueden ser utilizados para evaluar si las medidas de supervisión humana cumplen con los requisitos del artículo 14 de la AI Act.

La integración de la Checklist en los sistemas de gestión de riesgos y en las evaluaciones de impacto exige que las instituciones de la UE establezcan un vínculo formal entre estos instrumentos. La EIPD y la evaluación de impacto de la AI Act deben hacer referencia expresa a la Checklist y deben documentar el grado de cumplimiento de cada uno de sus controles, así como las medidas correctivas adoptadas para abordar las deficiencias identificadas. Esta integración permite a las instituciones demostrar que su enfoque de la supervisión humana es sistemático y basado en un análisis de riesgos, en lugar de ser ad hoc o meramente formal.

4. Documentación exigible y evidencia de cumplimiento ante las autoridades de control

La accountability exige que los responsables del tratamiento no solo implementen medidas de supervisión humana, sino que también documenten esas medidas y puedan demostrar su efectividad ante las autoridades de control y ante los afectados (3,4). La Checklist del EDPS proporciona un marco para esta documentación, al exigir que numerosos controles estén «documentados» (gobernanza, procedimientos de escalado, matrices de competencias, etc.) o que generen registros (decisiones, anulaciones, tiempos de reacción, etc.) (2)

La documentación de gobernanza debe incluir el marco de supervisión humana, con la identificación de roles, responsabilidades y procedimientos de escalado. Esta documentación debe ser accesible a todos los implicados y debe ser revisada periódicamente, especialmente tras las actualizaciones del sistema. La documentación de gobernanza es el primer elemento que una autoridad de control solicitará en una inspección, ya que permite comprender cómo se organiza la supervisión humana y quién es responsable de cada aspecto.

Los registros de decisiones y de intervenciones son el segundo pilar de la documentación exigible. La Checklist exige que todas las decisiones sean trazables hasta los fundamentos utilizados, que las anulaciones se registren y se sometan a análisis, y que se documenten las tasas de acuerdo y desacuerdo entre operadores (2). Estos registros permiten a las autoridades de control verificar si la supervisión humana se está ejerciendo de manera efectiva y si los operadores están utilizando su autoridad de anulación de manera adecuada. La doctrina ha señalado que la calidad de los registros es un indicador fiable de la madurez de la supervisión humana (14).

Las métricas y los KPIs deben ser documentados y comunicados periódicamente a la dirección, como exige la sección 1 de la Checklist (2). La documentación de las métricas permite a las autoridades de control evaluar si la supervisión humana está siendo objeto de seguimiento y si los resultados de ese seguimiento se utilizan para la mejora continua. La documentación debe incluir las tasas de detección de errores, la frecuencia de anulación, los tiempos medios de reacción y la precisión en las pruebas de red teaming.

La formación y las competencias deben estar documentadas mediante la matriz de competencias actualizada, los programas de formación impartidos y los registros de asistencia y de resultados de las evaluaciones (2). Esta documentación permite a las autoridades de control verificar que los operadores están adecuadamente formados y que la formación se actualiza periódicamente para reflejar los cambios en el sistema y las lecciones aprendidas.

Las auditorías internas y externas deben generar informes documentados que evalúen la efectividad de la supervisión humana y que identifiquen áreas de mejora (2). La documentación de las auditorías, tanto internas como externas, constituye una evidencia de que la supervisión humana es objeto de una evaluación independiente y que los resultados de esa evaluación se utilizan para la mejora continua.

Finalmente, la integración con la EIPD y con la evaluación de impacto de la AI Act debe documentarse, de manera que las autoridades de control puedan verificar que la supervisión humana ha sido considerada como parte del análisis de riesgos y que las medidas de supervisión son proporcionales a los riesgos identificados (6,15). La documentación de esta integración refuerza la credibilidad del enfoque de la institución y demuestra que la supervisión humana no es un añadido superficial, sino un elemento central de la gobernanza de los sistemas de ADM.

En definitiva, la implementación de la Checklist exige a las instituciones de la UE un despliegue organizativo que abarca desde la planificación estratégica hasta la documentación detallada de todas las medidas adoptadas. La Checklist no es un mero ejercicio de verificación formal, sino un catalizador para una transformación profunda de la cultura organizativa y de los sistemas de gestión de riesgos. Su implementación requiere tiempo, recursos y un compromiso sostenido de la dirección, pero es el único camino para garantizar que la supervisión humana cumpla su función de salvaguarda efectiva frente a los riesgos de la decisión automatizada.

IX. PERSPECTIVAS DE FUTURO Y TENDENCIAS REGULATORIAS

La publicación de la Checklist del EDPS en 2026 no constituye un punto de llegada, sino un hito en un proceso de evolución regulatoria y tecnológica que continuará desarrollándose en los próximos años. La supervisión humana, tal como se concibe en la actualidad, se enfrenta a desafíos emergentes que exigirán una adaptación constante de los marcos normativos, de las herramientas técnicas y de las capacidades organizativas. El presente apartado analiza las principales tendencias que configurarán el futuro de la supervisión humana en los sistemas de ADM, incluyendo el paso hacia modelos de supervisión dinámica y adaptativa, el papel de las tecnologías de IA explicable (XAI), las posibles modificaciones normativas derivadas de la aplicación práctica de la AI Act y de la revisión del EUDPR, y los retos específicos que plantean los sistemas de IA generativa y de propósito general.

1. Hacia una supervisión humana dinámica y adaptativa basada en el contexto de uso

La Checklist del EDPS, en su versión actual, presenta un modelo de supervisión humana que puede calificarse como estático: define un conjunto de controles que las instituciones deben implementar y mantener, pero no contempla explícitamente la posibilidad de que el nivel o el tipo de supervisión varíe en función del contexto de uso, del nivel de riesgo concreto de cada decisión, o de la evolución del sistema a lo largo del tiempo. La doctrina más reciente, sin embargo, apunta hacia la necesidad de modelos de supervisión dinámica y adaptativa, que ajusten la intensidad y la modalidad de la intervención humana a las circunstancias cambiantes (11,12).

El artículo 14 de la AI Act ya apunta en esta dirección al exigir que las medidas de supervisión sean «proporcionales a los riesgos, al nivel de autonomía y al contexto de uso del sistema de IA de alto riesgo» (5). Esta proporcionalidad sugiere que la supervisión humana no debe ser uniforme para todos los sistemas ni para todas las decisiones, sino que debe calibrarse en función del riesgo concreto que cada decisión entraña. Un sistema de ADM utilizado para la concesión de préstamos de bajo importe podría requerir un nivel de supervisión menor que el mismo sistema utilizado para la concesión de hipotecas de alto valor, o para decisiones que afecten a la elegibilidad de prestaciones sociales.

La doctrina ha propuesto el concepto de «supervisión humana por niveles» (layered human oversight), en el que la intervención humana se activa en función de umbrales predefinidos (por ejemplo, puntuaciones de confianza bajas, casos atípicos, decisiones que afectan a grupos vulnerables) (12). Este enfoque permite optimizar los recursos de supervisión, asignando la atención humana a los casos que realmente lo requieren, sin renunciar a una supervisión general del sistema. La Checklist del EDPS, aunque no desarrolla explícitamente este enfoque, proporciona elementos que pueden facilitar su implementación, como la exigencia de puntuaciones de confianza, la definición de procedimientos de escalado y la medición de tiempos de reacción.

Otra tendencia emergente es la de la «supervisión humana continua» (continuous human oversight), que no se limita a la revisión puntual de decisiones individuales, sino que implica un seguimiento constante del desempeño del sistema a través de métricas agregadas (tasas de error, sesgos en la toma de decisiones, evolución de la precisión, etc.) (6). La Checklist del EDPS, al exigir la definición de KPIs y su comunicación periódica a la dirección, sienta las bases para este enfoque continuo, aunque no lo desarrolla plenamente. El futuro de la supervisión humana probablemente combine la supervisión puntual de decisiones individuales con la supervisión agregada del sistema, creando un ecosistema de control en múltiples niveles.

Finalmente, la supervisión humana adaptativa implica también la capacidad de ajustar la formación y los protocolos de supervisión a medida que el sistema evoluciona. La Checklist ya exige la reevaluación de los protocolos tras las actualizaciones del sistema (2), pero el futuro podría exigir un enfoque más dinámico, con actualizaciones más frecuentes y con un mayor énfasis en el aprendizaje automático de los patrones de error y de las necesidades de supervisión. La doctrina ha señalado que este enfoque adaptativo requiere una estrecha colaboración entre los equipos de desarrollo del sistema y los equipos de supervisión, así como una inversión significativa en tecnologías de monitorización y análisis (12).

2. El papel de las tecnologías de explainable AI (XAI) como soporte a la supervisión

Uno de los principales desafíos de la supervisión humana es la opacidad de los sistemas de ADM, especialmente aquellos basados en modelos de aprendizaje profundo (deep learning) o en técnicas de IA complejas (14). La falta de explicabilidad dificulta la capacidad del operador humano para comprender el razonamiento del sistema y, por tanto, para evaluar críticamente sus recomendaciones. La Checklist del EDPS aborda este desafío exigiendo resúmenes en lenguaje claro y trazabilidad de las decisiones (2), pero no especifica cómo deben generarse esas explicaciones.

El campo de la IA explicable (Explainable AI, XAI) está experimentando un desarrollo acelerado, con la aparición de técnicas como los mapas de prominencia (saliency maps), las explicaciones contrafactuales (counterfactual explanations), los modelos sustitutos (surrogate models) y las explicaciones basadas en reglas (rule‑based explanations) (14). Estas técnicas pueden proporcionar a los operadores humanos información sobre qué variables han influido en una decisión, con qué peso y bajo qué circunstancias. La integración de estas técnicas en las interfaces de supervisión puede mejorar significativamente la capacidad de los operadores para detectar errores, sesgos o anomalías.

La doctrina ha señalado, sin embargo, que la XAI no es una panacea. Las explicaciones generadas por los sistemas pueden ser incompletas, sesgadas o difíciles de interpretar para los operadores humanos, especialmente si no han recibido la formación adecuada (13). Además, las explicaciones pueden ser manipuladas o pueden crear una falsa sensación de comprensión, lo que podría reforzar el sesgo de automatización en lugar de contrarrestarlo (11). Por ello, el futuro de la supervisión humana exige no solo el desarrollo de técnicas de XAI, sino también la integración de estas técnicas en protocolos de supervisión que incluyan la verificación de la calidad de las explicaciones y la formación de los operadores en su interpretación.

El EDPS, en su Guidance for Risk Management of AI Systems, ha recomendado la adopción de técnicas de XAI como parte de las medidas de transparencia y control algorítmico (6). La Checklist, aunque no menciona explícitamente la XAI, proporciona un marco para su integración, al exigir la trazabilidad de las decisiones y los resúmenes en lenguaje claro. El futuro previsible es que la XAI se convierta en un componente estándar de las herramientas de supervisión humana, y que las autoridades de control, incluido el EDPS, desarrollen criterios más específicos sobre los requisitos de explicabilidad en función del riesgo y del contexto de uso.

3. Posibles modificaciones normativas derivadas de la aplicación práctica de la AI Act y de la revisión del EUDPR

La AI Act, adoptada en 2024, se encuentra en sus primeras fases de aplicación (5). Los próximos años serán cruciales para evaluar su impacto práctico y para identificar posibles lagunas o disfunciones que requieran modificaciones normativas. La supervisión humana es uno de los ámbitos en los que la aplicación práctica puede revelar la necesidad de ajustes. En particular, la relación entre la supervisión ex ante exigida por el artículo 14 de la AI Act y la supervisión ex post exigida por el artículo 24 EUDPR puede generar tensiones interpretativas que los tribunales y las autoridades de control deberán resolver (11,12). La Checklist del EDPS ofrece un marco integrador, pero su aplicación práctica puede revelar aspectos que requieran un desarrollo normativo más detallado.

Por otra parte, el EUDPR está sujeto a revisión periódica. El artículo 98 del EUDPR establece que la Comisión revisará la aplicación del Reglamento y presentará un informe al Parlamento Europeo y al Consejo (4). Esta revisión, que podría tener lugar en los próximos años, ofrece una oportunidad para actualizar el EUDPR a la luz de los desarrollos tecnológicos y de la experiencia adquirida en la aplicación de la AI Act. La doctrina ha señalado que la revisión del EUDPR podría incluir una armonización más estrecha con la AI Act en materia de supervisión humana, así como la incorporación de criterios más detallados sobre lo que constituye una «intervención humana significativa» (16).

La revisión del EUDPR también podría abordar la cuestión de la responsabilidad en los sistemas de ADM. La actual redacción del EUDPR no proporciona un régimen específico de responsabilidad para los sistemas automatizados, lo que genera incertidumbre jurídica. La doctrina ha abogado por la introducción de normas específicas que aclaren la distribución de responsabilidad entre el responsable del tratamiento, el productor del sistema y el operador humano (14). La experiencia en la aplicación de la AI Act y de la Checklist podría proporcionar la base empírica para estas modificaciones.

4. La supervisión humana en sistemas de IA generativa y de propósito general: retos emergentes

La irrupción de los sistemas de IA generativa —como los grandes modelos de lenguaje (LLM) y los sistemas de generación de imágenes— plantea desafíos inéditos para la supervisión humana. Estos sistemas, a diferencia de los sistemas de ADM tradicionales, no se limitan a tomar decisiones o a hacer recomendaciones basadas en reglas predefinidas, sino que generan contenido nuevo (texto, imágenes, código) que puede ser utilizado en una amplia variedad de contextos, desde la redacción de informes hasta la generación de pruebas en procedimientos administrativos.

El primer desafío es la imprevisibilidad de la salida. Los sistemas generativos pueden producir resultados que no son fácilmente predecibles ni controlables, lo que dificulta la tarea de supervisión humana. El operador humano debe evaluar no solo la corrección factual del contenido generado, sino también su adecuación al contexto, la ausencia de sesgos y la protección de la privacidad. La Checklist del EDPS, aunque aplicable en sus principios generales, no está diseñada específicamente para sistemas generativos, y puede requerir adaptaciones significativas.

El segundo desafío es la opacidad. Los grandes modelos de lenguaje son especialmente difíciles de explicar, debido a su arquitectura compleja y a la ingente cantidad de parámetros. Las técnicas de XAI disponibles para estos modelos son aún limitadas, lo que dificulta la tarea del operador de comprender por qué se ha generado un determinado contenido (14). La exigencia de la Checklist de resúmenes en lenguaje claro de la lógica del sistema puede ser difícil de cumplir en el caso de los sistemas generativos, donde la «lógica» no es fácilmente resumible.

El tercer desafío es la interactividad. Los sistemas generativos a menudo se utilizan en modo interactivo, en el que el usuario humano proporciona prompts y recibe respuestas en tiempo real. La supervisión humana en este contexto no puede ser ex post o por muestreo, sino que debe ser continua e inmediata, lo que exige interfaces de supervisión y protocolos de intervención muy diferentes a los de los sistemas de ADM tradicionales.

La doctrina ha comenzado a abordar estos desafíos, proponiendo conceptos como la «supervisión humana en el bucle de generación» (human‑in‑the‑loop generation) y la «auditoría de contenido generado» (generated content auditing) (12). El EDPS, en su TechDispatch sobre IA generativa (no incluido en la Checklist), ha señalado la necesidad de adaptar los marcos de supervisión a las características específicas de estos sistemas. Es previsible que en los próximos años se desarrollen guías específicas para la supervisión de IA generativa, que complementen la Checklist general del EDPS.

Por último, la IA de propósito general (general purpose AI, GPAI), tal como se define en la AI Act, plantea desafíos adicionales (5). Estos sistemas, que pueden utilizarse para una amplia variedad de tareas, no tienen un propósito predefinido, lo que dificulta la evaluación de los riesgos y el diseño de medidas de supervisión proporcionadas. La AI Act exige a los proveedores de GPAI que proporcionen información y documentación a los usuarios finales, pero la supervisión humana efectiva de estos sistemas en contextos de alto riesgo sigue siendo una cuestión abierta. La doctrina ha señalado que la supervisión humana de GPAI debe ser contextualizada, es decir, debe tener en cuenta el uso específico que se hace del sistema y los riesgos concretos que ese uso entraña (12). La Checklist del EDPS, aunque no aborda específicamente la GPAI, proporciona principios generales que pueden aplicarse mutatis mutandis, siempre que se adapten al contexto de uso.

En definitiva, el futuro de la supervisión humana es dinámico y exigente. Las tendencias hacia una supervisión adaptativa y continua, el desarrollo de la XAI, las posibles modificaciones normativas y los desafíos de la IA generativa y de propósito general configurarán un panorama en el que las instituciones de la UE y los responsables del tratamiento deberán mantener un alto nivel de vigilancia y de capacidad de adaptación. La Checklist del EDPS proporciona una base sólida para afrontar estos desafíos, pero no es un instrumento estático; debe evolucionar con la tecnología y con la experiencia práctica, y debe complementarse con guías específicas para los nuevos contextos de uso.

X. CONCLUSIONES

1. Síntesis de las principales aportaciones de la Checklist

La Checklist on human intervention on automated decision‑making (ADM) publicada por el EDPS en 2026 constituye, sin lugar a duda, una de las contribuciones más relevantes y sistemáticas al desarrollo de estándares operativos para la supervisión humana en el contexto de la toma de decisiones automatizada (2). Su principal aportación radica en la traducción de principios jurídicos abstractos —consagrados en el artículo 24 EUDPR, en el artículo 22 RGPD y en el artículo 14 de la AI Act— en un conjunto de controles concretos, verificables y jerarquizados, que permiten a las instituciones de la UE evaluar la madurez de sus medidas de supervisión y orientar la mejora continua (5,4,3)

La Checklist se distingue por su enfoque integral y por su estructura dual. La sección 1, de aplicación general, establece las condiciones organizativas, culturales y formativas necesarias para que la supervisión humana sea efectiva: gobernanza documentada, formación obligatoria, mecanismos de rendición de cuentas, indicadores de desempeño, explicabilidad, principio de los cuatro ojos, participación de los afectados, competencia técnica y concienciación crítica (2). La sección 2, específica para operadores con capacidad de intervención activa, aborda las condiciones operativas de la supervisión: autorización formal, tiempo de revisión, diseño de interfaz, auditorías, inyección de anomalías simuladas y muestreo estadístico (2). Esta estructura permite a las instituciones adaptar sus medidas de supervisión al contexto concreto de cada sistema, sin renunciar a un estándar mínimo de gobernanza y rendición de cuentas.

La Checklist incorpora además una advertencia de alcance general que constituye una de sus contribuciones más significativas: la supervisión humana no es un sustituto de un diseño sólido del sistema, y una frecuencia excesiva de intervenciones humanas revela deficiencias de base que impiden la puesta en producción del sistema (2). Esta advertencia, aunque no formulada como una obligación legal explícita, establece un criterio material de calidad del sistema que las autoridades de control pueden utilizar para evaluar la fiabilidad de los sistemas de ADM y para exigir su retirada o modificación cuando no cumplan con los estándares exigibles.

Desde una perspectiva de accountability, la Checklist proporciona a las instituciones de la UE un marco para documentar sus medidas de supervisión y para demostrar su cumplimiento ante el EDPS y ante los afectados (3,4). La exigencia de registros de decisiones, de KPIs, de matrices de competencias y de auditorías internas y externas crea un ecosistema de evidencia documental que permite a las autoridades de control verificar la efectividad de la supervisión y a los afectados ejercer sus derechos de acceso, impugnación y reparación. En este sentido, la Checklist cumple con la función que el EDPS le asigna en su «Disclaimer»: «apoyar la reflexión, la identificación de lagunas y la mejora de los procesos de supervisión», y «respaldar la responsabilidad de los responsables del tratamiento» (2).

2. Evaluación crítica de su utilidad y limitaciones

La utilidad de la Checklist es indudable. Su carácter sistemático y detallado la convierte en una herramienta de gran valor práctico para las instituciones de la UE, que disponen así de un marco estructurado para evaluar y mejorar sus medidas de supervisión. La Checklist supera el nivel de generalidad de las directrices del CEPD (6) y se sitúa en un plano de concreción comparable al de la guía de la Autoriteit Persoonsgegevens (8), con la ventaja añadida de estar específicamente adaptada al contexto de las instituciones de la UE y a las exigencias del EUDPR. Su integración de las perspectivas del EUDPR y de la AI Act la convierte en un instrumento de referencia para cualquier institución que deba cumplir simultáneamente con ambos regímenes normativos.

La Checklist también es útil como herramienta de cambio cultural. Al exigir formación específica, medición de KPIs, participación de los afectados y concienciación crítica, la Checklist promueve una cultura de vigilancia proactiva y de responsabilidad compartida que trasciende el mero cumplimiento formal. La exigencia de que los operadores puedan ejercer la autoridad de «stop‑the‑line» sin riesgo de represalias (2) es un ejemplo de cómo la Checklist puede transformar la dinámica organizativa, empoderando a los operadores y fomentando una actitud crítica ante el sistema.

Sin embargo, la Checklist no está exenta de limitaciones. La primera y más relevante es su carácter no vinculante. El EDPS ha dejado claro que la Checklist no es una herramienta formal de evaluación del cumplimiento, lo que significa que una institución podría implementar todos los controles y aun así no cumplir con todas las obligaciones del EUDPR o de la AI Act, o podría no implementar algunos controles y aun así cumplir con ellas (2). Esta flexibilidad es útil, pero también genera incertidumbre: las instituciones pueden no saber con certeza qué nivel de cumplimiento de la Checklist es suficiente para satisfacer a las autoridades de control.

La segunda limitación es la indeterminación de algunos controles. La Checklist exige, por ejemplo, que los resúmenes de la lógica del sistema estén en «lenguaje claro», que las tareas estén «claramente definidas» y que los mecanismos de recurso sean «accesibles y fáciles de usar» (2). Estos términos, aunque útiles como orientaciones, dejan un amplio margen de interpretación y pueden dar lugar a implementaciones muy dispares. La doctrina ha señalado que la falta de criterios más precisos puede dificultar la comparación entre instituciones y la evaluación por parte de las autoridades de control (11,12)

La tercera limitación es la ausencia de referencias explícitas a los sesgos algorítmicos y a la equidad, como se ha señalado en el apartado VI del presente estudio (2). La supervisión humana es una herramienta fundamental para detectar y corregir sesgos discriminatorios en los sistemas de ADM, pero la Checklist no proporciona orientaciones específicas sobre cómo los operadores deben integrar consideraciones de equidad en su supervisión (12). Esta omisión, aunque comprensible por el enfoque general de la Checklist, puede llevar a que las instituciones se centren en los aspectos operativos de la supervisión descuidando su dimensión sustantiva de garantía de la no discriminación.

La cuarta limitación es la insuficiente atención a los derechos de los afectados más allá de la retroalimentación (2). La Checklist menciona los mecanismos de recurso y la integración de la retroalimentación en el sistema, pero no aborda otros derechos fundamentales como el acceso, la rectificación, la oposición o el derecho a no ser objeto de una decisión automatizada (3,4). Esta ausencia puede llevar a que las instituciones conciban la supervisión humana como una función interna, sin establecer los vínculos necesarios con la protección de los derechos de los afectados.

Finalmente, la Checklist no aborda de manera explícita los desafíos específicos de los sistemas de IA generativa y de propósito general, que son cada vez más relevantes en el panorama tecnológico actual (5). Aunque sus principios generales pueden aplicarse mutatis mutandis, la Checklist requerirá adaptaciones significativas para ser plenamente aplicable a estos sistemas, como se ha señalado en el apartado IX.

3. Recomendaciones para una implementación eficaz y jurídicamente robusta

A la luz del análisis realizado, pueden formularse las siguientes recomendaciones para las instituciones de la UE y para los responsables del tratamiento que aspiren a una implementación eficaz y jurídicamente robusta de la Checklist:

Primera: integrar la Checklist en un sistema más amplio de gobernanza algorítmica. La Checklist no debe aplicarse de manera aislada, sino como parte de un sistema integrado de gobernanza que incluya la realización de evaluaciones de impacto relativas a la protección de datos (EIPD) y, en su caso, las evaluaciones de impacto exigidas por la AI Act (6,15,5). La EIPD debe identificar los riesgos específicos de cada sistema de ADM y determinar qué controles de la Checklist son necesarios para mitigarlos, evitando así una aplicación formal y descontextualizada de la Checklist.

Segunda: documentar exhaustivamente todas las medidas de supervisión. La documentación es el pilar de la accountability. Las instituciones deben documentar no solo la existencia de los controles, sino también su implementación efectiva, su seguimiento y los resultados obtenidos. La documentación debe incluir los registros de decisiones y anulaciones, las métricas de supervisión, los programas de formación, las matrices de competencias, los informes de auditoría y las evaluaciones de impacto. Esta documentación debe estar actualizada y accesible para las autoridades de control y para los afectados que ejerzan sus derechos.

Tercera: invertir en formación continua y en cambio cultural. La implementación de la Checklist requiere una inversión significativa en formación, no solo inicial sino continua, que abarque no solo los aspectos técnicos del sistema, sino también la toma de decisiones ética, la identificación de sesgos y la prevención de la confianza ciega. La formación debe extenderse a todos los niveles de la organización, incluida la alta dirección, y debe ser objeto de evaluación y actualización periódica. El cambio cultural debe ser liderado por la dirección, que debe predicar con el ejemplo y asignar recursos suficientes a la supervisión humana.

Cuarta: establecer un sistema de indicadores y de evaluación continua. Las instituciones deben definir KPIs específicos para la supervisión (tasa de detección de errores, frecuencia de anulación, tiempos de reacción, precisión en pruebas de red teaming, etc.) y deben revisarlos periódicamente para evaluar la efectividad de la supervisión y detectar áreas de mejora. Los resultados de esta evaluación deben comunicarse a la dirección y deben utilizarse para actualizar los protocolos de supervisión y los programas de formación. La evaluación continua debe incluir auditorías internas periódicas y, en su caso, auditorías externas independientes.

Quinta: garantizar la participación efectiva de los afectados. Las instituciones deben diseñar mecanismos de recurso accesibles y fáciles de usar, que permitan a los afectados impugnar las decisiones del sistema y obtener una revisión sustancial. La retroalimentación de los afectados debe integrarse en el sistema de supervisión y, en su caso, en el reentrenamiento del modelo o en las actualizaciones del sistema. Las instituciones deben también garantizar que los afectados puedan ejercer sus derechos de acceso, rectificación y oposición en relación con las decisiones del sistema de ADM.

Sexta: abordar explícitamente los sesgos algorítmicos y la equidad. Las instituciones deben complementar la Checklist con medidas específicas para la identificación y corrección de sesgos algorítmicos, incluyendo la formación de los operadores en la detección de sesgos, el análisis periódico de los resultados del sistema por grupos de población y la implementación de mecanismos de revisión de equidad en las decisiones de alto impacto. La equidad debe ser un criterio explícito en la evaluación de la supervisión humana.

Séptima: prepararse para los desafíos de la IA generativa y de propósito general. Las instituciones que utilicen o prevean utilizar sistemas de IA generativa o de propósito general deben comenzar a adaptar sus protocolos de supervisión a las características específicas de estos sistemas, prestando especial atención a la imprevisibilidad de la salida, a la opacidad del modelo y a la necesidad de supervisión continua e inmediata. Deben seguir de cerca los desarrollos normativos y las guías específicas que el EDPS y otras autoridades puedan publicar en este ámbito.

4. Llamada a la acción para la comunidad académica, los reguladores y los responsables del tratamiento

La Checklist del EDPS abre un campo de trabajo extenso y exigente para todos los actores implicados en la gobernanza de los sistemas de ADM. La comunidad académica tiene ante sí el desafío de profundizar en el análisis de los conceptos jurídicos clave —como la «intervención humana significativa», la «equidad algorítmica» y la «responsabilidad compartida»— y de proporcionar criterios operativos que permitan a los responsables del tratamiento y a las autoridades de control aplicar la Checklist de manera coherente y efectiva. La investigación empírica sobre los factores que afectan a la efectividad de la supervisión humana —sesgos cognitivos, diseño de interfaces, carga de trabajo, cultura organizativa— es también necesaria para fundamentar las recomendaciones de la Checklist y para evaluar su impacto en la práctica.

Los reguladores, y en particular el EDPS y el CEPD, tienen el desafío de desarrollar la Checklist y de proporcionar orientaciones más detalladas sobre los aspectos que han quedado abiertos. La definición de criterios más precisos para la «significatividad» de la intervención humana, la elaboración de guías específicas para la supervisión de sistemas generativos, la integración de la equidad como criterio explícito de supervisión y la clarificación de la responsabilidad en caso de supervisión ineficaz son áreas que requieren un desarrollo normativo y doctrinal ulterior. La coordinación entre el EDPS, el CEPD y las autoridades nacionales es esencial para garantizar una aplicación coherente de los principios de supervisión humana en todo el espacio europeo.

Los responsables del tratamiento, y en particular las instituciones de la UE, tienen el desafío de implementar la Checklist de manera efectiva, invirtiendo los recursos necesarios y adoptando un enfoque de mejora continua. La Checklist no debe ser vista como una lista de tareas a marcar, sino como un catalizador para una transformación profunda de la cultura organizativa y de los sistemas de gobernanza. La supervisión humana no es un coste, sino una inversión en la fiabilidad, la equidad y la legitimidad de los sistemas de ADM, y una garantía esencial para la protección de los derechos de los afectados.

En definitiva, la Checklist del EDPS es un instrumento valioso y oportuno, pero no es suficiente por sí misma. Su efectividad dependerá de la voluntad de las instituciones de la UE para implementarla con rigor, de la capacidad de los reguladores para desarrollarla y actualizarla, y de la contribución de la comunidad académica para proporcionar el conocimiento y el análisis crítico necesarios. El futuro de la supervisión humana en la toma de decisiones automatizada es prometedor, pero también exigente. La Checklist ofrece un mapa, pero el camino debe ser recorrido por todos los actores implicados, con responsabilidad, con rigor y con un compromiso firme con la protección de los derechos fundamentales en la era digital.

Bibliografía

(1) EDPS, TechDispatch #2/2025 – Human Oversight of Automated Decision‑Making, Supervisor Europeo de Protección de Datos, 2025. Disponible en: https://www.edps.europa.eu/data-protection/our-work/publications/techdispatch/2025-09-23-techdispatch-22025-human-oversight-automated-making_en

(2) EDPS, Checklist on human intervention on automated decision‑making (ADM), Supervisor Europeo de Protección de Datos, 2026. Disponible en: https://www.edps.europa.eu/system/files/2026-05/26-05-18_checklist-on-human-intervention-of-adm_en.pdf

(3) Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos (RGPD). Diario Oficial de la Unión Europea, L 119, 4.5.2016.

(4) Reglamento (UE) 2018/1725 del Parlamento Europeo y del Consejo, de 23 de octubre de 2018, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales por parte de las instituciones, órganos y organismos de la Unión (EUDPR). Diario Oficial de la Unión Europea, L 295, 21.11.2018.

(5) Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de IA / AI Act). Diario Oficial de la Unión Europea, L, 2024/1689, 12.7.2024.

(6) EDPS, Guidance for Risk Management of Artificial Intelligence Systems, Supervisor Europeo de Protección de Datos, noviembre de 2025. Disponible en: https://www.edps.europa.eu/system/files/2025-11/2025-11-11_ai_risks_management_guidance_en.pdf

(7) CNIL – LINC, Human supervision, hybrid decisions: what are the challenges?, Comisión Nacional de Informática y Libertades – Laboratorio de Innovación Digital, octubre de 2024. Disponible en: https://linc.cnil.fr/en/human-supervision-hybrid-decisions-what-are-challenges

(8) Autoriteit Persoonsgegevens, Meaningful human intervention in algorithmic decision‑making, Autoridad de Protección de Datos de los Países Bajos, julio de 2025. Disponible en: https://autoriteitpersoonsgegevens.nl/en/topics/algorithmic-decision-making-and-artificial-intelligence/meaningful-human-intervention

(9) ICO, Automated decision‑making and profiling: guidance for organisations, Information Commissioner's Office (Reino Unido), proyecto de guía actualizada, marzo de 2026. Disponible en: https://ico.org.uk/media/for-organisations/guide-to-data-protection/automated-decision-making-and-profiling-1-0.pdf

(10) Almada, M., Human Intervention in Automated Decision‑Making: Toward the Construction of Contestable Systems, Proceedings of the Seventeenth International Conference on Artificial Intelligence and Law (ICAIL 2019), ACM, 2019.

(11) SCHWEMER, Sebastian; KOIVISTO, Ida, A Warm Body in the Loop: Rethinking Human Control of AI in EU Tech Regulation, VerfBlog, 18 de septiembre de 2025. Disponible en: https://verfassungsblog.de/warm-body-in-the-loop/

(12) CORRÊA, Ana Maria; GARSIA, Sara; ELBI, Abdullah, "Better together? Human oversight as means to achieve fairness in the European AI Act governance", Cambridge Forum on AI: Law and Governance, vol. 1, e29 (2025).

(13) BANKS, Isabella, "Judges-in-the-loop? Judicial involvement in human oversight of high-risk decision support systems under the EU AI Act", International Journal of Law and Information Technology, vol. 34, núm. 1 (2026).

(14) BANTEKAS, Ilias; BRATSIAKOU, Venetsiana, "Automated Decision-Making Systems and Black Box Challenges Under European Union Administrative Law", Fordham International Law Journal, vol. 49, núm. 1 (2026).

(15) THEINERT, Naomi; KHALFA, Robin; HARDYNS, Wim, "From human intervention to meaningful human oversight? Mapping the opportunities and pitfalls in the decision-making process of place-based big data policing", Research Portal Belgium / 17th Conference on Computers, Privacy and Data Protection (CPDP), 2024.

(16) "Reflections on the data protection compliance of AI systems under the EU AI Act", Cogent Law, Criminology & Criminal Justice (Taylor & Francis), 2025, doi: 10.1080/23311886.2025.2560654. [Nota editorial: autoría no verificable a partir de las fuentes consultadas; se recomienda confirmar los nombres de los autores antes de la publicación final.]

(17) "Human-centric digital decision making: A new interdisciplinary psycho-legal assessment framework", Ethics and Information Technology, Springer, 8 de junio de 2026. [Nota editorial: autoría no verificable a partir de las fuentes consultadas; se recomienda confirmar los nombres de los autores antes de la publicación final.]