Os compartimos el noveno artículo de Cristina Sterling, abogada, especialista en Derecho Procesal Civil, bancario y del Mercado de Valores. Este articulo pertenece a nuestra saga quincenal titulado “IA en la Educación: ¿progreso o riesgo? El Reglamento que define su futuro”.
Estos artículos ayudan a entender y prevenir cómo afectará el RIA a cuestiones fundamentales que impactan en la actividad y organización de las empresas y en la sociedad.
La inteligencia artificial está transformando el sector educativo con sistemas que pueden determinar el acceso y la admisión de estudiantes, distribuirlos entre programas académicos, evaluar su aprendizaje e incluso supervisar su comportamiento en pruebas. Estas aplicaciones tienen el potencial de agilizar procesos y personalizar la educación, pero también plantean riesgos significativos si no se diseñan y utilizan correctamente.
En este artículo, que pertenece a la serie dedicada al nuevo Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial, nos referiremos a los sistemas IA que se utilicen en la educación y en la formación profesional.
Ya se ha señalado en artículos anteriores que se entiende por «sistema de IA», un sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía que puede mostrar capacidad de adaptación tras el despliegue y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtuales.
Parece incuestionable que el uso de sistemas de IA en el ámbito educativo resulta ideal para fomentar una educación y formación digitales de alta calidad al mejorar la predicción, optimizar las operaciones y la asignación de los recursos, así como personalizar las soluciones digitales. No obstante, dependiendo de las circunstancias relativas a su aplicación, utilización y nivel de desarrollo tecnológico concretos, la IA puede generar riesgos y menoscabar los intereses públicos y los derechos fundamentales que protege el Derecho de la Unión. Y a ello no es ajena la educación.
Así las cosas, en la materia que ahora nos ocupa, determinados sistema de IA deberán clasificarse como de «de alto riesgo».
Cristina Sterling, Abogado, colegiado en el Ilustre Colegio de Abogados de Madrid desde 1994. Máster en Asesoría Jurídica de Empresas en el Instituto de Empresa (IE), es especialista en Derecho Procesal Civil y cuenta con una amplia experiencia en Derecho Bancario y del Mercado de Valores. Es colaboradora del Bufete Mas y Calvet desde 2008, donde también es la coordinadora del French Desk.
Pensemos en los sistemas de IA dentro del campo educativo que:
– Determinan el acceso o la admisión, distribuyen a las personas entre distintas instituciones educativas y de formación profesional o programas de todos los niveles,
– Evalúan los resultados del aprendizaje de las personas, evalúan el nivel apropiado de educación de una persona e influyen sustancialmente en el nivel de educación y formación que las personas recibirán o al que podrán acceder, o
– Supervisan y detectan comportamientos prohibidos de los estudiantes durante las pruebas.
Todos estos sistemas enumerados serían aptos para decidir la trayectoria formativa y profesional de una persona y, en consecuencia, podrían afectar a su capacidad para asegurar su subsistencia.
Se advierte igualmente en el Reglamento (UE) 2024/1689 que cuando no se diseñan y utilizan correctamente, estos sistemas pueden invadir especialmente y violar el derecho a la educación y la formación, y el derecho a no sufrir discriminación, además de perpetuar patrones históricos de discriminación, por ejemplo, contra las mujeres, determinados grupos de edad, las personas con discapacidad o las personas de cierto origen racial o étnico o con una determinada orientación sexual.
A estos sistemas de alto riesgo (al igual que a otros que afecten a otros sectores), se les aplicará la normativa prevista en el Reglamento (UE) 2024/1689 que supedita su introducción y utilización en la Unión al cumplimiento de determinados requisitos obligatorios, los cuales deben garantizar que los sistemas de IA de alto riesgo no planteen riesgos inaceptables para aquellos intereses públicos importantes de la Unión, reconocidos y protegidos por nuestro derecho comunitario.
Para mitigar estos riesgos, la normativa europea exige requisitos estrictos antes de su implementación, garantizando transparencia, equidad y supervisión humana. Sin este marco regulador, la IA podría convertirse en un filtro que refuerce desigualdades en lugar de una herramienta para democratizar el conocimiento.
