Huang Ronghuai y colaboradores | Orientaciones éticas y gobernanza de riesgos para la educación inteligente

Artículo histórico de investigación | Autores: Huang Ronghuai, Zhang Guoliang y Liu Mengyu. Modern Educational Technology, 2024, volumen 34, número 2, páginas 13–22; publicado por la Cátedra el 30 de septiembre de 2024. Descripciones, juicios y propuestas conservan el contexto del estudio y no expresan política vigente ni eficacia garantizada de productos.

Contenido del artículo

Resumen y palabras clave

Resumen: La integración de las tecnologías inteligentes en todo el proceso educativo transforma la educación, pero también genera riesgos éticos como discriminación algorítmica, usos indebidos, filtraciones de privacidad y desplazamiento de los papeles de los participantes. Evitar estos riesgos y aprovechar los beneficios tecnológicos es una cuestión central para la educación inteligente. El artículo analiza primero informes sobre ética tecnológica y distingue cuatro dimensiones: tecnología inteligente, participantes educativos, datos y supervisión educativa. Después examina manifestaciones diferenciadas del riesgo en seis escenarios—enseñanza, aprendizaje, gestión, evaluación, formación práctica e investigación—y atribuye sus causas a herramientas poco fiables, prácticas insuficientemente reguladas y carencias de alfabetización de docentes y estudiantes. Finalmente propone prevención y gobernanza mediante mejoras tecnológicas, gestión del riesgo, rendición de cuentas y supervisión, circulación de datos y desarrollo de competencias, para una educación inteligente saludable y sostenible.

Palabras clave: educación inteligente; tecnología inteligente; normas éticas; manifestaciones del riesgo; gobernanza del riesgo

Introducción

Además de transformar la educación, las tecnologías inteligentes plantean discriminación y opacidad algorítmicas, usos indebidos y dependencia, filtraciones de datos, dificultades en la comunicación afectiva y límites de autoridad poco claros[1][2]. Estas cuestiones suscitan atención en China y en otros países. Entre 2019 y 2021, la UNESCO publicó documentos como el Consenso de Beijing sobre la Inteligencia Artificial y la Educación y la Recomendación sobre la Ética de la Inteligencia Artificial[3][4], que promueven aplicaciones educativas éticas y sostenibles. Reducir los riesgos y orientar la tecnología al bien común son desafíos compartidos de la educación mundial[5].

Las aplicaciones educativas de la tecnología inteligente impulsan nuevas formas de educación. La educación inteligente, como fase avanzada del desarrollo digital educativo, concuerda con los objetivos de transformación digital; el uso ético de la tecnología caracteriza su práctica[6]. Los nuevos productos generan oportunidades y preocupación por los riesgos. Sin embargo, las normas éticas evolucionan más lentamente que las aplicaciones. La investigación se concentra en principios y análisis abstractos, sin un marco integral que trascienda la influencia de la propia tecnología[7], insuficiente para una educación con mayor riqueza técnica e integración sistémica. Responsables políticos, investigadores, profesionales, desarrolladores y otros actores comprenden estas normas de maneras distintas. Es necesario examinar sistemáticamente orientaciones, manifestaciones, causas y gobernanza, para conectar lo que debería orientar la práctica con sus dificultades reales y favorecer un desarrollo saludable y sostenible.

I. Orientaciones normativas: ética tecnológica para la educación inteligente

La ética se refiere a los principios morales de las relaciones humanas, incluidas las relaciones éticas objetivas y su regulación externa[8]. La ética tecnológica comprende valores y reglas sobre las relaciones de la tecnología con las personas y la sociedad durante su desarrollo y uso[9]. En 2017, el Consejo de Estado de China publicó el Plan de Desarrollo de la Nueva Generación de Inteligencia Artificial, que proponía aplicaciones en enseñanza, gestión y recursos y servicios personalizados para la educación cotidiana y permanente[10]. Al intervenir la tecnología en todo el proceso educativo, aumentan los riesgos. Aclarar las orientaciones normativas puede proporcionar comprensión compartida y principios de actuación.

1. Análisis de las orientaciones

Muchos países y organizaciones han publicado políticas e informes éticos para limitar efectos negativos. En educación, estos documentos en evolución ofrecen una base y una orientación prospectiva, pero los principios identificados suelen reproducir la lógica tecnológica general y atender insuficientemente a la dimensión educativa. El estudio revisa siete informes representativos de los cinco años anteriores y extrae sus preocupaciones mediante análisis de contenido, como muestra la tabla 1. Busca un modelo acorde con la naturaleza, los valores y las condiciones temporales del uso educativo. Identifica cuatro dimensiones centrales—tecnología inteligente, participantes, datos y supervisión educativa—que organizan los elementos y principios del modelo.

Tabla 1 en texto completo: siete informes

Las siete filas y tres columnas se ofrecen como texto seleccionable y legible en voz alta. Los títulos y principios usan el idioma de esta página; la imagen original permanece en chino.

Tabla 1. Análisis de contenido de informes sobre ética tecnológica en educación

Título del informe	Organismo emisor	Orientaciones éticas: elementos o principios
Consenso de Beijing sobre la Inteligencia Artificial y la Educación [11]	UNESCO	Control humano; enfoque centrado en las personas; evitar discriminación; igualdad de género; datos y algoritmos transparentes y auditables; inclusión y equidad; privacidad; seguridad; cooperación entre actores.
Inteligencia artificial en educación: desafíos y oportunidades para el desarrollo sostenible [12]	UNESCO	Inclusión y equidad en la IA educativa; sistemas de datos inclusivos y de calidad; justicia, ética y transparencia al recoger, usar y difundir datos, incluidas privacidad, seguridad y protección, explicabilidad y rendición de cuentas.
Inteligencia artificial fiable en educación: promesas y desafíos [13]	OCDE	Crear y mantener confianza mediante transparencia, explicabilidad y rendición de cuentas; garantizar que seguridad y protección de datos sirvan a valores centrados en las personas, incluida privacidad y otros tratamientos seguros.
IA y educación: orientaciones para responsables políticos [14]	UNESCO	Privacidad y confidencialidad; evitar sesgos y falta de explicabilidad; normas y supervisión para uso y reutilización justos, transparentes, no discriminatorios y auditables; inclusión y equidad educativas.
Marco ético para la IA en educación [15]	Universidad de Buckingham, Reino Unido	Logro de objetivos educativos; formas de evaluación; gestión y carga de trabajo; equidad; autonomía; privacidad; transparencia y rendición de cuentas; participación informada; diseño ético.
Inteligencia artificial y futuro de la enseñanza y el aprendizaje: perspectivas y recomendaciones [16]	Departamento de Educación de Estados Unidos, Oficina de Tecnología Educativa	Protección de la privacidad; seguridad de datos; enfoque centrado en las personas; equidad educativa; ética; transparencia; explicabilidad; rendición de cuentas.
IA generativa y futuro de la educación [17]	UNESCO	Priorizar equidad, calidad y seguridad; atender al sesgo de datos.

2. Construcción del modelo

A partir de la tabla 1, se propone el modelo de orientaciones éticas de la tecnología para la educación inteligente de la figura 1. Presenta de forma sistemática y estructurada las normas que deben considerar las aplicaciones educativas. Su finalidad es que una tecnología éticamente adecuada sirva a enseñanza, aprendizaje, gestión, evaluación, formación práctica e investigación.

Figura 1 en texto: cuatro dimensiones y trece principios

El centro identifica el modelo de orientaciones éticas para la educación inteligente. Cuatro dimensiones ocupan el anillo intermedio, rodeadas por trece principios; el perímetro conecta seis escenarios educativos.

• Tecnología inteligente
  • Explicabilidad
  • Exactitud
  • Seguridad
  • Estabilidad
• Participantes educativos
  • Equidad
  • Control
  • Dignidad humana
  • Protección de la privacidad
• Datos educativos
  • Seguridad de datos
  • Normas de datos
• Supervisión educativa
  • Rendición de cuentas
  • Supervisión
  • Gobernanza colaborativa

Seis escenarios de aplicación

1. Enseñanza
2. Aprendizaje
3. Gestión educativa
4. Evaluación educativa
5. Formación práctica
6. Investigación y producción de conocimiento

II. Manifestaciones del riesgo en escenarios de educación inteligente

La integración tecnológica ha creado aplicaciones como campus inteligentes y seguros, compañeros robóticos y formación mediante simulación virtual[18], y ha transformado enseñanza, aprendizaje, gestión, evaluación, práctica y producción de conocimiento. Pero su expansión genera riesgos. La educación es una actividad social compleja: sus tecnologías y prácticas son diversas y heterogéneas según el contexto. También difieren las manifestaciones éticas. El estudio examina dificultades reales en seis escenarios: enseñanza, aprendizaje, gestión, evaluación, formación práctica e investigación.

1. El uso indebido de robots altera la autoridad docente y los límites relacionales

La evolución desde la enseñanza asistida por ordenador y los tutores inteligentes hasta los robots ha desplazado la relación humano-máquina de la asistencia a la colaboración[19]. Introducir un robot convierte la relación docente-estudiante en docente-máquina-estudiante. Una integración inadecuada puede perjudicar aprendizaje y desarrollo emocional, así como el papel y la autoridad del profesorado. Los robots pueden debilitar o sustituir funciones del docente humano y reducir contacto y comunicación personales[20]. El alumnado puede depender más del profesor artificial, alterando las relaciones con docentes, iguales y máquinas. Los niños atribuyen características cognitivas, conductuales y emocionales humanas a los robots[21]. Estos son herramientas, pero también exhiben rasgos semejantes a los humanos, lo que complica sus funciones y límites. El informe COMEST sobre ética robótica señala que se difuminan fronteras entre sujeto humano y objeto tecnológico y pregunta si el robot debe ser tutor, herramienta o compañero y hasta dónde puede reemplazar al docente[22]. En el contexto histórico del artículo, la robótica educativa seguía en una etapa inicial, con limitaciones pedagógicas, de respuesta y percepción[23], además de problemas para atribuir responsabilidad moral y jurídica por conductas dañinas o descontroladas.

2. La discriminación algorítmica dificulta la personalización y el desarrollo integral

La demanda pasa de enseñanza estandarizada a aprendizaje personalizado y permanente, y los servicios avanzan hacia la atención individual[24]. Los sistemas inteligentes adaptan contenidos y recorridos a capacidades, estilos y otras características. Sin embargo, modelos discriminatorios y datos parciales o sesgados pueden tratar de modo diferente a las personas y generar prejuicios de capacidad, género o raza en recomendaciones y decisiones. Esto puede frustrar la personalización, polarizar resultados y agravar desigualdades. Las recomendaciones también crean burbujas informativas: al estrechar fuentes y recorridos según intereses, refuerzan ideas previas y perspectivas unilaterales. La tecnología puede así favorecer sesgos de valores y discriminación[25], perjudicando el desarrollo integral.

3. Una gestión deficiente de datos aumenta las filtraciones y el uso indebido

Los datos educativos incluyen información producida por la práctica o relacionada con ella, en un ciclo de generación, recogida, posesión y uso[26]. La recopilación y el análisis masivos entrañan intromisión, filtración y abuso. La videovigilancia inteligente, el registro facial de asistencia y la observación del aula reducen el espacio privado del alumnado y someten la actividad a vigilancia generalizada[27]. La información personal y académica puede verse amenazada por negligencia, accesos no autorizados, ataques y vulnerabilidades, con filtraciones o alteraciones que afectan a la seguridad informativa, física, psicológica y material. El artículo cita una investigación estadounidense de la Government Accountability Office de 2020 que documentó perjuicios para miles de estudiantes de educación escolar en 99 incidentes, con notas y registros de educación especial entre los datos expuestos habitualmente[28]. Las plataformas y aplicaciones pueden vender o explotar información privada para fines comerciales indebidos o decisiones sesgadas. Se mencionan también casos publicados por el Ministerio de Industria y Tecnología de la Información chino sobre aplicaciones y SDK que recababan datos de forma irregular o pedían permisos excesivos, y situaciones de fraude, robo de identidad o suplantación con datos estudiantiles.

4. Depender demasiado de la evaluación automática debilita el juicio y la equidad

Las decisiones del profesorado influyen en los resultados educativos[29]. Las herramientas basadas en datos analizan cognición, emociones y conducta, crean perfiles y ofrecen alertas, comentarios y recomendaciones. Ayudan a ajustar la docencia y a reducir trabajo repetitivo. Pero su automatización y eficiencia pueden fomentar dependencia excesiva de resultados y estrategias de la máquina. El docente puede convertirse en ejecutor mecánico, ignorando su experiencia, perdiendo sensibilidad al contexto y al estado emocional del alumnado y debilitando su autonomía como decisor[30]. Pueden sufrir la eficacia y el desarrollo profesional. La opacidad algorítmica y la falta de fiabilidad de modelos y datos también amenazan decisiones justas. Supuestos erróneos, información inexacta o falta de atención a diferencias y circunstancias especiales afectan a la precisión y credibilidad, distorsionan evaluaciones y recorridos y pueden frustrar al alumnado, producir trato injusto y perjudicar oportunidades futuras.

5. La inmersión virtual suscita preocupaciones sobre la conducta moral

La RV, RA y realidad mixta reducen costes de formación, fortalecen destrezas, evitan peligros de experimentos reales, superan barreras temporales y espaciales y hacen atractivo aprender. Su inmersión, presencia e interacción multisensorial también difuminan realidad y simulación. Los problemas éticos reales pueden reaparecer transformados y repercutir fuera del entorno virtual. Surgen cuestiones sobre vidas finitas o repetibles y dignidad de los participantes. La falta de supervisión de acciones y consecuencias puede debilitar el autocontrol moral. Avatares, agentes y relaciones virtuales amplían interacciones, pero la identidad simulada puede favorecer descortesía o nuevas formas de acoso. Identificarse con rasgos ideales del avatar puede influir en cogniciones, actitudes y conductas reales[31]. La experiencia de flujo en juegos educativos de RV puede implicar transferencia afectiva hacia objetos y pérdida del sentido de identidad, mientras que el exceso favorece dependencia conductual y adicción tecnológica[32]. El artículo también señala la inmadurez de productos y tecnologías en su época: las diferencias de parámetros entre simulación y realidad pueden generar errores de memoria factual o interpretación de la experiencia práctica[33]. La RV puede provocar mareo por movimiento y riesgos físicos para docentes y estudiantes.

6. El uso indebido de IA generativa puede facilitar trampas y debilitar la creatividad

Grandes modelos como ChatGPT reúnen, procesan y generan recursos personalizados[34], pero sus contenidos pueden contener errores factuales, engaño y falsedades convincentes. Un uso sin límites razonables puede favorecer trampas académicas y pérdida de creatividad. La dependencia para tareas e investigación puede incentivar atajos y mala conducta; recurrir demasiado a materiales recomendados puede sustituir indagación y pensamiento independiente y debilitar aprendizaje, pensamiento crítico y creatividad. El artículo menciona la atención prestada entonces a estos riesgos, incluido DetectGPT, desarrollado por investigadores de Stanford para ayudar a identificar escritura generada por modelos. También señala que la Administración del Ciberespacio de China[35] publicó en julio de 2023 las Medidas Provisionales para la Gestión de los Servicios de Inteligencia Artificial Generativa, que exigían medidas eficaces para prevenir la dependencia excesiva o adicción de menores.

III. Causas de los riesgos éticos en las aplicaciones educativas

Al ampliarse los escenarios de uso de tecnología inteligente se intensifica la colaboración humano-máquina. Desde la perspectiva de compartir enseñanza y educación, el estudio sitúa las causas en tres dimensiones: herramientas tecnológicas, práctica educativa y alfabetización de docentes y estudiantes.

1. Herramientas tecnológicas poco fiables

2. Prácticas educativas insuficientemente reguladas

3. Carencias de alfabetización de docentes y estudiantes

IV. Propuestas de actuación para gobernar los riesgos éticos

Sobre la base del análisis causal, se proponen medidas de prevención y gobernanza para un desarrollo armónico de participantes, tecnologías y prácticas y una transición integral hacia la educación inteligente.

1. Mejorar la usabilidad de los productos educativos inteligentes

2. Reforzar la gestión del riesgo al introducir tecnología

3. Establecer protección de datos, rendición de cuentas y supervisión

4. Garantizar flujos ordenados entre sistemas educativos

Los sistemas necesitan estándares y mecanismos de intercambio para una circulación saludable. Los estándares son la base y los acuerdos de participación garantizan orden. La interoperabilidad y el análisis integrado requieren formatos comunes y colaboración entre departamentos. Aunque abundan los datos básicos, muchos sistemas se diseñan solo para necesidades internas o administrativas verticales. Las diferencias de codificación, formato y calidad obstaculizan integrar fuentes; procedimientos complejos entre niveles aumentan costes y riesgos[39]. Normalizar mediante criterios comunes y múltiples usos de una fuente autorizada ayuda a combinar protección e intercambio seguro.

5. Desarrollar la competencia digital de docentes y estudiantes

Referencias

Los 39 números de cita corresponden a 37 entradas: [3]/[11] y [19]/[36] comparten respectivamente una referencia. Cada número tiene destino. Se conservan las lenguas originales, se restauran enlaces y DOI verificables y se corrigen Buckingham y Paris. Las lecturas editoriales añadidas no se presentan como bibliografía original.

1. [1]杜静,黄荣怀,李政璇,等.智能教育时代下人工智能伦理的内涵与建构原则[J].电化教育研究,2019,(7):21-29.
2. [2]胡小勇,黄婕,林梓柔,等.教育人工智能伦理:内涵框架、认知现状与风险规避[J].现代远程教育研究,2022,(2):21-28、36.
3. [3][11]UNESCO. Beijing consensus on artificial intelligence and education[OL].

   https://unesdoc.unesco.org/ark:/48223/pf0000368303.locale=zh

4. [4]UNESCO. Recommendation on the ethics of artificial intelligence[OL].

   https://www.unesco.org/en/artificial-intelligence/recommendation-ethics

5. [5]白钧溢,于伟.超越“共识”:教育人工智能伦理原则构建的发展方向[J].中国电化教育,2023,(6):9-17、24.
6. [6]黄荣怀,刘梦彧,刘嘉豪,等.智慧教育之“为何”与“何为”——关于智能时代教育的表现性与建构性特征分析[J].电化教育研究,2023,(1):5-12、35.
7. [7]张永波.智慧教育伦理观的建构机理研究[J].中国电化教育,2020,(3):49-55、92.
8. [8]李建华.伦理与道德的互释及其侧向[J].武汉大学学报(哲学社会科学版),2020,(3):59-70.
9. [9]赵磊磊,张黎,代蕊华.教育人工智能伦理:基本向度与风险消解[J].现代远距离教育,2021,(5):73-80.
10. [10]国务院.国务院关于印发新一代人工智能发展规划的通知[OL].

    https://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm

11. [12]UNESCO. Artificial intelligence in education: Challenges and opportunities for sustainable development[OL].

    https://unesdoc.unesco.org/ark:/48223/pf0000366994

12. [13]OECD. Trustworthy artificial intelligence (AI) in education: Promises and challenges[OL].

    https://read.oecd-ilibrary.org/education/trustworthy-artificial-intelligence-ai-in-education_a6c90fa9-en

13. [14]UNESCO. AI and education: guidance for policy-makers[OL].

    https://unesdoc.unesco.org/ark:/48223/pf0000376709

14. [15]The University of Buckingham. The ethical framework for AI in education[OL].

    https://www.buckingham.ac.uk/research/research-in-applied-computing/the-institute-for-ethical-ai-in-education

15. [16]U.S. Department of Education, Office of Educational Technology. Artificial intelligence and the future of teaching and learning[OL].

    https://www2.ed.gov/documents/ai-report/ai-report.pdf

16. [17]UNESCO. Generative AI and the future of education[OL].

    https://unesdoc.unesco.org/ark:/48223/pf0000385877

17. [18]杨俊锋,施高俊,庄榕霞,等.5G+智慧教育:基于智能技术的教育变革[J].中国电化教育,2021,(4):1-7.
18. [19][36]黄荣怀,刘德建,阿罕默德·提利利,等.人机协同教学:基于虚拟化身、数字孪生和教育机器人场景的路径设计[J].开放教育研究,2023,(6):4-14.
19. [20]Sharkey A J C. Should we welcome robot teachers?[J]. Ethics and Information Technology, 2016,18:283-297.

    https://doi.org/10.1007/s10676-016-9387-z

20. [21]Beran T N, Ramirez-Serrano A, Kuzyk R, et al. Understanding how children understand robots: Perceived animism in child-robot interaction[J]. International Journal Human-Computer Studies, 2011,(7-8):539-550.

    https://doi.org/10.1016/j.ijhcs.2011.04.003

21. [22]UNESCO, COMEST. Report of COMEST on robotics ethics[R]. Paris: UNESCO, 2017:33.
22. [23]卢宇,薛天琪,陈鹏鹤,等.智能教育机器人系统构建及关键技术——以“智慧学伴”机器人为例[J].开放教育研究,2020,(2):83-91.
23. [24]黄荣怀,刘德建,焦艳丽,等.互联网教育服务产业研究报告[R].北京:互联网智能技术及应用国家工程实验室,2017:4.
24. [25]韦妙,何舟洋.本体、认识与价值:智能教育的技术伦理风险隐忧与治理进路[J].现代远距离教育,2022,(1):75-82.
25. [26]刘三女牙,杨宗凯,李卿.教育数据伦理:大数据时代教育的新挑战[J].教育研究,2017,(4):15-20.
26. [27]孙立会.人工智能之于教育决策的主体性信任危机及其规避[J].电化教育研究,2023,(3):21-27、43.
27. [28]United States Government Accountability Office. Data security: Recent K-12 data breaches show that students are vulnerable to harm[OL].

    https://www.gao.gov/products/gao-20-644

28. [29]沈书生.聚焦学习决策:指向认知发生的数据及其应用[J].电化教育研究,2021,(11):13-19.
29. [30]蒋艳双,崔璨,刘嘉豪,等.教育领域中的情感计算技术:应用隐忧、生成机制与实践规约[J].中国电化教育,2022,(5):91-98.
30. [31]高媛,刘德建,黄真真,等.虚拟现实技术促进学习的核心要素及其挑战[J].电化教育研究,2016,(10):77-87、103.
31. [32]孙田琳子.虚拟现实教育应用的伦理反思——基于伯格曼技术哲学视角[J].电化教育研究,2020,(9):48-54.
32. [33]沈阳,逯行,曾海军.虚拟现实:教育技术发展的新篇章——访中国工程院院士赵沁平教授[J].电化教育研究,2020,(1):5-9.
33. [34]吴砥,李环,陈旭.人工智能通用大模型教育应用影响探析[J].开放教育研究,2023,(2):19-25、45.
34. [35]中国网信网.生成式人工智能服务管理暂行办法[OL].

    https://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm

35. [37]张誉元,张海.数据生命周期视阈下教育数据伦理问题及规约之径[J].中国电化教育,2022,(10):118-125.
36. [38]赵磊磊,陈祥梅.数智时代教育大数据风险:表征样态与化解路向[J].贵州师范大学学报(社会科学版),2022,(2):72-82.
37. [39]杨琳,王炜,诸纪,等.面向数据共享的教育数据标准体系研究与建设实践[J].大数据,2020,(6):3-13.

Fuente de la revista y nota editorial

Artículo citado: 黄荣怀,张国良,刘梦彧.面向智慧教育的技术伦理取向与风险规约[J].现代教育技术,2024,34(02):13-22.

Fuente | Modern Educational Technology (现代教育技术)

Elaborado a partir de Modern Educational Technology, 2024, volumen 34, número 2, páginas 13–22. La tabla 1 y la figura 1 proceden de la revista y cuentan con alternativas textuales. Las traducciones del sitio facilitan el intercambio académico; consulte la revista para los argumentos, imágenes y citas originales.

• Página oficial del artículo
• DOI del artículo
• Visor oficial del PDF (10 páginas, unos 1,1 MB)