Navigation – Plan du site

AccueilNuméros16VariaAprender sobre la Inteligencia Ar...

Varia

Aprender sobre la Inteligencia Artificial desde una perspectiva ética

Apprendre sur l’Intelligence Artificielle d’un point de vue éthique
Learn about Artificial Intelligence from an Ethical Perspective
Miriam Herrera-Aguilar

Résumés

L’objectif de cette étude est d’identifier quelles connaissances sur l’Intelligence Artificielle et quels problèmes dans ce domaine sont à intégrer, d’un point de vue éthique, dans l’éducation aux médias et aux technologies de l’information et de la communication. Théoriquement, le travail se soutient sur l’éducommunication et l’éthique appliquée. A partir d’une approche qualitative, nous menons une analyse documentaire à travers d’une méthodologie heuristique-herméneutique. Les résultats montrent que les compétences à développer dans une alphabétisation de l’intelligence artificielle, en construction, devraient découler des participants ; cependant, les connaissances et la compréhension de l’intelligence humaine et de l’IA, ainsi que l’adoption du principe éthique de respect, de protection et de promotion des Droits de l’Homme, sont significatifs à cet égard.

Haut de page

Texte intégral

De la necesidad de abordar la IA desde una perspectiva ética

1Las denominadas tecnologías digitales de la información y de la comunicación (TDIC), incluida la Inteligencia Artificial (IA), influyen en los diferentes sectores de la sociedad contemporánea. Lo anterior de manera directa, cuando las dinámicas cotidianas –domésticas, laborales, escolares, sociales y/o de esparcimiento– están permeadas por la presencia y uso de tales tecnologías; o de manera indirecta, cuando la vida diaria se ve alterada colateralmente por sus efectos o, simplemente, está excluida al respecto.

2En esta línea, mientras por un lado, la empresa Corning, en sus múltiples videos publicitarios, que ponen en relieve la utilidad del vidrio en las interfaces de las tecnologías digitales, expone un presente y un futuro permeado por “la comunicación, la colaboración y la conectividad, […promete] mejorar la forma en que interactuamos, trabajamos, aprendemos y vivimos, así como hacer realidad las pantallas del futuro” (Corning Incorporated, 2013, 2023), legitima la vía por la que la ciencia y la tecnología avanzan, al tiempo que ostenta una influencia directa de las TDIC en la cotidianidad.

3Por otro lado, Silver y García Bernal (2011), a través del documental Los invisibles, muestran cómo miles de migrantes centroamericanos, motivados por salir de la pobreza e inseguridad que viven en sus países, inician un viaje hacia Estados Unidos de Norteamérica; en su travesía, a pesar de la expectativa de mejorar su vida, son víctimas de violencia en sus diferentes tipos y grados, incluido el asesinato. Las experiencias de quienes ofrecen su testimonio en este documental sustentan lo que el Padre Alejandro Solalinde Guerra señala: “el sistema neoliberal capitalista en que vivimos está agotado… y no garantiza ni la vida de las personas en sus lugares de origen, pero mucho menos, el crecimiento, el desarrollo al que todos tenemos derecho” (en Silver y García Bernal, 2011, 18’49’’-19’11’’). Paradójicamente, en la travesía por hacer valer sus derechos humanos, los migrantes ven transgredido el de base: “todo individuo tiene derecho a la vida, a la libertad y a la seguridad de su persona” (Unesco, 1948, p. 2), entre otros. El fenómeno migratorio –tanto al interior de América, como el que se da entre África y Europa– es sólo un ejemplo de las desigualdades sociales del mundo; para los migrantes, la influencia del desarrollo de las TDIC se da de manera indirecta, altera su cotidianidad colateralmente o los excluye.

4Aunado a lo anterior, múltiples discursos provenientes tanto de los distintos medios de información y de comunicación –prensa, literatura, radio, cine, televisión, internet– y sus inevitables convergencias, como de la ciencia misma, proyectan variadas representaciones alrededor del avance científico tecnológico; al tiempo que alimentan filias y fobias en distintos grados.

5Estas primeras reflexiones revelan, en cierta medida, la complejidad que encierra la sociedad actual frente al progreso de la ciencia y la tecnología. En lo que respecta a la Inteligencia Artificial, enmarcada en un acelerado desarrollo, su amplio alcance real y virtual –en el sentido filosófico del término (Lévy, 1997)–, sus múltiples interpretaciones y variadas definiciones, la gran diversidad de sus aplicaciones, así como en los desafíos, sociales, ambientales y éticos que enfrenta (Herrera-Aguilar, 2022; Miao & Holmes, 2021; Miao, 2022; Stahl et al., 2023; Unesco, 2019, Verbeek & Parizeau, 2019), se ubica actualmente como un campo de interés científico-técnico, social y cultural, abordable desde una perspectiva trans, multi o interdisciplinar.

6En lo que concierne a la dupla Educación-TDIC, como se ha dejado ver en un trabajo anterior, existen acuerdos internacionales, regionales y nacionales encaminados a aprovechar tales tecnologías, pedagógica y didácticamente, en los diferentes niveles educativos, desde una concepción humanista de la educación y una postura ética. Tanto desde organizaciones internacionales gubernamentales y no gubernamentales, como desde la academia, se han identificado diferentes ejes para integrar la Inteligencia Artificial, de manera crítica e innovadora, en los programas educativos; a saber:

a) definir y comprender la inteligencia humana (Romero, 2018) para comprender la IA; b) aprender sobre la IA, sus tecnologías y sus técnicas; c) prepararse para la IA, al comprender su impacto potencial sobre la vida humana (UNESCO, 2019b); d) desarrollar un enfoque crítico y creativo de lo digital a través de un pensamiento informático (Romero, 2018); e) comprender que detrás del pensamiento informático hay un pensamiento matemático; y f) desarrollar una perspectiva responsable (Romero, 2018), crítica y ética ante la IA, sensible ante el otro y ante el contexto.” (Herrera-Aguilar, 2022, parr. 40)

7A sabiendas que tales ejes son interdependientes y al mismo tiempo vastos en su abordaje, este trabajo propone centrase principalmente en el último, en relación con el primero y el segundo. Tal elección se justifica en que el quehacer educativo de este siglo, en sus diferentes niveles y modalidades, está cada vez más inmerso en un uso intensivo de la informática, internet y distintos dispositivos tecnológicos, cuyas aplicaciones hacen presentes los sistemas de inteligencia artificial, sin necesariamente plantearse las cuestiones éticas subyacentes. Desde diferentes latitudes y campos, se manifiesta una clara necesidad de que los actores de la educación del siglo XXI se definan como ciudadanos digitales informados y responsables, conscientes de que la IA plantea muchas preocupaciones éticas, que van desde la brecha digital, el sesgo algorítmico, el deterioro del medio ambiente, la seguridad, su aplicación en la salud y la educación, entre otros (Aiken & Epstein, 2000; Karsenti, 2018; Romero, 2018; Stahl et al., 2023).

8En este marco, el objetivo del presente estudio es identificar qué conocimientos sobre la Inteligencia Artificial y qué problemáticas del campo son abordables, desde una perspectiva ética, en el marco de una educación para los medios y las tecnologías de la información y la comunicación.

9Teóricamente, este estudio se aborda desde las Ciencias Sociales y las Humanidades, a partir de una perspectiva interdisciplinar que integra, principalmente, a las ciencias de la comunicación, a las ciencias de la educación y a la filosofía.

10Por un lado, la educomunicación propone que una formación para y con los medios, tradicionales y digitales, así como las distintas alfabetizaciones que de ella se derivan, se encamina a proporcionar herramientas a los individuos –niños, jóvenes y adultos–, tanto para hacer usos esclarecidos de los medios y las tecnologías, como para entender sus contenidos, no como una ventana al mundo, sino como mensajes que representan al mundo, construidos, no necesariamente de forma transparente. Si bien tal práctica educomunicativa no deja de actualizarse, dados los constantes cambios que se dan en el ecosistema mediático, invariablemente integra una dimensión instrumental y una cognitiva, lo que supone usuarios activos, que usan y, eventualmente, se apropian de los medios, al tiempo que dominan las ideas y desarrollan un pensamiento crítico. Su puesta en marcha en contextos formales, no formales e informales, encaminada a satisfacer “diferentes tipos de necesidades” en los distintos ámbitos de la vida de los individuos, permite incluirla en una educación a lo largo de la vida (Herrera-Aguilar, 2023; Labardens-Corroy, 2015).

11Por otro lado, desde las propuestas de Cortina (1999), se entiende a la ética aplicada como orientadora de decisiones y acciones; pero se asume que “un solo modelo de ética es impotente para orientar las decisiones de los mundos político y económico, médico, ecológico o, simplemente, la convivencia ciudadana” (p. 128); de ahí que plantee trabajar de manera interdisciplinar con especialistas de cada campo para identificar qué principios de alcance medio y qué valores se perfilan en el mismo, así como la manera en que éstos deben aplicarse en los distintos contextos. En la misma línea, compartimos las reflexiones hechas desde la UNESCO (1999) para entender que:

La ética, por su naturaleza, no es absoluta sino relativa: hacer lo que está ‘bien’ depende de los términos en que se plantee cualquier asunto. La ética es para nosotros un medio de sopesar y evaluar diferentes alternativas, opciones y elecciones: es uno de los medios de edificar una sociedad democrática responsable. […] ¿Qué puede suceder si no se aplica una disciplina ética? ¿Puede una ciencia ajena a toda consideración ética servir en última instancia el bien común y beneficiar a la humanidad?” (pp. 4-5)

12Tal postura nos interpela y motiva a trabajar con convicción en el objetivo aquí planteado. En este sentido, para encaminarnos al cumplimiento del mismo, se echa mano de una perspectiva metodológica cualitativa, centrada en el análisis documental (Jensen, 2014). Los textos seleccionados son producto, por un lado, de investigaciones y reflexiones académicas interesadas en la relación TIC-IA-Educación-ética y, por otro, del quehacer intergubernamental que la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) ha hecho al respecto. Para su abordaje, se llevan a cabo los dos procesos identificados por Londoño Palacio, Maldonado Granados y Calderón Villafáñez (2014): a) el heurístico, que conforma la búsqueda, selección, organización y disposición de fuentes de información para un tratamiento racional; y b) el que corresponde a la dimensión hermenéutica, que permite la integración de la información a partir del análisis de los mensajes contenidos en las fuentes, y que muestra los conceptos básicos unificadores. En este caso, los aspectos de la Inteligencia Artificial son susceptibles de concretarse en aprendizajes y las problemáticas del campo abordables desde una perspectiva ética. Los resultados obtenidos se exponen enseguida.

Aprender sobre la IA para fortalecer un pensamiento crítico

13Frente al acelerado desarrollo de los sistemas de IA que se da en las últimas décadas, donde el umbral del nuevo milenio jugaría un rol simbólico importante para impulsar el logro de determinados objetivos en materia de avance tecnológico y entrar con un rostro renovado y vanguardista al año 2000, surgirán reflexiones socio-técnico-culturales, tanto en las organizaciones intergubernamentales, no gubernamentales y la academia, entre las que se encuentran las relacionadas con una postura ética ante tales avances. Dado que los progresos en la materia continúan avanzando, las preocupaciones al respecto siguen vigentes. Desarrollar una perspectiva responsable, crítica y ética ante los sistemas de inteligencia artificial requiere, como antecedente, conocimientos mínimos al respecto.

Comprender la inteligencia humana y la Inteligencia Artificial

14La IA tiene, al mismo tiempo, un lado fascinante, cautivador, esperanzador, al percibirla como el reflejo de la inteligencia humana, la nuestra, lo que lleva a ver todas sus promesas con buenos ojos, incluso si éstas no están lo suficientemente fundadas; pero también revela un lado incómodo, que parece estar fundamentado en el miedo, los riesgos y los desafíos que implica, así como el rechazo a ser comparado con una máquina (Farine, 1992; Romero, 2018). Incluso influyentes intelectuales, como Stephen Hawking, expresaron el temor de que la IA se convierta en una amenaza para la supervivencia de la humanidad, en la medida en que podría controlar muchos de los aspectos de nuestras vidas cotidianas y de la organización de la sociedad (Verbeek & Parizeau, 2019).

15En este contexto, la investigación en IA deja ver con mayor claridad las dificultades y los obstáculos ante la concreción de ciertas expectativas planteadas al respecto; lo que permite apreciar la brecha entre los modelos teóricos y los logros tangibles, así como evaluar en su justa medida sus promesas (Bostrom & Yudkowsky, 2014; Farine, 1992). Los resultados de tales pesquisas son insumos para concretar lo que podemos denominar una “alfabetización en Inteligencia Artificial” (Miao, 2022, p. 10) en espacios educativos formales, no formales e informales.

16En lo que respecta al desarrollo de la IA, si bien se identifica a varios precursores, como el británico Alan Turing, cuando en 1950 propone una primera máquina que presenta un comportamiento inteligente –desde una perspectiva conductista–, así como los norteamericanos John MacCarthy, Marvin Minsky, Allen Newell, Herbert Simons, Nathaniel Rochester y Claude Shannon, que acuñan la expresión Inteligencia Artificial en el Dartmouth College, en 1956, al tiempo que se propone desarrollar un nuevo lenguaje de programación de alto nivel para dotar de inteligencia a las máquinas, será Minsky a quien se reconozca como el padre de la IA, puesto que en 1961 elabora “un elenco de las funciones que debería cumplir una machina sapiens” (Gubern, 2000; León Rodríguez & Viña Brito, 2017; Moreno Padilla, 2019; Romero, 2018).

17En esta línea, a mediados de los años ochenta del siglo pasado, Minsky (1986) define el cerebro humano como una máquina compleja, resultado de una larga evolución, una suma de agentes que, en interacción, forman lo que llamamos mente y precisa que, en ese momento, la comprensión de las relaciones entre tales agentes escapa a la ciencia. Agrega que el cerebro es mucho más avanzado en comparación con las máquinas inteligentes artificialmente, mismas que cuentan pocas décadas de antigüedad. Sin embargo, señala que, en algún momento, será posible apreciar la combinación de corrientes eléctricas y sustancias químicas que constituye lo que se denomina inteligencia y que, con la ayuda de redes de ordenadores que funcionan en paralelo, la IA realizará funciones equivalentes a ésta; que es sólo cuestión de tiempo.

18En la misma época, Callatay (1986; en Farine, 1992), quien se interesa en el cerebro-máquina, sostiene que la noción de evaluación, así como las facultades de juicio y autosuficiencia no están definidas en los ordenadores, aunque considera que pueden ser aplicadas a un robot; sin embargo, admite que cuanto más se estudia la inteligencia natural, más impresiona su superioridad sobre los métodos de IA actuales en ese momento, especialmente en el ámbito de la recuperación de información, el aprendizaje y el descubrimiento de nuevos conceptos. Al mismo tiempo, Winograd y Flores (1986; en Farine, 1992), expertos en IA en el Massachusetts Institute of Technology (MIT), postulan que es imposible construir máquinas que exhiban o modelen exitosamente un comportamiento inteligente.

19Por su parte, con base en la Física, desde 1990, Penrose (en Farine, 1992) rechaza la posibilidad de una IA y se declara convencido de que la computadora u ordenador jamás podrá reproducir la mente humana: “en su estado actual, ni la mecánica clásica, ni la mecánica cuántica, pueden explicar la manera en que pensamos; parece que un ingrediente no algorítmico se alberga en nuestro cerebro y determina el proceso consciente de nuestra mente… la inteligencia es subsidiaria a la consciencia” (Penrose, 1990; citado por Farine 1992, p. 201).

20Como se observa, tanto las expectativas como las incredulidades ante la IA se relacionan ampliamente con el significado que se le da a la inteligencia en sí. De acuerdo con Farine (1992), quienes creen en una IA la entienden cómo sinónimo de cálculo e ignoran su conexión con la conciencia de las cosas que subyace en todos los actos inteligentes, cualidad de la que carece la máquina. En la misma línea, Romero (2018) observa que, si consideramos la inteligencia como la capacidad de crear soluciones que tienen valor en un contexto sociocultural determinado, bajo un enfoque diverso y dinámico, es difícil considerar que un sistema, por muy adaptable que sea y alimentado masivamente con datos que esté, pueda emitir un juicio metacognitivo sobre su proceso y los resultados del mismo, así como engendrar una perspectiva socio-cultural.

21Según Farine (1992), el ordenador es un simple operador de directivas codificadas por el programador, si un dato está incompleto o una instrucción está mal formulada, se equivoca; toda la trayectoria de las máquinas es algorítmica. En cambio, el ser humano actúa por intuición, por percepción del conjunto, incluso antes de pasar al detalle; aunado a ello, la IA no podrá alcanzar la capacidad emocional, sentir pena o placer, del ser humano.

22Hoy en día, los avances en el campo permiten a las máquinas inteligentes demostrar capacidades de aprendizaje comparables a las humanas, con mecanismos de autorrelación y autocorrección, gracias a los algoritmos de machine learning o deep learning, que utilizan redes neuronales que imitan el funcionamiento del cerebro humano. Así, su potencia de cálculo ha logrado tal nivel que permite la ejecución de algoritmos de una gran complejidad y el tratamiento de big data, gigantescas masas de datos que nutren a los sistemas de IA y pueden servir al aprendizaje automático (Verbeek & Parizeau, 2019). Como se observa, la IA ha avanzado el la capacidad de recuperación de información y de aprendizaje, pero aún quedan muchas expectativas por alcanzar; la consciencia, el juicio metacognitivo, la perspectiva sociocultural y la ética son algunas de ellas.

23Con base en lo anterior y los planteamientos de Romero (2018), la propuesta es que los actores de la educación trabajen en afinar las competencias humanas clave: el pensamiento crítico, la creatividad y la participación; lo que permite desmitificar la informática y la IA. Al mismo tiempo, habrá que tener presente una exigencia ética y adoptar una actitud esclarecida ante la tecnología: aceptar o rechazar las herramientas que ofrece en las actividades personales, sociales o profesionales. Propone que, antes de preocuparnos por nuestras competencias frente a las presuposiciones del mundo de la Inteligencia Artificial, habrá que atender la necesidad de reforzar el desarrollo humano, tanto lo que concierne a las actitudes –tolerancia a la ambigüedad, tolerancia al error, toma de riesgos–, como en relación al saber y a las tecnologías.

24Otro de los aspectos que abonan a tener un uso esclarecido de la IA en el contexto educativo, es comprender dónde está. Al respecto, tomando en cuenta los aportes de Marquès Graells (1996), se puntualiza que la estructura básica de los programas que cotidianamente manejamos, incluidos los educativos, integran tres módulos principales en los que la IA juega un rol: a) El entorno de comunicación o interfaz, a través del cual se da un intercambio de información entre programas y usuarios, lo que posibilita la interactividad; como por ejemplo, pantallas –táctiles o no–, teclado, ratón o touchpad y otros periféricos (micrófonos, altavoces, sintetizadores de voz, lápices ópticos, robots, módems); mismos que, con técnicas de Inteligencia Artificial y tecnologías multimedia, proyectan entornos de comunicación cada vez más intuitivos y capaces de generar un diálogo abierto y próximo al lenguaje natural. b) Las bases de datos. 3) El motor o algoritmo del programa que, en función de las acciones de los usuarios, gestiona las secuencias en que se presenta la información de las bases de datos y las actividades que se pueden realizar; de entre ellos (lineal, ramificado, etc.), destaca el tipo sistema experto, que permite un intercambio inteligente y libre entre la máquina y el usuario; cuyo desarrollo está ampliamente ligado con los avances de la Inteligencia Artificial.

25En este marco, la propuesta es crear espacios en los contextos educativos parar abordar conocimientos acerca de la inteligencia humana y la Inteligencia Artificial y ofrecer claridad en sus posibilidades, trabajar en las competencias humanas clave, como el pensamiento crítico, la creatividad y la participación, así como para identificar qué actividades y artefactos de nuestra cotidianidad están acompañados o condicionados por la IA en sus diferentes tipos.

Desarrollar una perspectiva ética ante la IA en el contexto educativo

26Las posturas éticas ante la Inteligencia Artificial aparecen en la literatura de ciencia ficción incluso antes de las reflexiones científicas que le dan nombre a mediados del siglo pasado. La tres reglas fundamentales de la robótica, dadas a conocer por Asimov (1968 [1940]) a través de los personajes Gregory Powell y Mike Donovan en I, Robot, pondrán por delante el valor del ser humano frente al de los autómatas: 1) Un robot no puede dañar a un ser humano o, por inacción, permitir que un ser humano sufra daños. 2) Un robot debe obedecer las órdenes que le den los seres humanos, excepto cuando tales órdenes entren en conflicto con la primera ley. 3) Un robot debe proteger su propia existencia siempre y cuando tal protección no entre en conflicto con la primera y la segunda ley.

27Aunque derivados de un mundo ficticio, estos principios permearán en gran medida el imaginario de la sociedad frente a la denominada Inteligencia Artificial y a las TIC en general. Al respecto, Moor (1998; en Aiken & Epstein, 2000, p. 257) insiste en la necesidad de fundar la ética de la informática con base en los valores universales fundamentales; a saber, el derecho a la vida, a la felicidad, a la libertad, al conocimiento, al pleno ejercicio de sus capacidades, al acceso a los recursos y a la seguridad; incluso desarrolla una teoría de la vida privada alrededor del valor fundamental de la seguridad.

28Por su parte, la UNESCO, principal organización internacional en materia de cooperación en los campos de la comunicación, la información y la informática, organiza la International Expert Meeting on Legal and Ethical Issues of Acces to Electronic en julio de 1995, donde surge la recomendación de organizar un Congreso Internacional sobre aspectos éticos, jurídicos y societales de la información digital. Así, un primer congreso INFOética se lleva a cabo en 1997 y dentro de sus objetivos está “definir los problemas éticos que requieren atención internacional, relacionados con la producción de la información multimedia digitalizada en las autopistas mundiales de la información, el acceso a ella, su difusión, preservación y utilización” (UNESCO, 1997, p. 3). A éste le seguirán el Segundo y Tercer Congreso Internacional Los desafíos éticos, jurídicos y societales del ciberespacio, INFOética 1998 e INFOética 2000.

29Desde el primer congreso, algunos participantes ya ponen el acento en la brecha digital que se refleja tanto entre la población de diferentes países como la que se da a nivel internacional entre las distintas naciones (Kulikowski, 1997); se preguntan sobre los efectos de la mundialización de los intercambios comerciales de las industrias de la comunicación y la información en las culturas y las identidades nacionales (Ramonet, 1997); e identifican que la falta de exigencias de seguridad en la red, mediante la tecnología o la ley, incrementa las amenazas contra personas, empresas, organismos gubernamentales y organizaciones, haciendo que la “sociedad de la información” esté más orientada al riesgo (Brunnstein, 1997). Se refleja, entonces, la necesidad de proponer una ética de las autopistas de la información integrada por un conjunto de reglas generales centradas en intereses comunes, aceptadas, para evitar un estado de anarquía en lo que atañe a la información (Kulikowski, 1997).

30En este marco, entre 1997 y 1998 se crea la Comisión mundial de ética de los conocimientos científicos y la tecnología (COMEST), misma que congrega a representantes de Estados Miembros, de organizaciones internacionales, intergubernamentales o no gubernamentales, de academias de ciencias y de universidades. Su primera reunión, realizada en 1999, estuvo dedicada a analizar los desafíos éticos relacionados con la utilización de las fuentes de energía y la gestión de los recursos de agua dulce, con la sociedad de la información –en el sentido de examinar las transformaciones que se producen en nuestras sociedades en torno a la imagen y la información –, con las cuestiones relativas al espacio exterior a la atmósfera –con el mandato de preparar un informe sobre las implicaciones éticas de las actividades espaciales–, así como con los derechos y las libertades de los científicos. Tales compromisos buscan, entre otras cosas, abonar a reforzar la confianza del público en relación con los avances científicos y sus aplicaciones tecnológicas, ya que la COMEST tiene la posibilidad de actuar como mediadora entre el gran público y el mundo científico (UNESCO, 1999, p. 2).

31En lo que concierne al ámbito educativo, específicamente, en 2019 se firma el Consenso de Beijing sobre la Inteligencia Artificial y la educación, donde se reconoce la complejidad y el rápido desarrollo del campo de la Inteligencia Artificial de la mano con los desafíos éticos que plantea, se reafirma “un enfoque humanista respecto de la utilización de la IA con miras a proteger los derechos humanos y a proporcionar a todas las personas los valores y las competencias necesarios para una colaboración eficaz entre el ser humano y la máquina en la vida, el aprendizaje y el trabajo, y para el desarrollo sostenible” (UNESCO, 2019, p. 30).

32En la misma línea, la Unidad de Tecnología e Inteligencia Artificial en la Educación de la UNESCO, realiza el informe K-12 AI curricula: a mapping of government-endorsed AI curricula en 2022, donde se plantea una serie de consideraciones éticas, desde elementos propios de la IA, como ciertos problemas sobre su explicabilidad y transparencia, hasta los que se derivan de su aplicación en los diversos ámbitos de la vida social y cultural, incluida la educación (Miao, 2022, p. 10).

33Por su parte, el Synthesis Report of the UNESCO International Forum on AI and the Futures of Education under the theme of Developing Competencies for the AI Era señala que los ciudadanos de todo el mundo necesitan comprender cuál puede ser el impacto de la IA, qué puede y qué no puede hacer, cuándo es útil, cuándo debería cuestionarse su uso y cómo podría orientarse hacia el bien público; lo anterior requiere que las personas alcancen ciertas competencias en relación a la IA: conocimientos, comprensión, habilidades y orientación de valores (Miao & Holmes, 2021); lo que puede denominarse “alfabetización en IA”.

34En busca de ofrecer un marco al alcance, la estructura y sus principales categorías, la UNESCO propone que esta emergente alfabetización comprenda “tanto la alfabetización en datos, es decir, la capacidad de entender de qué manera la IA recolecta, depura, manipula y analiza los datos; como la alfabetización en algoritmos, o sea, la capacidad de entender de qué modo los algoritmos de IA encuentran patrones y conexiones entre los datos, los cuales pueden ser utilizados para las interacciones hombre-máquina” (Miao, 2022, p. 12). Aunado a lo anterior, con base en Long y Magerko (2020; en Miao, 2022), se presenta una lista, no exhaustiva pero significativa, de 17 competencias:

reconocer la IA, comprender la inteligencia, interdisciplinariedad, IA general versus IA débil, identificación de debilidades y fortalezas, imaginar la IA del futuro, comprender qué es una representación, toma de decisiones, pasos del aprendizaje automático (AA), el rol humano en la IA, alfabetización en datos, reconocer que las computadoras aprenden de los datos, interpretación crítica de datos, acción y reacción de la IA, sensores de la IA, ética en torno a la IA [identificar y describir diferentes perspectivas sobre las cuestiones éticas clave en torno a la IA: privacidad, empleo, desinformación, “singularidad” –que describe el punto en el que la IA se vuelve más inteligente que los humanos, y puede ir acompañada de la preocupación de que la misma dañe intencionadamente a los humanos–, toma de decisiones, diversidad, parcialidad, transparencia y responsabilidad] y programabilidad”. (Miao, 2022, p. 13)

35Sin dejar de tomar en cuenta el problema de la brecha digital, como se ha dejado ver, al margen de los conocimientos técnicos, los actores de la educación, de hoy y del futuro, se involucran con la IA en su vida personal, escolar y profesional, y algunos desde una temprana edad; por ello es necesario que los ciudadanos comprendan los desafíos éticos de la IA; “lo que se entiende por ‘IA ética’, conceptos como el uso transparente, auditable y justo de la IA, así como las vías de reparación en caso de uso no ético o ilegal de la IA; por ejemplo, si ella incluye sesgos perjudiciales o viola el derecho a la privacidad” (Miao, 2022, p. 33).

36En este marco, con base en distintas propuestas revisadas en este estudio, se proponen los siguiente principios, no exhaustivos, a ser desarrollados con urgencia en el ámbito educativo a la hora de aprender sobre la Inteligencia Artificial o trabajar con ella en los contextos educativos:

  • Respetar, proteger y promover los derechos humanos, las libertades fundamentales y la dignidad humana, con miras a contribuir al bienestar humano y social.

  • Desarrollarse con miras a mejorar la calidad de vida.

  • Evitar dañar al otro.

  • Respetar la privacidad de los demás.

  • Respetar la confidencialidad.

  • Ser honesto/a y digno/a de confianza.

  • Reconocer el valor de la propiedad intelectual.

  • Respetar la autonomía humana exigiendo un control humano constante.

  • Sensibilizar, educar y educarse de manera abierta y accesible en alfabetización mediática, informacional, digital y en IA (procurando una comprensión elemental de su funcionamiento), así como en materia de ética de la IA.

  • Abonar a una educación integral.

  • Proteger el planeta y el espacio ultraterrestre. (Aiken & Epstein, 2000; León Rodríguez & Viña Brito, 2017; Miao & Holmes, 2021; Miao, 2022; UNESCO, 2019; Verbeek & Parizeau, 2019)

37Aunado a lo anterior, Aiken y Epstein (2000) proponen dos metaprincipios fundamentales como premisas filosóficas de cualquier discusión alrededor de los sistemas de inteligencia artificial en el contexto educativo: 1) Un metaprincipio negativo: las tecnologías de la Inteligencia Artificial en la educación no deben, en ningún caso, sobrepasar al alumno o estudiante en ninguna de sus dimensiones fundamentales de ser humano. 2) Un metaprincipio positivo: las tecnologías de la Inteligencia Artificial en la educación deben permitir, a todo estudiante, incrementar sus capacidades en al menos una de sus dimensiones fundamentales de ser humano” (p. 257).

38El objetivo es poner en práctica un quehacer de enseñanza aprendizaje que utilice las TIC, incluida la IA, y que al mismo tiempo permita el florecimiento de la personalidad y no la esclerosis de las capacidades psicológicas, intelectuales, sociales, estéticas, éticas o físicas de los actores de la educación (Aiken & Epstein, 2000, p. 257). Así, enseguida se desarrollan dos problemáticas relacionadas con la presencia de la IA en el ámbito educativo, seguidas de algunas propuestas con base en los avances de este estudio que aún está en desarrollo.

De la pereza intelectual al plagio

39El plagio, en sus distintas acepciones, es un problema que ha marcado la historia de la humanidad (Aguilar Passano, 2019). Sin embargo, en lo que concierne al contexto académico, en todos sus niveles, la cuestión alrededor de la autoría y los derechos de autor se ha acentuado frente a la digitalización de la información en sus diferentes formatos y lenguajes. Aunado a lo anterior, Aiken & Epstein (2000) observan que “con el desarrollo de las tecnologías de inteligencia artificial, las cuestiones de ética y honestidad relacionadas con la propiedad intelectual se vuelven más complejas y sutiles” (p. 248).

40Copiar y pegar; descargar textos, sonidos, imágenes fijas y en movimiento; usar diferentes programas de edición para tales formatos; así como disponer de chat bots (programas informáticos que, con base en la Inteligencia Artificial, imitan la conversación humana, a través de texto o voz, alrededor de determinado tema y generan contenidos al respecto en diferentes formatos), son acciones que pueden coadyuvar a la realización de tareas originales con sus correspondientes referencias; sin embargo, las mismas operaciones permiten cometer plagio de manera sencilla, ya sea intencional o negligentemente.

41De acuerdo con Aiken y Epstein (2000), en la cultura anterior a la web, el plagio revelaba una deshonestidad intelectual importante. A principios de este milenio, estos autores señalan que muchos estudiantes ni siquiera tienen consciencia de que este acto constituye una forma de hacer trampa; mientras que otros, a pesar de saberlo, se apropian de información ajena. En esta línea, Karsenti (2018) señala que cada vez más universidades en el mundo hacen uso de programas –como Turnitin, Elservier, Plagiarisma, Duplichecker, etc.– que, con base en la IA, detectan el grado de plagio en los trabajos de los estudiantes. La cuestión, agregan Aiken y Epstein (2000), es trabajar para que el plagio, en cualquiera de sus modalidades, no sea una práctica normal.

42De manera prospectiva, desde principios del milenio, Aiken y Epstein (2000) gestionan un sitio web que propone guiones con dilemas éticos como parte de una alfabetización digital. Uno de sus escenarios futuristas describe, alrededor de 2028, un sistema de inteligencia artificial, lanzado al mercado por el New York Times, capaz de redactar, frente a un determinado tipo de libro, una reseña literaria al estilo de una publicación periódica; así, un estudiante que tuviera que presentar una reseña literaria y que al mismo tiempo tuviera acceso a este agente inteligente, podría pedirle que la escribiera. ¿No es esto un importante problema ético de la propiedad intelectual?

43Otro de los escenarios prospectivos, que Aiken y Epstein (2000) proponen para un cercano 2028, describe un sistema inteligente capaz de componer música al estilo de Tchaikovsky, al tiempo que cuestionan: ¿En qué se convertirá la creación musical? Advierten que este tipo de sistemas de inteligencia artificial, que podrían sobrepasar las competencias humanas, cuya capacidad de resolución de problemas puede resultar superior a la de los estudiantes, puede concretarse en fuente de pereza intelectual en los seres humanos. Las consecuencias intelectuales dañinas que la tecnología puede tener en un estudiante son diversas; por ejemplo, se observa la incapacidad de ciertas personas para realizar mentalmente operaciones matemáticas básicas o para lograr cálculos simples sin la ayuda de una calculadora. En otro campo, los denominados sistemas inteligentes se limitan frecuentemente a una forma de inteligencia estrecha, incapaz de reaccionar frente a la creatividad del estudiante, lo que desincentiva su desarrollo personal.

44Como sabemos, el futuro nos alcanzó, en los últimos meses, una de las preocupaciones de las instituciones educativas, principalmente de las universidades, es cómo enfrentar el uso del ChatGPT (Generative Pre-trained Transformer) que, al utilizar algoritmos de aprendizaje profundo, genera desde textos hasta obras de arte (OpenAI, 2023) similares a los que produce un ser humano. Entre sus cualidades se tiene: rapidez de respuesta, coherencia en su lenguaje, competencia en las diferentes áreas del conocimiento y del desempeño profesional, así como versatilidad en los idiomas que maneja (alrededor de un centenar por el momento). Sin embargo, ante los resultados ofrecidos por tal sistema, se han identificado: respuestas incorrectas, una expresión menos natural frente a la humana, más artificial; por lo que se requiere de pensamiento crítico para valorar la idoneidad de sus respuestas.

45La propuesta es formar a los alumnos y estudiantes alrededor de la propiedad intelectual y de los derechos de autor; hacer comprender que la construcción del conocimiento es un quehacer colaborativo sincrónico y asincrónico donde los distintos aportes tienen crédito; exigir, indefectiblemente, incluir las referencias en los diferentes tipos de citas, tanto en trabajos escolares como académicos.

Mente sana en cuerpo sano

46Otro de los aspectos que resulta necesario revisar desde una perspectiva ética, es la forma en que tratamos nuestros cuerpos al usar las TIC y la IA. Por un lado, Señala Maulini (2000), el uso de las TIC implica una mediación del cuerpo. Así, sentarse frente a la computadora personal o la consola de videojuegos, tomar el teléfono, mirar las pantallas, manipular los teclados, el ratón, el touch pad, la pantalla táctil o los comandos en diferentes formatos, enviar señales a un sensor con el movimiento de alguna parte del cuerpo, son gestos condicionados por la tecnología y en ocasiones originados por ésta. Por otro lado, en el mismo sentido que McLuhan (1996 [1964]), señala que “tales tecnologías son, cada vez más, módulos de inteligencia artificial de las personas, una especie de prótesis cognitiva” (Maulini, 2000, p. 5). Lo anterior, no sólo en un sentido figurado, sino también en uno literal, si pensamos en los ejemplos de las personas que, frente a diversas necesidades o tipos de enfermedades, tienen chips implantados en el cuerpo o viven conectados a computadoras para poder expresarse o realizar diferentes actividades.

47Sin embargo, esta mediación del cuerpo frente al uso de las TIC –sobretodo de manera intensiva–, en el contexto educativo, genera una gran preocupación sobre sus efectos negativos en las condiciones y el desarrollo físico de los alumnos y estudiantes: tensión nerviosa, problemas oculares y/o auditivos, tendinitis, síndrome del túnel carpiano, obesidad, así como cervicalgia, dorsalgia, lumbalgia y cifosis, generadas por mala postura, entre otras.

48Lo anterior lleva a la necesidad de repensar al cuerpo en el contexto contemporáneo, a sabiendas que éste ha sido una preocupación histórica. Según Hummel (1994), Platón asistió a una escuela en Atenas donde aprendió a leer, a escribir, a hacer cálculos matemáticos, poesía y música, al tiempo que frecuentaba un gimnasio; gracias a ello –según el mismo Platón– “el ritmo y la armonía se insertan en el espíritu del individuo y lo hacen más civilizado, felizmente regulado en sus movimientos y equilibrado” (en Hummel, 1994: 339). Con base en lo anterior, podríamos afirmar que la formación de Platón se concreta en una educación integral. Sin embargo, Maulini (2000) cuestiona por qué, hace 24 siglos, en el espacio pedagógico, Aristóteles marca una frontera entre la educación intelectual y la corporal, cuya adición daría como resultado una educación integral; se pregunta ¿por qué no integrar ambas en una sola pedagogía interactiva, equilibrada, cuyo objetivo sería, precisamente, “mente sana en cuerpo sano”? Propone combatir la idea de dos lugares comunes simétricos pero separados pedagógicamente: el aula como lugar para meditar y expresarse sin moverse y el gimnasio como un apéndice para retozar sin hablar ni pensar, ya que tal fragmentación tiene consecuencias. Sugiere “reacomodar las dos faces –corporal y mental– del ser en la escuela; de otra manera, las inteligencias artificiales y los mundos virtuales no nos habrán aportado nada si cantan la victoria del saber desencarnado” (Maulini, 2000, p. 8).

49La propuesta es, entonces, cuidar y fortalecer el cuerpo al mismo tiempo que se llevan a cabo tareas intelectuales o se usan las TIC para informarse, comunicarse, trabajar, socializar o pasar el tiempo libre; al mismo tiempo, motivar a los formadores del cuerpo para que, al estilo de los profesores de educación física, entrenadores y guías de montañismo de Michel Serres (1999), no dejen de orientar a sus educandos para aprender a pensar. En otras palabras: pensar, aprender, comunicarnos, trabajar y divertirnos, al mismo tiempo que cuidamos nuestro cuerpo, y cultivar nuestro organismo, al tiempo que somos conscientes de lo que pasa en su interior, de cada paso que damos y del contexto que rodea ese momento.

El estado del arte frente a la educación para la IA desde una perspectiva ética

50Dada la complejidad del campo de la Inteligencia Artificial, su acelerado desarrollo y amplio alcance, la gran diversidad de sus aplicaciones, sus múltiples interpretaciones y definiciones, así como los desafíos socioculturales, ambientales y éticos que pone sobre la mesa, las competencias y problemáticas que, al respecto, pueden ser abordables en una educación para y con los medios y las TIC son vastos. En concordancia con las propuestas de la educomunicación, los conocimientos, las habilidades y los valores a desarrollar alrededor de una Alfabetización en Inteligencia Artificial tendrían que derivarse de los intereses propios de los participantes en múltiples contextos educativos –formal, no formal e informal– en el marco de una educación integral para la vida.

51Sin embargo, de acuerdo con el estado del arte, hay conocimientos y problemáticas que pueden concretarse en aprendizajes y prácticas –fuera de los espacios de especialización en el área–, para que niños, jóvenes y adultos tengan una visión esclarecida ante la tecnología –en general–, la informática, las TIC y la IA –en particular– y con ello puedan desmitificarlas. Uno de los aspectos que se revelan significativos al respecto es el conocimiento y la comprensión alrededor de la Inteligencia Humana y la Inteligencia Artificial, sus coincidencias y sus cualitativas diferencias; ello aunado a la necesidad de prestar atención a los avances del campo.

52Otro aspecto a tomar en cuenta en el desarrollo de esta alfabetización, y que también se muestra significativo, es la identificación de los espacios en los que cotidianamente interactuamos con la Inteligencia Artificial en sus diferentes tipos, así como de los artefactos del contexto sociocultural que funcionan con estos sistemas.

53Como se observa, la Alfabetización en Inteligencia Artificial, si bien está en construcción y con certeza continuará alimentándose interdisciplinarmente de los aportes de distintos campos del conocimiento interpelados o interesados al respecto, ya identifica una serie de competencias que se muestran pertinentes socioculturalmente ante los avances, usos y desafíos del campo, incluida una exigencia ética entorno a estos últimos.

54En la misma línea, con base en las propuestas revisadas, ya se identifica una serie de principios que, si bien no son exhaustivos, pueden guiar el desarrollo de competencias en IA: respetar, proteger y promover los derechos humanos, las libertades fundamentales y la dignidad humana, como valor de base; evitar dañar al otro en cualquier dimensión; ser honesto/a y digno/a de confianza; respetar la autonomía humana al exigir y supervisar la puesta en práctica de un control humano constante; así como proteger el planeta y el espacio ultraterrestre. En lo que concierne al contexto educativo: la IA debe permitir a los actores de la educación, desarrollar plenamente sus capacidades como ser humano y anteponerlas a la tecnología; aunado a ello, buscar un justo equilibrio entre la conservación de los aspectos tradicionales que históricamente han enriquecido los procesos de enseñanza aprendizaje y la apropiación de innovaciones científico tecnológicas para su aprovechamiento en la educación; incluida su necesaria renovación constante.

Haut de page

Bibliographie

Aguilar Passano, M. D., (2019). Plagio, un problema emergente en la escritura académica. Revista Uruguaya de Cardiología, 34(2), 139-140. https://doi.org/10.29277/cardio.34.2.2

Aiken, R. M. & Epstein R. G. (2000). Lignes directrices pour une éthique de l’utilisation des systèmes d’intelligence artificielle en éducation. Sciences et techniques éducatives, 7(1), 245-265.

Asimov, I. (1968 [1940]). I, Robot. London: Grafton Books.

Bostrom, N. & Yudkowsky, E. (2014). The Ethics of Artificial Intelligence. En Frankish, K. & Ramsey, W. (Eds.). Cambridge Handbook of Artificial Intelligence. New York: Cambridge University Press.

Brunnstein, K. (1997, march, 10-12). Threats to individual privacy and enterprise security and experiences with Internet lack of safety and insecurity. Primer Congreso Internacional sobre aspectos éticos jurídicos y societales de la información digital. Montecarlo, Mónaco: UNESCO.

Corning Incorporated. (2013). A Day Made of Glass [video youtube]. (1’34’’). Corning. https://www.youtube.com/watch?v=6Cf7IL_eZ38

Corning Incorporated. (2023). Perfecting the Art of Interaction [video youtube]. (1’14’’). Corning. https://www.youtube.com/watch?v=zftADGcJ4iU

Cortina, A. (1996). El estatuto de la ética aplicada. Hermenéutica crítica de las actividades humanas. Isegoría, 13, 119-134

Farine, A. (1992). Intelligence artificielle: Faux espoirs et réelles contraintes. McGill Journal of Education, 27(2), 195-203.

Gubern, R. (2000). El eros electrónico. Barcelona: Taurus.

Herrera-Aguilar, M. (2022). La vinculación de políticas públicas para la integración de la inteligencia artificial en la educación mexicana, Communication, technologies et développement, 11, http:// journals.openedition.org/ctd/6611

Herrera-Aguilar, M. (2023). Educación y alfabetización en medios y tecnologías de información y comunicación: su dimensión instrumental y cognitiva. Transdigital, 4(7), 1–16. https://doi.org/10.56162/transdigital167

Hummel, Ch. (1994). Platon. In Perspectives: revue trimestrielle d’éducation comparée. Paris : UNESCO, Bureau international d’éducation, 1-2(XXIV), 339-348

Jensen, K. B. (Editor). (2014). La comunicación y los medios: Metodologías de investigación cualitativa y cuantitativa. México: FCE.

Karsenti, T. (2018). Intelligence artificielle en éducation : L’urgence de préparer les futurs enseignants aujourd’hui pour l’école de demain ? Formation et profession, 26(3), 112-119. http://dx.doi.org/10.18162/fp.2018.a159

Kulikowski, J. (1997, marzo, 10-12). Open acces to information highways: chances and dangers for developing countries. Primer Congreso Internacional sobre aspectos éticos jurídicos y societales de la información digital. Montecarlo, Mónaco: UNESCO.

Labardens-Corroy, L. (2015). Panorama historique de l’éducation aux médias. In Labardens-Corroy, L.; Barbey, F. & Kiyindou, A. (Dir.) L’éducation aux médias à l’heure des réseaux. (pp. 5-15) Paris: L’Harmattan.

León Rodríguez, G. C. & Viña Brito, S. M. (2017). La inteligencia artificial en la educación superior. Oportunidades y amenazas. INNOVA Research Journal, 2(8.1), 412-422. http://revistas.uide.edu.ec/index.php/innova/index

Lévy, P. (1997). Cyberculture. Rapport au Conseil d’Europe. Paris: Odile Jacob.

Londoño Palacio, O. L.; Maldonado Granados, L. F. & Calderón Villafáñez, L. C. (2014). Guía para construir estados del arte. Bogotá: International Corporation of Networks of Knowledge.

Marquès Graells, P. R. (1996). El software educativo. En Ferrés Prats, J. ; Marquès Graells, P. R.; Darder Vidal, P. (coords.). Comunicación educativa y Nuevas Tecnologías. Barcelona: Ciss Praxis pp. 1-14

Maulini, O. (2000). Pédagogie scolaire et discipline(s) du corps. De l’intelligence artificielle au savoir incarné. Revue Pratiques corporelles, 126, 7-12

McLuhan, M. (1996 [1964]). Comprender los medios de comunicación: las extensiones del ser humano. Barcelona: Paidós Ibérica.

Miao, F. & Holmes, W. (2021). Synthesis Report of the UNESCO International Forum on AI and the Futures of Education under the theme of Developing Competencies for the AI Era. Paris: Unesco.

Miao. F. (Coord.). (2022). K-12 AI curricula: a mapping of government-endorsed AI curricula Paris: United Nations Educational, Scientific and Cultural Organization. https://unesdoc.unesco.org/ark:/48223/pf0000380602

Minsky, M. (1986). The society of mind. New York: Simon & Schuster.

Moreno Padilla, R. D. (2019). La llegada de la inteligencia artificial a la educación. Revista de Investigación en Tecnologías de la Información: RITI, 7(14), 260-270.

OpenAI. (2023). ChatGPT. https://openai.com/chatgpt

Ramonet, I. (1997, marzo, 10-12). Mondialisation, cultures nationales et éthiques. Primer Congreso Internacional sobre aspectos éticos jurídicos y societales de la información digital. Montecarlo, Mónaco: UNESCO.

Romero, M. (2018). Intelligence artificielle et pensée humaine. https://www.epi.asso.fr/revue/articles/a1805c.htm

Serres, M. (1999). Variations sur le corps. Paris : Le Pommier

Silver, Marc & García Bernal, Gael. (2011, noviembre). Los invisibles (documental Youtube). Greenhouse Studios, Reykjavik, Iceland; Amnesty International. https://www.youtube.com/watch?v=M4oP_M81YpY&t=1151s www.amnesty.org/es/losinvisibles

Stahl, B. C.; Schroeder, D. & Rodrigues, R. (2023) Ethics of Artificial Intelligence: Case Studies and Options for Addressing Ethical Challenges. Springer Briefs in Research and Innovation Governance. https://doi.org/10.1007/978-3-031-17040-9_1

UNESCO. (1948). Declaración Universal de Derechos Humanos. https://www.un.org/es/about-us/universal-declaration-of-human-rights. Paris: Naciones Unidas.

UNESCO. (1997). Infoética. Primer Congreso Internacional sobre aspectos éticos jurídicos y societales de la información digital. Montecarlo, Mónaco: UNESCO.

UNESCO. (1998). Infoética. Segundo Congreso Internacional: Los desafíos éticos, jurídicos y societales del ciberespacio. Montecarlo, Mónaco: UNESCO.

UNESCO. (1999). Informe del director general sobre los resultados de los trabajos de la Comisión Mundial de Ética del conocimiento científico y la tecnología. Paris: UNESCO.

UNESCO. (2000). Infoética. Tercer Congreso Internacional: Los desafíos éticos, jurídicos y societales del ciberespacio. París: UNESCO.

UNESCO. (2019). Consenso de Beijing sobre la inteligencia artificial y la educación. Beijing: UNESCO.

Verbeek, P. P. & Parizeau, M-H. (2019). Étude préliminaire sur l’éthique de l’intelligence artificielle. Paris : UNESCO, COMEST.

Haut de page

Pour citer cet article

Référence électronique

Miriam Herrera-Aguilar, « Aprender sobre la Inteligencia Artificial desde una perspectiva ética »Communication, technologies et développement [En ligne], 16 | 2024, mis en ligne le 01 novembre 2024, consulté le 24 mars 2025. URL : http://journals.openedition.org/ctd/12997 ; DOI : https://doi.org/10.4000/12nfm

Haut de page

Auteur

Miriam Herrera-Aguilar

Universidad Autónoma de Querétaro
miriam.herrera[at]uaq.mx

Articles du même auteur

Haut de page

Droits d’auteur

CC-BY-NC-ND-4.0

Le texte seul est utilisable sous licence CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search