Cuando la IA alucina en el aula: Los riesgos ocultos de los chatbots educativos que nadie quiere admitir

Un estudiante de ingeniería en una universidad chilena entrega un ensayo impecable sobre física cuántica. La redacción es fluida, las referencias parecen sólidas, y el argumento está bien estructurado. Hay solo un problema: tres de las cinco citas bibliográficas no existen. Los autores son reales, las revistas también, pero esos artículos jamás fueron publicados. El culpable no es la pereza del estudiante, sino una característica inherente de los modelos de lenguaje de gran escala: su tendencia a "alucinar" información con una confianza inquebrantable. Este fenómeno, que se replica en aulas desde Arica hasta Punta Arenas, ha puesto a las instituciones educativas chilenas en una encrucijada sin precedentes.

El fenómeno de las alucinaciones: cuando la IA inventa con autoridad

Las alucinaciones en inteligencia artificial no son errores ocasionales, sino una característica estructural de cómo funcionan estos sistemas. Los modelos de lenguaje como ChatGPT, Claude o Gemini generan texto prediciendo la siguiente palabra más probable en una secuencia, basándose en patrones aprendidos de vastas cantidades de datos. No "saben" si algo es verdadero o falso en el sentido humano; simplemente producen lo que estadísticamente tiene sentido. Cuando un estudiante pregunta por referencias bibliográficas sobre un tema específico, el modelo puede generar títulos, autores y fechas que suenan plausibles pero que son completamente ficticios.

En el contexto educativo chileno, este problema adquiere dimensiones particulares. La Universidad de Chile, junto con otras instituciones del Consorcio de Universidades del Estado (CUECH), ha comenzado a documentar casos donde trabajos académicos incluyen citas fabricadas por IA. El desafío no es solo detectar estos errores, sino que muchos estudiantes no son conscientes de que la información proporcionada por estos sistemas puede ser falsa. La confianza ciega en la tecnología, combinada con la presión por cumplir plazos académicos, crea un cóctel perfecto para la propagación de información errónea en entornos que deberían ser bastiones del rigor intelectual.

Lo más preocupante es que estas alucinaciones no se limitan a referencias bibliográficas. Los chatbots pueden inventar datos estadísticos, atribuir teorías a autores equivocados, o crear explicaciones científicas que suenan coherentes pero son fundamentalmente incorrectas. En disciplinas como medicina, derecho o ingeniería, donde la precisión puede tener consecuencias reales, la normalización de estas herramientas sin protocolos adecuados representa un riesgo educativo y profesional significativo.

Sesgos algorítmicos: reproduciendo desigualdades en código

Si las alucinaciones representan un problema de precisión, los sesgos algorítmicos plantean una cuestión de justicia. Los modelos de IA se entrenan con datos del mundo real, y ese mundo está plagado de prejuicios históricos, desigualdades estructurales y representaciones distorsionadas. Cuando un chatbot educativo recomienda carreras profesionales basándose en el género del estudiante, o cuando sugiere ejemplos que sistemáticamente ignoran contribuciones de científicos latinoamericanos, no está simplemente cometiendo un error: está perpetuando y amplificando patrones de exclusión.

En Chile, donde la brecha de género en carreras STEM sigue siendo significativa y donde la representación de pueblos originarios en materiales educativos ha sido históricamente deficiente, la introducción masiva de herramientas de IA sin curación crítica puede agravar estas desigualdades. Un estudio realizado por investigadores de la Universidad de Chile detectó que varios chatbots populares, al ser consultados sobre científicos chilenos destacados, mencionaban predominantemente a hombres de origen europeo, invisibilizando las contribuciones de mujeres y de investigadores de comunidades mapuche, aymara o rapanui.

"La inteligencia artificial no es neutral. Cada algoritmo lleva inscrito las prioridades, sesgos y puntos ciegos de quienes lo diseñaron y de los datos con que fue entrenado. En educación, esto significa que podríamos estar automatizando la exclusión bajo la apariencia de innovación tecnológica."

El problema se complica cuando consideramos que muchos estudiantes utilizan estos chatbots como tutores personales o asistentes de estudio. Si un joven de una comunidad rural consulta sobre oportunidades educativas y el sistema, entrenado principalmente con datos de contextos urbanos y anglosajones, ofrece respuestas que no consideran su realidad específica, la tecnología no está democratizando el acceso al conocimiento: está reproduciendo la marginalización con una eficiencia sin precedentes.

El plagio redefinido: entre la asistencia legítima y la deshonestidad académica

Quizás ningún aspecto de la IA en educación genera debates tan acalorados como la cuestión del plagio. Las herramientas tradicionales de detección, diseñadas para identificar textos copiados de fuentes existentes, se vuelven inútiles cuando el contenido es generado de novo por una máquina. Un estudiante puede solicitar a ChatGPT que escriba un ensayo completo sobre cualquier tema y recibir un texto original que no coincidirá con ningún documento en internet. ¿Es esto plagio? ¿Asistencia tecnológica? ¿Dónde trazamos la línea?

Las universidades chilenas están adoptando posturas diversas. Algunas instituciones han optado por prohibiciones estrictas, considerando cualquier uso de IA generativa como falta a la integridad académica. Otras, reconociendo que estas herramientas son parte inevitable del futuro profesional de sus estudiantes, están experimentando con políticas de "uso declarado": los alumnos pueden emplear chatbots, pero deben explicitar cómo y en qué medida lo hicieron. Esta segunda aproximación, aunque más pragmática, genera sus propios desafíos de implementación y verificación.

El debate revela una tensión fundamental en la educación contemporánea. Si el objetivo del aprendizaje es desarrollar capacidades de pensamiento crítico, investigación y síntesis, ¿qué papel debe jugar una herramienta que puede ejecutar estas tareas instantáneamente? Algunos académicos argumentan que debemos rediseñar completamente la evaluación educativa, alejándonos de ensayos y exámenes tradicionales hacia formas de demostración de conocimiento que no puedan ser externalizadas a una IA. Otros sostienen que aprender a trabajar efectivamente con estas herramientas —incluyendo verificar sus outputs, identificar sus limitaciones y complementar sus capacidades— es en sí mismo una habilidad crucial del siglo XXI.

Navegando el futuro: hacia un uso crítico y responsable

Frente a estos desafíos, las instituciones educativas chilenas no pueden permitirse ni el tecno-optimismo ingenuo ni el rechazo categórico. La Universidad de Chile ha comenzado a desarrollar programas de alfabetización en IA para docentes y estudiantes, reconociendo que la educación sobre estas herramientas es tan importante como la educación con ellas. Estos programas enseñan no solo cómo usar chatbots, sino cómo entender sus mecanismos, identificar sus fallas y contextualizar críticamente sus respuestas.

Algunas facultades están experimentando con enfoques innovadores: asignaciones que requieren explícitamente el uso de IA pero demandan que los estudiantes documenten el proceso, identifiquen errores en las respuestas generadas y expliquen por qué ciertas sugerencias del chatbot son inadecuadas. Este enfoque transforma la IA de una amenaza a la integridad académica en un objeto de estudio y análisis crítico. Los estudiantes aprenden simultáneamente sobre su disciplina y sobre las capacidades y limitaciones de las herramientas tecnológicas que definirán sus futuros profesionales.

El camino hacia adelante requiere colaboración entre tecnólogos, educadores, estudiantes y formuladores de políticas. Chile tiene la oportunidad de posicionarse como líder regional en el desarrollo de marcos éticos y pedagógicos para la IA en educación, aprovechando tanto su infraestructura académica como su creciente ecosistema tecnológico. Esto implica inversión en investigación local sobre cómo estos sistemas funcionan en contextos latinoamericanos específicos, desarrollo de herramientas de detección y verificación adaptadas a nuestras realidades, y formación continua de educadores en competencias digitales avanzadas.

Contexto clave

Modelos de lenguaje de gran escala: Son sistemas de inteligencia artificial entrenados con enormes cantidades de texto (libros, artículos, sitios web) para predecir y generar lenguaje humano. No "comprenden" el contenido en sentido humano, sino que identifican patrones estadísticos en cómo las palabras se relacionan entre sí. ChatGPT, desarrollado por OpenAI, es el ejemplo más conocido, pero existen múltiples alternativas como Claude (Anthropic), Gemini (Google) y modelos de código abierto como Llama. Su capacidad para generar texto coherente y contextualmente apropiado los hace útiles para múltiples aplicaciones, pero también significa que pueden producir contenido falso con la misma fluidez que contenido verdadero.

Alucinaciones en IA: En el contexto de modelos de lenguaje, una "alucinación" ocurre cuando el sistema genera información falsa o sin fundamento presentándola con confianza. Esto no es un error de programación sino una consecuencia de cómo funcionan estos modelos: generan lo que es estadísticamente probable, no necesariamente lo que es verdadero. Pueden inventar referencias bibliográficas, crear datos estadísticos ficticios o atribuir citas a personas equivocadas. Las alucinaciones son particularmente problemáticas en educación porque el texto generado suele parecer plausible y bien fundamentado, dificultando su detección sin verificación exhaustiva.

Sesgo algorítmico: Refiere a las distorsiones sistemáticas en los outputs de sistemas de IA que reflejan y amplifican prejuicios presentes en sus datos de entrenamiento o en su diseño. Si un modelo se entrena principalmente con textos que subrepresentan a mujeres en roles científicos, tenderá a reproducir esa subrepresentación en sus respuestas. En educación, esto puede manifestarse en recomendaciones de carrera sesgadas por género, ejemplos que ignoran diversidad cultural, o explicaciones que asumen contextos socioeconómicos específicos. Mitigar estos sesgos requiere tanto diversificación de datos de entrenamiento como diseño consciente de sistemas que activamente corrijan desbalances históricos.

Para profundizar

• Rediseño de evaluaciones académicas en la era de la IA — ¿Cómo deben transformarse los métodos de evaluación cuando las herramientas de IA pueden completar ensayos, resolver problemas matemáticos y generar código? Explorar modelos de evaluación basados en procesos, presentaciones orales con defensa de ideas, y proyectos colaborativos que requieran habilidades difíciles de replicar por algoritmos.
• Desarrollo de IA educativa con perspectiva latinoamericana — La mayoría de los chatbots se entrenan con datos predominantemente en inglés y desde contextos anglosajones. Investigar cómo Chile y la región podrían desarrollar modelos o adaptaciones que reflejen mejor nuestras realidades culturales, lingüísticas e históricas, reduciendo sesgos y aumentando relevancia para estudiantes locales.
• Alfabetización algorítmica como competencia fundamental — Más allá de saber usar herramientas de IA, ¿qué significa comprender cómo funcionan estos sistemas? Examinar propuestas curriculares que integren conocimientos básicos sobre machine learning, ética de datos y pensamiento computacional como parte de la formación general, no solo para estudiantes de carreras tecnológicas sino como alfabetización ciudadana del siglo XXI.