Estudio de Caso: Trayectorias de Ingeniería de Prompts con ChatGPT para Tareas de Escritura en Estudiantes Secundarios de Inglés como Lengua Extranjera

1. Introducción

La llegada de chatbots de IA generativa de última generación (SOTA) como ChatGPT presenta tanto oportunidades como desafíos para la educación, particularmente en el aprendizaje de idiomas. Este artículo investiga cómo estudiantes secundarios de Inglés como Lengua Extranjera (ILE), como usuarios novatos, se involucran en la ingeniería de prompts—la habilidad de elaborar instrucciones para la IA—para completar una tarea de escritura. El problema central es que la colaboración efectiva con ChatGPT no es intuitiva; requiere una habilidad aprendida que muchos estudiantes carecen, lo que conduce a procesos ineficientes de prueba y error. Este estudio tiene como objetivo mapear las diversas trayectorias que toman los estudiantes, analizando el contenido, la calidad y la evolución de sus prompts para informar estrategias pedagógicas para integrar la alfabetización en IA en el aula de escritura de ILE.

2. Metodología

Esta investigación emplea un enfoque de estudio de caso cualitativo. Los datos se recopilaron a partir de grabaciones de pantalla de iPad de estudiantes secundarios de ILE en Hong Kong que utilizaron ChatGPT y chatbots SOTA similares por primera vez para completar una tarea de escritura estandarizada. El análisis se centró en un examen detallado de los prompts generados por los estudiantes, sus secuencias (trayectorias) y las respuestas correspondientes de la IA. El estudio identificó cuatro trayectorias arquetípicas distintas basadas en patrones de interacción, sofisticación de los prompts y enfoque estratégico.

3. Estudios de Caso: Cuatro Trayectorias de Ingeniería de Prompts

El análisis reveló cuatro patrones de interacción principales, que representan diferentes niveles de compromiso y pensamiento estratégico.

4. Resultados y Análisis

5. Discusión: Implicaciones para la Educación en Alfabetización en IA

El estudio subraya que usar ChatGPT de manera efectiva es una habilidad aprendida, no una capacidad innata. La prevalencia de trayectorias minimalistas e iterativas ineficientes entre los novatos señala una brecha crítica en la educación actual. Los autores argumentan a favor de integrar una educación explícita en ingeniería de prompts en los currículos de ILE. Esto llevaría a los estudiantes más allá del ensayo y error, equipándolos con marcos para formular instrucciones claras, asignar roles, especificar formatos y refinar iterativamente las producciones, transformando la IA de un oráculo de caja negra en una herramienta colaborativa.

6. Marco Técnico y Análisis

Desde una perspectiva técnica, la ingeniería de prompts interactúa con las funciones de probabilidad del modelo de lenguaje subyacente. Un prompt bien elaborado $P$ guía al modelo $M$ a muestrear de una región más restringida y deseable de su distribución de salida $D$ para un contexto dado $C$. El proceso puede representarse abstractamente como la maximización de la probabilidad condicional de una secuencia de salida deseada $O$:

$O^* = \arg\max_{O} P(O | C, P, M)$

Mientras que un prompt vago aumenta la entropía en $D$, conduciendo a salidas genéricas, un prompt específico con restricciones (rol, formato, estilo) reduce la entropía, dirigiendo a $M$ hacia un $O^*$ más específico. Las trayectorias de los estudiantes representan efectivamente diferentes estrategias para manipular esta probabilidad condicional a través de instrucciones en lenguaje natural.

Ejemplo de Marco de Análisis

Escenario: Un estudiante quiere que ChatGPT ayude a escribir un párrafo persuasivo sobre el reciclaje.

• Prompt Débil (Alta Entropía): "Escribe sobre el reciclaje."
  Análisis: El modelo tiene restricciones mínimas, probablemente generando una visión general amplia, estilo enciclopedia.
• Prompt Fuerte (Baja Entropía): "Actúa como un defensor del medio ambiente. Escribe un párrafo persuasivo de 80 palabras dirigido a adolescentes, convenciéndolos de reciclar botellas de plástico. Usa un tono directo y urgente, e incluye una estadística."
  Análisis: Este prompt especifica rol (defensor), audiencia (adolescentes), objetivo (persuadir), enfoque de contenido (botellas de plástico), longitud (80 palabras), tono (directo, urgente) y elemento (estadística). Reduce drásticamente la distribución de salida del modelo.

7. Aplicaciones Futuras y Direcciones de Investigación

Los hallazgos abren varias vías para trabajos futuros:

• Tutores de Prompting Adaptativos: Desarrollo de tutores impulsados por IA que analicen el prompt de un estudiante y proporcionen retroalimentación en tiempo real sobre cómo mejorarlo (por ejemplo, "Intenta especificar tu audiencia").
• Estudios Longitudinales: Seguimiento de cómo evolucionan las habilidades de ingeniería de prompts de los estudiantes a lo largo del tiempo, con y sin instrucción formal.
• Comparaciones Interculturales y Lingüísticas: Investigar si las estrategias de ingeniería de prompts difieren entre idiomas y contextos educativos culturales.
• Integración con la Pedagogía de la Escritura: Investigación sobre cómo los marcos de ingeniería de prompts pueden integrarse en los modelos existentes del proceso de escritura (pre-escritura, redacción, revisión).
• Dimensiones Éticas y Críticas: Ampliar la alfabetización en IA más allá de la eficiencia para incluir la evaluación crítica de las producciones de IA, la detección de sesgos y el uso ético.

8. Referencias

1. Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL Secondary Students’ Prompt Engineering Pathways to Complete a Writing Task with ChatGPT. Manuscrito en preparación.
2. Caldarini, G., Jaf, S., & McGarry, K. (2022). A Literature Survey of Recent Advances in Chatbots. Information, 13(1), 41.
3. Long, D., & Magerko, B. (2020). What is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16.
4. OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
5. Zhao, W. X., et al. (2023). A Survey of Large Language Models. arXiv preprint arXiv:2303.18223.
6. The Stanford Center for AI Safety. (n.d.). AI Literacy. Recuperado de https://aisafety.stanford.edu/ai-literacy