Tabla de Contenidos
1. Introducción
ChatGPT, un chatbot de IA generativa de última generación (SOTA), ha ganado una inmensa popularidad por su potencial para transformar la educación, particularmente en la escritura de Inglés como Lengua Extranjera (EFL). Sin embargo, la colaboración efectiva con ChatGPT requiere que los estudiantes dominen la ingeniería de prompts—la habilidad de elaborar instrucciones precisas para obtener los resultados deseados. Este artículo examina el contenido y los patrones de los prompts de estudiantes de EFL de secundaria al completar una tarea de escritura con ChatGPT por primera vez. A través de un estudio de caso de cuatro rutas distintas, los autores ilustran los procesos de prueba y error que los estudiantes experimentan y destacan la necesidad de una educación explícita en ingeniería de prompts en las aulas de EFL.
2. Revisión de la Literatura
2.1 Ingeniería de Prompts en la Educación
La ingeniería de prompts es una habilidad crítica de alfabetización en IA (Long y Magerko, 2020). Los usuarios no técnicos a menudo tienen dificultades para elaborar prompts efectivos, lo que lleva a ciclos de prueba y error. La investigación muestra que la guía estructurada puede mejorar la calidad del prompt y la relevancia del resultado (Zamfirescu-Pereira et al., 2023).
2.2 Escritura en EFL con Chatbots
Chatbots como ChatGPT pueden apoyar la escritura en EFL proporcionando retroalimentación en tiempo real, generando ideas y modelando estructuras lingüísticas. Sin embargo, los estudiantes deben aprender a refinar iterativamente los prompts para alinearlos con los objetivos de la tarea (Guo et al., 2023).
3. Metodología
3.1 Participantes y Entorno
Los participantes fueron 20 estudiantes de EFL de secundaria en Hong Kong, de 14 a 16 años, con un nivel de inglés intermedio. Usaron ChatGPT en iPads por primera vez para completar un ensayo argumentativo de 300 palabras.
3.2 Recopilación de Datos
Los datos se recopilaron mediante grabaciones de pantalla de los iPads, capturando todos los prompts y las respuestas de ChatGPT. Los investigadores también realizaron entrevistas posteriores a la tarea para comprender el razonamiento de los estudiantes.
3.3 Marco Analítico
El análisis utilizó un enfoque de teoría fundamentada para categorizar los prompts por contenido (p. ej., instrucción, contexto, formato) y cantidad (número de prompts por tarea). De los datos surgieron cuatro rutas distintas.
4. Resultados: Cuatro Rutas de Ingeniería de Prompts
4.1 Ruta A: Iteración Minimalista
Los estudiantes usaron de 2 a 3 prompts cortos (p. ej., "Escribe un ensayo sobre la contaminación"). Rara vez revisaban los prompts basándose en la salida de ChatGPT, lo que resultaba en respuestas genéricas. Esta ruta refleja un bajo compromiso con la ingeniería de prompts.
4.2 Ruta B: Refinamiento Andamiado
Los estudiantes comenzaron con un prompt amplio, luego agregaron restricciones específicas (p. ej., "Incluye tres argumentos y un contraargumento"). Usaron de 4 a 6 prompts, mostrando una mejora iterativa en la calidad del resultado.
4.3 Ruta C: Exploración Divergente
Los estudiantes experimentaron con diferentes estilos de prompts (p. ej., juegos de rol, cambios de formato). Usaron de 7 a 10 prompts pero carecían de una estrategia clara, lo que llevó a resultados inconsistentes.
4.4 Ruta D: Descomposición Estratégica
Los estudiantes dividieron la tarea en subtareas (p. ej., "Primero genera un esquema, luego escribe la introducción"). Usaron de 8 a 12 prompts con alta especificidad, logrando los ensayos más coherentes y relevantes.
5. Discusión
5.1 Idea Central
El estudio revela que la ingeniería de prompts de los estudiantes de EFL es altamente variable. La descomposición estratégica (Ruta D) produce los mejores resultados, pero la mayoría de los estudiantes optan por enfoques minimalistas o divergentes. Esto subraya una brecha crítica en la educación de alfabetización en IA.
5.2 Flujo Lógico
La progresión de la Ruta A a la D muestra una clara correlación entre la sofisticación del prompt y la calidad del resultado. Sin embargo, la falta de instrucción explícita significa que los estudiantes rara vez alcanzan la Ruta D sin orientación.
5.3 Fortalezas y Debilidades
Fortalezas: El estudio proporciona datos cualitativos ricos de entornos reales de aula, ofreciendo perspectivas auténticas sobre el comportamiento estudiantil. Debilidades: El tamaño de muestra pequeño (n=20) limita la generalización. El estudio tampoco controla la exposición previa a la IA.
5.4 Perspectivas Accionables
Los educadores deberían integrar la ingeniería de prompts en los planes de estudio de EFL, enseñando a los estudiantes a descomponer tareas, usar restricciones específicas y refinar iterativamente los prompts. Las escuelas deberían proporcionar andamiaje estructurado, como plantillas de prompts y revisión por pares de los mismos.
6. Análisis Original
Este estudio hace una contribución oportuna al mapear empíricamente cómo los usuarios novatos de EFL interactúan con ChatGPT. Las cuatro rutas se hacen eco de los hallazgos de la investigación en interacción humano-computadora, donde los usuarios a menudo caen en comportamientos de "satisfacción" (Simon, 1956)—aceptando el primer resultado aceptable en lugar de optimizar. La ruta de descomposición estratégica se alinea con el concepto de "prompt de cadena de pensamiento" (Wei et al., 2022), que mejora el razonamiento en modelos de lenguaje grandes. Sin embargo, la dependencia del estudio en una sola tarea de escritura y un tamaño de muestra pequeño limita su validez externa. Investigaciones futuras deberían explorar intervenciones longitudinales que enseñen la ingeniería de prompts como una habilidad metacognitiva. Los autores acertadamente piden incorporar la alfabetización en IA en los planes de estudio de EFL, pero no llegan a proporcionar un marco pedagógico concreto. Un enfoque más accionable sería desarrollar una "rúbrica de ingeniería de prompts" que andamie a los estudiantes desde estrategias básicas hasta avanzadas. Además, el estudio no aborda preocupaciones éticas, como la dependencia excesiva de la IA o el plagio, que son críticas en entornos educativos. A pesar de estas limitaciones, el trabajo es un valioso primer paso para entender cómo los estudiantes aprenden a colaborar con la IA generativa.
7. Detalles Técnicos y Formulación Matemática
La ingeniería de prompts puede formalizarse como un problema de optimización. Sea $P$ el conjunto de todos los prompts posibles, y $O$ la salida de ChatGPT dado un prompt $p \in P$. El objetivo del estudiante es encontrar $p^*$ que maximice la calidad de la salida $Q(O)$ sujeto a las restricciones de la tarea $C$:
$$p^* = \arg\max_{p \in P} Q(\text{ChatGPT}(p)) \quad \text{s.t.} \quad C(p) \leq \epsilon$$
En la práctica, los estudiantes realizan una búsqueda voraz, actualizando iterativamente $p_{t+1} = p_t + \Delta_t$, donde $\Delta_t$ es una modificación basada en la salida anterior. Las cuatro rutas representan diferentes estrategias de búsqueda: la Ruta A usa $\Delta_t$ pequeño, la Ruta B usa $\Delta_t$ estructurado, la Ruta C usa $\Delta_t$ aleatorio y la Ruta D usa descomposición jerárquica.
8. Resultados Experimentales y Descripción del Diagrama
Figura 1: Resumen de las Rutas de Ingeniería de Prompts
Un diagrama de flujo que muestra cuatro ramas desde un nodo central etiquetado como "Tarea de Escritura". Cada rama representa una ruta (A, B, C, D) con flechas que indican iteraciones de prompts. La Ruta D muestra sub-bucles para la generación del esquema, introducción, cuerpo y conclusión. El diagrama utiliza codificación de colores: rojo para la Ruta A (minimalista), azul para la B (andamiada), verde para la C (divergente) y dorado para la D (estratégica).
Tabla 1: Métricas Clave por Ruta
| Ruta | Prompts Promedio | Calidad del Resultado (1-5) | Tiempo (min) |
|---|---|---|---|
| A | 2.5 | 2.1 | 8 |
| B | 5.0 | 3.4 | 15 |
| C | 8.5 | 2.8 | 22 |
| D | 10.0 | 4.2 | 28 |
La Ruta D logra la mayor calidad de resultado pero requiere más tiempo y prompts, sugiriendo un equilibrio entre eficiencia y efectividad.
9. Ejemplo del Marco Analítico
Caso de Ejemplo: Estudiante S7 (Ruta D)
Prompt 1: "Genera un esquema de tres puntos para un ensayo argumentativo sobre uniformes escolares."
Prompt 2: "Escribe un párrafo de introducción basado en el esquema. Usa un gancho y una declaración de tesis clara."
Prompt 3: "Expande el primer párrafo del cuerpo. Incluye una oración temática, evidencia y explicación."
Prompt 4: "Agrega un párrafo de contraargumento y refútalo."
Prompt 5: "Escribe una conclusión que resuma los puntos principales y reformule la tesis."
Esta estrategia de descomposición refleja el proceso de escritura enseñado en las aulas de EFL, demostrando cómo la ingeniería de prompts puede alinearse con las mejores prácticas pedagógicas.
10. Aplicaciones y Direcciones Futuras
Los hallazgos apuntan a varias direcciones futuras: (1) Desarrollo de planes de estudio de alfabetización en IA que enseñen explícitamente la descomposición de prompts y el refinamiento iterativo. (2) Integración de la ingeniería de prompts en programas de formación docente. (3) Diseño de sistemas de tutoría adaptativa que proporcionen retroalimentación en tiempo real sobre la calidad del prompt. (4) Estudios longitudinales que rastreen cómo evolucionan las habilidades de ingeniería de prompts de los estudiantes con el tiempo. (5) Exploración de marcos éticos para garantizar un uso responsable de la IA en la educación. A medida que la IA generativa se vuelve ubicua, la ingeniería de prompts será una habilidad fundamental, similar a la alfabetización digital en la década de 1990.
11. Referencias
- Guo, K., et al. (2023). Second language writing and AI chatbots. Computers & Education, 198, 104789.
- Long, D., & Magerko, B. (2020). What is AI literacy? Proceedings of the 2020 CHI Conference, 1-13.
- Simon, H. A. (1956). Rational choice and the structure of the environment. Psychological Review, 63(2), 129-138.
- Wei, J., et al. (2022). Chain-of-thought prompting elicits reasoning in large language models. NeurIPS 2022.
- Zamfirescu-Pereira, J. D., et al. (2023). Why Johnny can't prompt. Communications of the ACM, 66(8), 64-73.