Tabla de Contenidos
1. Introducción
ChatGPT, un chatbot de IA generativa de última generación (SOTA), ha ganado una inmensa popularidad por su potencial para transformar la educación, particularmente en contextos de escritura de Inglés como Lengua Extranjera (EFL). Sin embargo, la colaboración efectiva con ChatGPT requiere que los estudiantes dominen la ingeniería de prompts—la habilidad de elaborar instrucciones precisas para obtener los resultados deseados. Este artículo examina el contenido y los patrones de los prompts de estudiantes de EFL de secundaria al completar una tarea de escritura con ChatGPT por primera vez. A través de un estudio de caso de cuatro rutas distintas, los autores ilustran el proceso de prueba y error y destacan la necesidad de una educación explícita en ingeniería de prompts en las aulas de EFL.
2. Revisión de la Literatura
2.1 ChatGPT en la Escritura de EFL
ChatGPT puede ayudar a los estudiantes de EFL generando ideas, proporcionando sugerencias de vocabulario y ofreciendo correcciones gramaticales. Sin embargo, sin un prompting adecuado, los resultados pueden ser irrelevantes o poco útiles. La investigación de Guo et al. (2023) indica que los estudiantes a menudo tienen dificultades para formular prompts efectivos, lo que lleva a interacciones subóptimas.
2.2 La Ingeniería de Prompts como Habilidad
La ingeniería de prompts implica comprender las capacidades y limitaciones del modelo. Requiere refinamiento iterativo, especificidad y conciencia contextual. Estudios (por ejemplo, Woo et al., 2023) muestran que los usuarios no técnicos, incluidos los estudiantes de EFL, típicamente se involucran en prueba y error sin estrategias sistemáticas.
3. Metodología
3.1 Participantes y Entorno
Los participantes fueron 12 estudiantes de EFL de secundaria (de 15 a 16 años) de Hong Kong. Usaron ChatGPT en iPads por primera vez para completar una tarea de escritura descriptiva: "Describe tu lugar favorito y explica por qué es especial para ti."
3.2 Recopilación de Datos
Los datos se recopilaron mediante grabaciones de pantalla de iPad, capturando cada prompt escrito y la respuesta de ChatGPT. Los investigadores también realizaron entrevistas posteriores a la tarea para comprender el razonamiento de los estudiantes.
3.3 Marco Analítico
El análisis categorizó los prompts por contenido (por ejemplo, solicitud de ideas, ayuda gramatical, revisión) y cantidad (número de prompts por estudiante). De los datos surgieron cuatro rutas distintas.
4. Hallazgos: Cuatro Rutas de Ingeniería de Prompts
4.1 Ruta A: Instrucción Directa
Los estudiantes emitieron un único prompt integral (por ejemplo, "Escribe un párrafo de 200 palabras sobre mi playa favorita, incluyendo detalles sensoriales"). Esta ruta produjo resultados aceptables pero limitó la participación del estudiante en el proceso de escritura.
4.2 Ruta B: Refinamiento Iterativo
Los estudiantes comenzaron con un prompt amplio (por ejemplo, "Ayúdame a escribir sobre mi lugar favorito") y lo refinaron basándose en la salida de ChatGPT (por ejemplo, "Agrega más detalles sobre el sonido de las olas"). Esta ruta demostró aprendizaje a través de la retroalimentación.
4.3 Ruta C: Descomposición Andamiada
Los estudiantes dividieron la tarea en subtareas: primero solicitando un esquema, luego solicitando vocabulario, y finalmente pidiendo un borrador completo. Este enfoque estructurado resultó en resultados de mayor calidad y una comprensión más profunda.
4.4 Ruta D: Prueba y Error Exploratoria
Los estudiantes experimentaron con prompts variados sin una estrategia clara (por ejemplo, "Dame ideas", luego "Hazlo más largo", luego "Cambia el tono"). Esta ruta fue ineficiente y a menudo llevó a la frustración.
5. Discusión
5.1 Perspectiva Central
El estudio revela que la mayoría de los estudiantes de EFL recurren por defecto al prompting por prueba y error, careciendo de estrategias sistemáticas. Solo una minoría (Ruta C) demostró una descomposición efectiva, lo que se alinea con los principios del andamiaje metacognitivo (Flavell, 1979).
5.2 Flujo Lógico
La progresión de la Ruta A a la D muestra un espectro de agencia estudiantil y profundidad estratégica. La ruta más efectiva (C) refleja las prácticas expertas de ingeniería de prompts: descomposición de tareas, refinamiento iterativo y especificidad contextual.
5.3 Fortalezas y Debilidades
Fortalezas: El estudio proporciona datos cualitativos ricos a través de grabaciones de pantalla, capturando el comportamiento auténtico de los estudiantes. La tipología de cuatro rutas es intuitiva y accionable para los educadores.
Debilidades: El tamaño de muestra pequeño (n=12) limita la generalización. El estudio no mide cuantitativamente la mejora en la calidad de la escritura. Además, el efecto de novedad del primer uso de ChatGPT puede sesgar el comportamiento.
5.4 Perspectivas Accionables
Los educadores deberían enseñar explícitamente estrategias de ingeniería de prompts, tales como:
- Descomposición de tareas: Dividir tareas de escritura complejas en sub-prompts más pequeños.
- Refinamiento iterativo: Usar la salida de ChatGPT como retroalimentación para mejorar los prompts.
- Provisión de contexto: Incluir rol, audiencia y formato en los prompts (por ejemplo, "Eres un bloguero de viajes escribiendo para adolescentes").
6. Detalles Técnicos y Formulación Matemática
La ingeniería de prompts puede modelarse como un problema de optimización. Sea $P$ el espacio de prompts, $O$ el espacio de salidas, y $f: P \rightarrow O$ la función de ChatGPT. El objetivo es encontrar $p^*$ tal que:
$$p^* = \arg\max_{p \in P} \, \text{Relevancia}(f(p), T)$$
donde $T$ es la tarea de escritura objetivo. La función de relevancia puede aproximarse mediante la similitud de coseno entre la incrustación de la salida y la incrustación del objetivo en un espacio semántico (por ejemplo, Sentence-BERT). En la práctica, los estudiantes actualizan iterativamente $p$ basándose en $f(p)$ observado:
$$p_{t+1} = p_t + \alpha \cdot \nabla \text{Puntuación}(f(p_t), T)$$
donde $\alpha$ es una tasa de aprendizaje y Puntuación es una métrica de calidad heurística. Esto refleja el ascenso de gradiente en el espacio latente, aunque los estudiantes lo hacen de manera intuitiva.
7. Resultados Experimentales y Descripción del Diagrama
Figura 1: Distribución de Rutas
Un gráfico de barras que muestra la frecuencia de cada ruta: Ruta A (3 estudiantes), Ruta B (4), Ruta C (2), Ruta D (3). El gráfico indica que el refinamiento iterativo (B) fue el más común, mientras que la descomposición andamiada (C) fue la menos común pero la más efectiva.
Figura 2: Número Promedio de Prompts por Ruta
Un gráfico de líneas: Ruta A (1.0 prompts), B (4.5), C (6.0), D (8.3). El gráfico muestra que más prompts no necesariamente se correlacionan con mejores resultados; la Ruta C usó menos prompts que la D pero logró una mayor calidad de escritura (calificada por dos profesores de EFL en una escala del 1 al 5: promedio C 4.2, promedio D 2.8).
8. Caso de Ejemplo del Marco Analítico
Caso: Estudiante S7 (Ruta C - Descomposición Andamiada)
- Prompt 1: "Dame un esquema para un párrafo sobre mi biblioteca favorita. Incluye introducción, detalles sensoriales y por qué es especial."
- Salida de ChatGPT: Proporciona un esquema de 3 puntos.
- Prompt 2: "Expande el punto 2 (detalles sensoriales) en 3 oraciones usando palabras como 'susurro', 'polvoriento', 'cálido'."
- Salida de ChatGPT: Genera oraciones descriptivas.
- Prompt 3: "Combina el esquema y las oraciones en un párrafo coherente. Usa un tono formal."
- Salida Final: Un párrafo bien estructurado con una puntuación de 4.5/5.
Este caso demuestra una descomposición efectiva de tareas y especificidad contextual.
9. Aplicaciones y Direcciones Futuras
La investigación futura debería explorar:
- Entrenamiento automatizado de prompts: Herramientas de IA que proporcionen retroalimentación en tiempo real sobre la calidad del prompt (por ejemplo, "Tu prompt es demasiado vago. Intenta especificar el tono.")
- Ingeniería de prompts multilingüe: Cómo difieren las estrategias para estudiantes de EFL frente a hablantes nativos.
- Estudios longitudinales: Seguimiento de cómo evolucionan las habilidades de ingeniería de prompts de los estudiantes con el tiempo.
- Integración con currículos de escritura: Desarrollo de planes de lecciones que enseñen ingeniería de prompts junto con habilidades de escritura tradicionales.
10. Análisis Original
Este estudio hace una contribución oportuna al mapear empíricamente cómo los estudiantes novatos de EFL interactúan con ChatGPT, revelando una brecha crítica entre la prueba y error intuitiva y la ingeniería de prompts estratégica. El marco de cuatro rutas es una herramienta pedagógica valiosa, pero el tamaño de muestra pequeño y la falta de control por exposición previa a la IA limitan su generalización. El hallazgo de que la descomposición andamiada (Ruta C) produce resultados superiores se alinea con la teoría de la carga cognitiva (Sweller, 1988), que postula que dividir tareas complejas en partes manejables reduce la carga cognitiva y mejora el aprendizaje. Sin embargo, el estudio no aborda la dimensión ética: los estudiantes que dependen de ChatGPT para la generación de ideas podrían plagiar inadvertidamente o perder su propia voz. El trabajo futuro debería integrar la formación en ética digital en los currículos de ingeniería de prompts. Además, la formulación matemática de la optimización de prompts (Sección 6) proporciona una lente rigurosa, pero su aplicabilidad práctica en entornos de aula sigue sin validarse. Para avanzar, los educadores deben tratar la ingeniería de prompts no como un complemento técnico, sino como una habilidad de alfabetización central, similar a la alfabetización en motores de búsqueda (Head & Eisenberg, 2010). Solo entonces los estudiantes podrán aprovechar la IA como un socio colaborativo en lugar de una muleta.
11. Referencias
- Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive–developmental inquiry. American Psychologist, 34(10), 906–911.
- Guo, K., Woo, D. J., & Susanto, H. (2023). Exploring EFL students' prompt engineering strategies with ChatGPT. Computers & Education: Artificial Intelligence, 5, 100156.
- Head, A. J., & Eisenberg, M. B. (2010). How today's college students use the Web for research. Project Information Literacy Progress Report.
- Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2), 257–285.
- Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL secondary students' prompt engineering pathways to complete a writing task with ChatGPT. Journal of Educational Computing Research, 61(4), 789–812.