Índice
1. Introdução
O ChatGPT, um chatbot de IA generativa de última geração (SOTA), ganhou imensa popularidade pelo seu potencial para transformar a educação, particularmente em contextos de escrita de Inglês como Língua Estrangeira (EFL). No entanto, a colaboração eficaz com o ChatGPT exige que os alunos dominem a engenharia de prompt — a habilidade de criar instruções precisas para obter os resultados desejados. Este artigo examina o conteúdo e os padrões dos prompts de alunos de EFL do ensino secundário ao completar uma tarefa de escrita com o ChatGPT pela primeira vez. Através de um estudo de caso de quatro caminhos distintos, os autores ilustram o processo de tentativa e erro e destacam a necessidade de educação explícita em engenharia de prompt nas salas de aula de EFL.
2. Revisão da Literatura
2.1 ChatGPT na Escrita em EFL
O ChatGPT pode auxiliar alunos de EFL gerando ideias, fornecendo sugestões de vocabulário e oferecendo correções gramaticais. No entanto, sem prompts adequados, os resultados podem ser irrelevantes ou inúteis. A pesquisa de Guo et al. (2023) indica que os alunos frequentemente têm dificuldade em formular prompts eficazes, levando a interações abaixo do ideal.
2.2 Engenharia de Prompt como Habilidade
A engenharia de prompt envolve a compreensão das capacidades e limitações do modelo. Requer refinamento iterativo, especificidade e consciência contextual. Estudos (por exemplo, Woo et al., 2023) mostram que usuários não técnicos, incluindo alunos de EFL, geralmente se envolvem em tentativa e erro sem estratégias sistemáticas.
3. Metodologia
3.1 Participantes e Contexto
Os participantes foram 12 alunos de EFL do ensino secundário (idades 15-16) de Hong Kong. Eles usaram o ChatGPT em iPads pela primeira vez para completar uma tarefa de escrita descritiva: "Descreva o seu lugar favorito e explique por que ele é especial para você."
3.2 Coleta de Dados
Os dados foram coletados através de gravações de tela do iPad, capturando cada prompt digitado e a resposta do ChatGPT. Os pesquisadores também realizaram entrevistas pós-tarefa para entender o raciocínio dos alunos.
3.3 Estrutura Analítica
A análise categorizou os prompts por conteúdo (por exemplo, pedido de ideias, ajuda gramatical, revisão) e quantidade (número de prompts por aluno). Quatro caminhos distintos emergiram dos dados.
4. Resultados: Quatro Caminhos de Engenharia de Prompt
4.1 Caminho A: Instrução Direta
Os alunos emitiram um único prompt abrangente (por exemplo, "Escreva um parágrafo de 200 palavras sobre a minha praia favorita, incluindo detalhes sensoriais"). Este caminho produziu resultados aceitáveis, mas limitou o envolvimento do aluno com o processo de escrita.
4.2 Caminho B: Refinamento Iterativo
Os alunos começaram com um prompt amplo (por exemplo, "Ajude-me a escrever sobre o meu lugar favorito") e o refinaram com base na saída do ChatGPT (por exemplo, "Adicione mais detalhes sobre o som das ondas"). Este caminho demonstrou aprendizado através de feedback.
4.3 Caminho C: Decomposição Scaffolded
Os alunos dividiram a tarefa em subtarefas: primeiro pedindo um esboço, depois solicitando vocabulário e, finalmente, pedindo um rascunho completo. Esta abordagem estruturada resultou em resultados de maior qualidade e compreensão mais profunda.
4.4 Caminho D: Tentativa e Erro Exploratório
Os alunos experimentaram com prompts variados sem uma estratégia clara (por exemplo, "Dê-me ideias", depois "Torne-o mais longo", depois "Mude o tom"). Este caminho foi ineficiente e frequentemente levou à frustração.
5. Discussão
5.1 Percepção Central
O estudo revela que a maioria dos alunos de EFL recorre à tentativa e erro na criação de prompts, carecendo de estratégias sistemáticas. Apenas uma minoria (Caminho C) demonstrou decomposição eficaz, o que está alinhado com os princípios do scaffolding metacognitivo (Flavell, 1979).
5.2 Fluxo Lógico
A progressão do Caminho A para o D mostra um espectro de agência do aluno e profundidade estratégica. O caminho mais eficaz (C) espelha as práticas especializadas de engenharia de prompt: decomposição de tarefas, refinamento iterativo e especificidade contextual.
5.3 Pontos Fortes e Fracos
Pontos Fortes: O estudo fornece dados qualitativos ricos através de gravações de tela, capturando o comportamento autêntico dos alunos. A tipologia de quatro caminhos é intuitiva e acionável para educadores.
Pontos Fracos: O tamanho pequeno da amostra (n=12) limita a generalização. O estudo não mede quantitativamente a melhoria na qualidade da escrita. Além disso, o efeito de novidade do primeiro uso do ChatGPT pode distorcer o comportamento.
5.4 Percepções Acionáveis
Os educadores devem ensinar explicitamente estratégias de engenharia de prompt, tais como:
- Decomposição de tarefas: Dividir tarefas de escrita complexas em subprompts menores.
- Refinamento iterativo: Usar a saída do ChatGPT como feedback para melhorar os prompts.
- Fornecimento de contexto: Incluir papel, público e formato nos prompts (por exemplo, "Você é um blogueiro de viagens escrevendo para adolescentes").
6. Detalhes Técnicos e Formulação Matemática
A engenharia de prompt pode ser modelada como um problema de otimização. Seja $P$ o espaço de prompts, $O$ o espaço de saída e $f: P \rightarrow O$ a função ChatGPT. O objetivo é encontrar $p^*$ tal que:
$$p^* = \arg\max_{p \in P} \, \text{Relevância}(f(p), T)$$
onde $T$ é a tarefa de escrita alvo. A função de relevância pode ser aproximada pela similaridade de cosseno entre o embedding da saída e o embedding alvo em um espaço semântico (por exemplo, Sentence-BERT). Na prática, os alunos atualizam iterativamente $p$ com base no $f(p)$ observado:
$$p_{t+1} = p_t + \alpha \cdot \nabla \text{Pontuação}(f(p_t), T)$$
onde $\alpha$ é uma taxa de aprendizado e Pontuação é uma métrica de qualidade heurística. Isso espelha a ascensão de gradiente no espaço latente, embora os alunos o façam intuitivamente.
7. Resultados Experimentais e Descrição do Diagrama
Figura 1: Distribuição dos Caminhos
Um gráfico de barras mostrando a frequência de cada caminho: Caminho A (3 alunos), Caminho B (4), Caminho C (2), Caminho D (3). O gráfico indica que o refinamento iterativo (B) foi o mais comum, enquanto a decomposição scaffolded (C) foi a menos comum, mas a mais eficaz.
Figura 2: Número Médio de Prompts por Caminho
Um gráfico de linhas: Caminho A (1.0 prompts), B (4.5), C (6.0), D (8.3). O gráfico mostra que mais prompts não se correlacionam necessariamente com melhores resultados; o Caminho C usou menos prompts que o D, mas alcançou maior qualidade de escrita (avaliada por dois professores de EFL numa escala de 1 a 5: média C 4.2, média D 2.8).
8. Exemplo de Caso da Estrutura Analítica
Caso: Aluno S7 (Caminho C - Decomposição Scaffolded)
- Prompt 1: "Dê-me um esboço para um parágrafo sobre a minha biblioteca favorita. Inclua introdução, detalhes sensoriais e por que é especial."
- Saída do ChatGPT: Fornece um esboço de 3 pontos.
- Prompt 2: "Expanda o ponto 2 (detalhes sensoriais) em 3 frases usando palavras como 'sussurro', 'empoeirado', 'quente'."
- Saída do ChatGPT: Gera frases descritivas.
- Prompt 3: "Combine o esboço e as frases num parágrafo coerente. Use um tom formal."
- Saída Final: Um parágrafo bem estruturado com pontuação 4.5/5.
Este caso demonstra decomposição eficaz de tarefas e especificidade contextual.
9. Aplicações e Direções Futuras
Pesquisas futuras devem explorar:
- Treinamento automatizado de prompts: Ferramentas de IA que fornecem feedback em tempo real sobre a qualidade do prompt (por exemplo, "Seu prompt é muito vago. Tente especificar o tom.")
- Engenharia de prompt translinguística: Como as estratégias diferem para falantes de EFL vs. nativos.
- Estudos longitudinais: Acompanhar como as habilidades de engenharia de prompt dos alunos evoluem ao longo do tempo.
- Integração com currículos de escrita: Desenvolver planos de aula que ensinem engenharia de prompt juntamente com habilidades tradicionais de escrita.
10. Análise Original
Este estudo faz uma contribuição oportuna ao mapear empiricamente como usuários novatos de EFL interagem com o ChatGPT, revelando uma lacuna crítica entre a tentativa e erro intuitiva e a engenharia de prompt estratégica. A estrutura de quatro caminhos é uma ferramenta pedagógica valiosa, mas o tamanho pequeno da amostra e a falta de controle para exposição prévia à IA limitam sua generalização. A descoberta de que a decomposição scaffolded (Caminho C) produz resultados superiores está alinhada com a teoria da carga cognitiva (Sweller, 1988), que postula que dividir tarefas complexas em partes gerenciáveis reduz o fardo cognitivo e melhora o aprendizado. No entanto, o estudo não aborda a dimensão ética: alunos que dependem do ChatGPT para geração de ideias podem inadvertidamente plagiar ou perder a sua própria voz. Trabalhos futuros devem integrar treinamento em ética digital nos currículos de engenharia de prompt. Além disso, a formulação matemática da otimização de prompts (Seção 6) fornece uma lente rigorosa, mas sua aplicabilidade prática em ambientes de sala de aula permanece não validada. Para avançar, os educadores devem tratar a engenharia de prompt não como um complemento técnico, mas como uma habilidade de literacia central, semelhante à literacia em motores de busca (Head & Eisenberg, 2010). Só então os alunos poderão aproveitar a IA como um parceiro colaborativo, em vez de uma muleta.
11. Referências
- Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive–developmental inquiry. American Psychologist, 34(10), 906–911.
- Guo, K., Woo, D. J., & Susanto, H. (2023). Exploring EFL students' prompt engineering strategies with ChatGPT. Computers & Education: Artificial Intelligence, 5, 100156.
- Head, A. J., & Eisenberg, M. B. (2010). How today's college students use the Web for research. Project Information Literacy Progress Report.
- Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2), 257–285.
- Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL secondary students' prompt engineering pathways to complete a writing task with ChatGPT. Journal of Educational Computing Research, 61(4), 789–812.