Estudo de Caso: Percursos de Engenharia de Prompts com ChatGPT para Tarefas de Escrita entre Estudantes Secundários de EFL

1. Introdução

O advento de chatbots de IA generativa de última geração (SOTA), como o ChatGPT, apresenta tanto oportunidades como desafios para a educação, particularmente na aprendizagem de línguas. Este artigo investiga como estudantes secundários de Inglês como Língua Estrangeira (EFL), enquanto utilizadores principiantes, se envolvem na engenharia de prompts—a competência de elaborar instruções para a IA—para completar uma tarefa de escrita. O problema central é que a colaboração eficaz com o ChatGPT não é intuitiva; requer uma competência aprendida que muitos estudantes não possuem, levando a processos ineficientes de tentativa e erro. Este estudo visa mapear os diversos percursos que os estudantes seguem, analisando o conteúdo, a qualidade e a evolução dos seus prompts, para informar estratégias pedagógicas para integrar a literacia de IA na sala de aula de escrita em EFL.

2. Metodologia

Esta investigação emprega uma abordagem qualitativa de estudo de caso. Os dados foram recolhidos a partir de gravações de ecrã de iPad de estudantes secundários de EFL em Hong Kong, utilizando o ChatGPT e chatbots SOTA semelhantes pela primeira vez para completar uma tarefa de escrita padronizada. A análise focou-se num exame detalhado dos prompts gerados pelos estudantes, das suas sequências (percursos) e dos respetivos resultados da IA. O estudo identificou quatro percursos arquetípicos distintos com base em padrões de interação, sofisticação dos prompts e abordagem estratégica.

3. Estudos de Caso: Quatro Percursos de Engenharia de Prompts

A análise revelou quatro padrões primários de interação, representando diferentes níveis de envolvimento e pensamento estratégico.

4. Resultados & Análise

5. Discussão: Implicações para a Educação em Literacia de IA

O estudo sublinha que usar o ChatGPT eficazmente é uma competência aprendida, não uma capacidade inata. A prevalência de percursos minimalistas e iterativos ineficientes entre principiantes sinaliza uma lacuna crítica na educação atual. Os autores defendem a integração explícita da educação em engenharia de prompts nos currículos de EFL. Isto levaria os estudantes para além do método de tentativa e erro, equipando-os com estruturas para formular instruções claras, atribuir papéis, especificar formatos e refinar iterativamente os resultados—transformando a IA de um oráculo de caixa negra numa ferramenta colaborativa.

6. Enquadramento Técnico & Análise

De uma perspetiva técnica, a engenharia de prompts interage com as funções de probabilidade do modelo de linguagem subjacente. Um prompt bem elaborado $P$ guia o modelo $M$ a amostrar de uma região mais restrita e desejável da sua distribuição de resultados $D$ para um dado contexto $C$. O processo pode ser representado abstratamente como a maximização da probabilidade condicional de uma sequência de resultados desejada $O$:

$O^* = \arg\max_{O} P(O | C, P, M)$

Enquanto um prompt vago aumenta a entropia em $D$, levando a resultados genéricos, um prompt específico com restrições (papel, formato, estilo) reduz a entropia, direcionando $M$ para um $O^*$ mais focado. Os percursos dos estudantes representam efetivamente diferentes estratégias para manipular esta probabilidade condicional através de instruções em linguagem natural.

Exemplo de Enquadramento de Análise

Cenário: Um estudante quer que o ChatGPT ajude a escrever um parágrafo persuasivo sobre reciclagem.

• Prompt Fraco (Alta Entropia): "Escreve sobre reciclagem."
  Análise: O modelo tem restrições mínimas, provavelmente gerando uma visão geral ampla, estilo enciclopédia.
• Prompt Forte (Baixa Entropia): "Age como um defensor do ambiente. Escreve um parágrafo persuasivo de 80 palavras dirigido a adolescentes, convencendo-os a reciclar garrafas de plástico. Usa um tom direto e urgente, e inclui uma estatística."
  Análise: Este prompt especifica o papel (defensor), o público-alvo (adolescentes), o objetivo (persuadir), o foco do conteúdo (garrafas de plástico), a extensão (80 palavras), o tom (direto, urgente) e um elemento (estatística). Reduz drasticamente a distribuição de resultados do modelo.

7. Aplicações Futuras & Direções de Investigação

As descobertas abrem várias vias para trabalhos futuros:

• Tutores de Prompting Adaptativos: Desenvolvimento de tutores alimentados por IA que analisam o prompt de um estudante e fornecem feedback em tempo real sobre como melhorá-lo (ex.: "Tenta especificar o teu público-alvo").
• Estudos Longitudinais: Acompanhar como as competências de engenharia de prompts dos estudantes evoluem ao longo do tempo, com e sem instrução formal.
• Comparações Interculturais & Linguísticas: Investigar se as estratégias de engenharia de prompts diferem entre línguas e contextos educativos culturais.
• Integração com a Pedagogia da Escrita: Investigação sobre como os enquadramentos de engenharia de prompts podem ser integrados nos modelos existentes do processo de escrita (pré-escrita, rascunho, revisão).
• Dimensões Éticas & Críticas: Expandir a literacia de IA para além da eficiência, incluindo a avaliação crítica dos resultados da IA, deteção de preconceitos e uso ético.

8. Referências

1. Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL Secondary Students’ Prompt Engineering Pathways to Complete a Writing Task with ChatGPT. Manuscrito em preparação.
2. Caldarini, G., Jaf, S., & McGarry, K. (2022). A Literature Survey of Recent Advances in Chatbots. Information, 13(1), 41.
3. Long, D., & Magerko, B. (2020). What is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16.
4. OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
5. Zhao, W. X., et al. (2023). A Survey of Large Language Models. arXiv preprint arXiv:2303.18223.
6. The Stanford Center for AI Safety. (n.d.). AI Literacy. Obtido de https://aisafety.stanford.edu/ai-literacy