Selecionar idioma

Estudo de Caso: Percursos de Engenharia de Prompts com ChatGPT para Tarefas de Escrita entre Alunos do Ensino Secundário de Inglês como Língua Estrangeira

Uma análise de como alunos de Inglês como Língua Estrangeira (ILE) do ensino secundário usam e aprendem engenharia de prompts com o ChatGPT para completar tarefas de escrita, explorando padrões, desafios e implicações educacionais.
learn-en.org | PDF Size: 1.0 MB
Avaliação: 4.5/5
Sua avaliação
Você já avaliou este documento
Capa do documento PDF - Estudo de Caso: Percursos de Engenharia de Prompts com ChatGPT para Tarefas de Escrita entre Alunos do Ensino Secundário de Inglês como Língua Estrangeira

Índice

1. Introdução

O advento de chatbots de IA generativa de última geração (SOTA) como o ChatGPT criou uma mudança de paradigma no apoio à aprendizagem de línguas e à escrita. Ao contrário dos predecessores baseados em regras, estes modelos, construídos sobre arquiteturas de redes neuronais como o Transformer, podem gerar texto coerente e contextualmente relevante. Para os aprendentes de Inglês como Língua Estrangeira (ILE), isto apresenta uma ferramenta poderosa, mas complexa. O desafio central identificado neste estudo é a engenharia de prompts — a competência de elaborar instruções eficazes para obter os resultados desejados da IA. Sem esta competência, os utilizadores, especialmente alunos não técnicos, ficam relegados a um processo frustrante de tentativa e erro, limitando o potencial pedagógico da ferramenta.

Este artigo investiga os comportamentos nascentes de engenharia de prompts de alunos do ensino secundário de ILE a usar o ChatGPT pela primeira vez para completar uma tarefa de escrita. Vai além da discussão teórica para apresentar estudos de caso empíricos e qualitativos que mapeiam percursos distintos de utilizador.

2. Metodologia & Recolha de Dados

A investigação emprega uma abordagem de estudo de caso qualitativo, analisando dados de interação do mundo real de utilizadores novatos.

2.1. Participantes & Tarefa

Os participantes eram alunos do ensino secundário de ILE sem experiência formal prévia no uso de chatbots SOTA como o ChatGPT. O estudo capturou o seu processo através de gravações de ecrã de iPad enquanto interagiam com a IA para completar uma tarefa de escrita definida. Esta metodologia proporciona uma visão crua e não filtrada do processo de colaboração humano-IA.

2.2. Estrutura de Análise de Dados

As gravações de ecrã foram transcritas e analisadas para codificar:

  • Conteúdo do Prompt: Os componentes linguísticos e instrucionais de cada consulta do aluno (ex.: descrição da tarefa, pedidos de estilo, restrições).
  • Quantidade de Prompts: O número de prompts usados para completar a tarefa.
  • Padrão de Interação: A sequência e natureza dos prompts de seguimento com base nas respostas da IA.
  • Qualidade do Resultado: A adequação do texto final gerado pela IA para a tarefa atribuída.

A partir desta análise, foram identificados quatro percursos de utilizador arquetípicos e desenvolvidos em estudos de caso detalhados.

3. Estudos de Caso: Quatro Percursos de Engenharia de Prompts

A análise cristalizou quatro padrões comportamentais distintos, representando um espectro de sofisticação na engenharia de prompts.

3.1. Percurso A: O Minimalista

Este aluno usou um número muito baixo de prompts (ex.: 1-2). O prompt inicial era frequentemente uma tradução simples e direta da instrução da tarefa (ex.: "Escreve uma redação sobre as alterações climáticas"). Mostrou um envolvimento mínimo com o resultado da IA, aceitando o primeiro resultado com pouco ou nenhum refinamento. Este percurso destaca um equívoco de ferramenta-como-oráculo, em que a IA é vista como fornecendo uma resposta completa e final, em vez de um parceiro colaborativo.

3.2. Percurso B: O Refinador Iterativo

Este aluno usou um número moderado de prompts numa sequência linear e iterativa. Começou com um prompt básico, reviu o resultado e emitiu comandos de seguimento para melhorias específicas (ex.: "Torna-o mais longo", "Usa palavras mais simples"). Este percurso demonstra uma compreensão emergente da capacidade de resposta da IA a instruções, mas permanece dentro de uma estrutura básica de pedido de revisão.

3.3. Percurso C: O Inquiridor Estruturado

Este aluno empregou um número maior de prompts com uma abordagem estratégica e multi-etapas. Poderia primeiro pedir à IA para "brainstorm de três ideias para uma redação sobre X", depois selecionar uma, depois pedir um esboço e finalmente solicitar um rascunho baseado nesse esboço. Este percurso reflete uma estratégia metacognitiva mais sofisticada, decompondo o processo de escrita e usando a IA para apoio estruturado em cada etapa.

3.4. Percurso D: O Explorador por Tentativa e Erro

Este aluno usou um grande volume de prompts com variação significativa, mas pouca estratégia aparente. Os prompts mudavam drasticamente no foco e estilo (ex.: de formal a coloquial, de amplo a restrito) sem progressão clara. Este percurso incorpora a experimentação não estruturada que caracteriza a experiência do novato, frequentemente resultando em confusão e uso ineficiente do tempo, embora ocasionalmente possa produzir resultados criativos.

4. Principais Conclusões & Análise

4.1. Padrões de Qualidade & Quantidade de Prompts

O estudo não encontrou uma correlação simples entre o número de prompts e a qualidade do resultado final. O Percurso C (Inquiridor Estruturado) frequentemente produzia o texto mais adequado à tarefa, não necessariamente através do maior número de prompts, mas através dos prompts mais estratégicos e de alta qualidade. A qualidade foi definida pela especificidade, fornecimento de contexto e decomposição da tarefa. Um único prompt bem elaborado (ex.: "Escreve uma redação persuasiva de 300 palavras para uma revista escolar a argumentar a favor de mais caixotes de reciclagem no campus, usando duas estatísticas e um apelo à ação") poderia superar uma dúzia de prompts vagos.

Resumo da Interação

Percurso C (Estruturado) produziu consistentemente os rascunhos finais com classificação mais alta por avaliadores independentes, apesar de nem sempre usar o maior número de interações. Percurso D (Tentativa e Erro) teve a maior variância na qualidade dos resultados.

4.2. O Papel da Literacia em IA

Os percursos ilustram claramente níveis variados de literacia em IA implícita. Os alunos nos Percursos A e D careciam de um modelo mental funcional de como o ChatGPT processa pedidos. Em contraste, os alunos nos Percursos B e C demonstraram uma compreensão incipiente da IA como um sistema estocástico que segue instruções. Intuitivamente, perceberam que entradas mais claras e estruturadas levam a resultados mais previsíveis e úteis. Esta conclusão apoia diretamente os apelos de organizações como a International Society for Technology in Education (ISTE) para integrar fundamentos de literacia em IA nos currículos do ensino básico e secundário.

5. Estrutura Técnica & Análise

Compreender estes percursos requer uma lente técnica. O ChatGPT e modelos semelhantes são baseados na arquitetura Transformer e são fundamentalmente preditores do próximo token. A probabilidade de gerar uma sequência de saída específica $O$ dado um prompt de entrada $P$ é modelada como: $$P(O|P) = \prod_{t=1}^{|O|} P(o_t | P, o_1, ..., o_{t-1})$$ onde $o_t$ é o token na posição $t$. O prompt $P$ do aluno define o contexto inicial e a distribuição de probabilidade para a saída.

Exemplo da Estrutura de Análise: Podemos modelar uma sessão de engenharia de prompts de um aluno como uma máquina de estados. Seja o Estado (S) a janela de contexto atual da conversa (os últimos $k$ tokens). A Ação (A) é o próximo prompt do aluno. A Recompensa (R) é a utilidade percebida da resposta da IA (ex.: uma pontuação subjetiva de 1-5). O objetivo do aluno é aprender uma política $\pi$ que mapeie estados para ações para maximizar a recompensa cumulativa. Os quatro percursos representam diferentes, e frequentemente subótimas, políticas de exploração para este problema de aprendizagem por reforço enfrentado pelo utilizador humano.

Descrição do Gráfico: Um gráfico conceptual representaria a Especificidade do Prompt (Eixo X) contra a Decomposição da Tarefa (Eixo Y). O Percurso A (Minimalista) agrupar-se-ia no quadrante baixo-baixo. O Percurso D (Tentativa e Erro) mostraria uma nuvem dispersa pelo gráfico. O Percurso B (Refinador Iterativo) mostraria um movimento horizontal para a direita (aumentando a especificidade). O Percurso C (Inquiridor Estruturado) ocuparia o quadrante alto-alto, demonstrando tanto alta especificidade como alto uso da decomposição de tarefas nos seus prompts.

6. Implicações Educacionais & Direções Futuras

Implicação Central: Deixar os alunos descobrir a engenharia de prompts por tentativa e erro é pedagogicamente ineficiente e desigual. Favorece os alunos que naturalmente desenvolvem pensamento estratégico (Percurso C) e desfavorece os outros.

Estratégia Aplicável: A instrução explícita e suportada em engenharia de prompts deve ser integrada na pedagogia da escrita em ILE. Isto inclui:

  • Ensinar a estrutura de prompt "Papel-Objetivo-Formato-Restrições".
  • Demonstrar o refinamento iterativo (ex.: usar estrategicamente as funções "regenerar" ou "continuar" do ChatGPT).
  • Avaliar criticamente os resultados da IA quanto a preconceitos, precisão e estilo.

Investigação & Desenvolvimento Futuros:

  • Interfaces de Aprendizagem Adaptativa: Futuros assistentes de escrita com IA poderiam detetar o percurso de um utilizador (ex.: detetando prompts minimalistas) e oferecer sugestões contextuais ou tutoriais para os apoiar em direção a estratégias mais eficazes.
  • Bibliotecas & Modelos de Prompts: Desenvolver modelos de prompts curados e adequados ao nível para tarefas comuns de escrita em ILE (ex.: "gerador de redação de comparação e contraste").
  • Estudos Longitudinais: Acompanhar como os percursos de engenharia de prompts dos alunos evoluem com instrução e experiência ao longo do tempo.
  • Estudos Interlinguísticos & Culturais: Investigar se as estratégias de engenharia de prompts diferem significativamente entre línguas e culturas educacionais.

7. Referências

  1. Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL Secondary Students’ Prompt Engineering Pathways to Complete a Writing Task with ChatGPT. Manuscrito em preparação.
  2. Caldarini, G., Jaf, S., & McGarry, K. (2022). A Literature Survey of Recent Advances in Chatbots. Information, 13(1), 41.
  3. Long, D., & Magerko, B. (2020). What is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16.
  4. Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017).
  5. International Society for Technology in Education (ISTE). (2023). AI Explorations for Educators. Obtido de iste.org.
  6. Zhao, W. X., et al. (2023). A Survey of Large Language Models. arXiv preprint arXiv:2303.18223.

8. Perspetiva do Analista: Desconstruindo a Dança da Escrita Humano-IA

Perceção Central: Este estudo não é realmente sobre o ChatGPT; é uma revelação crua do humano despreparado no ciclo de feedback humano-IA. A ferramenta é exponencialmente mais capaz do que a capacidade do utilizador para a dirigir. Os quatro percursos não são apenas comportamentos; são marcadores diagnósticos para uma nova forma de analfabetismo digital. A verdadeira lacuna de produto não é um LLM melhor, mas uma melhor camada de interface humana que ensine a estratégia de interação em tempo real.

Fluxo Lógico: O artigo identifica corretamente o problema (a tentativa e erro é a predefinição) e fornece evidência empírica elegante através da taxonomia de percursos. O salto lógico que faz — e isto é crucial — é que estes comportamentos de novato não são uma fase temporária. Sem intervenção, os percursos do Minimalista e do Explorador por Tentativa e Erro podem solidificar-se em padrões de uso permanentes e subóptimos, cimentando uma assimetria de poder em que o utilizador é conduzido pelas predefinições da ferramenta em vez de a dirigir. Isto alinha-se com preocupações mais amplas na investigação em IHC, como as discutidas em trabalhos sobre "viés de automação" e "decadência de competências" em sistemas altamente assistidos.

Pontos Fortes & Fraquezas: O ponto forte é a sua metodologia fundamentada e observacional. As gravações de ecrã não mentem. A principal fraqueza, implicitamente reconhecida, é a escala. Quatro percursos de uma amostra limitada são arquétipos convincentes, não categorias definitivas. O estudo também evita o elefante na sala: a avaliação. Se um Minimalista obtiver uma nota de passagem de um professor sobrecarregado usando uma redação gerada por IA, que incentivo tem para aprender engenharia de prompts? As recomendações educacionais do artigo dependem de um sistema que valoriza o processo sobre o produto, o que a maioria das estruturas de avaliação educacional atuais não faz.

Perceções Aplicáveis: Para investidores e programadores de EdTech, a conclusão é clara: a próxima onda de criação de valor está no suporte à engenharia de prompts. Pense num Grammarly para prompts — uma sobreposição que analisa um comando vago inicial de um aluno e sugere: "Tente adicionar um público-alvo e uma contagem de palavras. Clique aqui para ver um exemplo." Para administradores escolares, o mandato é financiar desenvolvimento profissional não apenas sobre usar IA, mas sobre ensinar a pedagogia de interagir com a IA. Este estudo fornece a evidência perfeita para argumentar a favor dessa linha orçamental. Finalmente, para investigadores, a estrutura de percursos é uma lente replicável. Aplique-a a profissionais a usar IA para programação (GitHub Copilot), design ou investigação jurídica. Prevejo que encontrará os mesmos quatro arquétipos, provando que este é um desafio fundamental de interação humano-computador, não apenas um problema de ILE.