Índice
1. Introdução
O ChatGPT, um chatbot de IA generativa de última geração (SOTA), ganhou imensa popularidade pelo seu potencial para transformar a educação, particularmente na escrita de Inglês como Língua Estrangeira (EFL). No entanto, a colaboração eficaz com o ChatGPT exige que os alunos dominem a engenharia de prompt — a habilidade de criar instruções precisas para obter os resultados desejados. Este artigo examina o conteúdo e os padrões dos prompts de alunos de EFL do ensino secundário ao completar uma tarefa de escrita com o ChatGPT pela primeira vez. Através de um estudo de caso de quatro caminhos distintos, os autores ilustram os processos de tentativa e erro que os alunos vivenciam e destacam a necessidade de educação explícita em engenharia de prompt nas salas de aula de EFL.
2. Revisão da Literatura
2.1 Engenharia de Prompt na Educação
A engenharia de prompt é uma habilidade crítica de letramento em IA (Long & Magerko, 2020). Utilizadores não técnicos frequentemente têm dificuldade em criar prompts eficazes, levando a ciclos de tentativa e erro. A pesquisa mostra que a orientação estruturada pode melhorar a qualidade do prompt e a relevância da saída (Zamfirescu-Pereira et al., 2023).
2.2 Escrita em EFL com Chatbots
Chatbots como o ChatGPT podem apoiar a escrita em EFL fornecendo feedback em tempo real, gerando ideias e modelando estruturas linguísticas. No entanto, os alunos devem aprender a refinar iterativamente os prompts para alinhar com os objetivos da tarefa (Guo et al., 2023).
3. Metodologia
3.1 Participantes e Contexto
Os participantes foram 20 alunos de EFL do ensino secundário em Hong Kong, com idades entre 14 e 16 anos, com proficiência intermédia em inglês. Eles usaram o ChatGPT em iPads pela primeira vez para completar uma redação argumentativa de 300 palavras.
3.2 Coleta de Dados
Os dados foram coletados através de gravações de ecrã do iPad, capturando todos os prompts e respostas do ChatGPT. Os pesquisadores também realizaram entrevistas pós-tarefa para entender o raciocínio dos alunos.
3.3 Estrutura Analítica
A análise utilizou uma abordagem de teoria fundamentada para categorizar os prompts por conteúdo (ex.: instrução, contexto, formato) e quantidade (número de prompts por tarefa). Quatro caminhos distintos emergiram dos dados.
4. Resultados: Quatro Caminhos de Engenharia de Prompt
4.1 Caminho A: Iteração Minimalista
Os alunos usaram 2-3 prompts curtos (ex.: "Escreve uma redação sobre poluição"). Raramente revisavam os prompts com base na saída do ChatGPT, resultando em respostas genéricas. Este caminho reflete um baixo envolvimento com a engenharia de prompt.
4.2 Caminho B: Refinamento Scaffolded
Os alunos começaram com um prompt amplo e depois adicionaram restrições específicas (ex.: "Inclui três argumentos e um contra-argumento"). Usaram 4-6 prompts, mostrando melhoria iterativa na qualidade da saída.
4.3 Caminho C: Exploração Divergente
Os alunos experimentaram diferentes estilos de prompt (ex.: role-playing, mudanças de formato). Usaram 7-10 prompts, mas faltou-lhes uma estratégia clara, levando a saídas inconsistentes.
4.4 Caminho D: Decomposição Estratégica
Os alunos dividiram a tarefa em subtarefas (ex.: "Gera primeiro um esboço, depois escreve a introdução"). Usaram 8-12 prompts com alta especificidade, alcançando as redações mais coerentes e relevantes.
5. Discussão
5.1 Percepção Central
O estudo revela que a engenharia de prompt dos alunos de EFL é altamente variável. A decomposição estratégica (Caminho D) produz os melhores resultados, mas a maioria dos alunos recorre a abordagens minimalistas ou divergentes. Isso sublinha uma lacuna crítica na educação de letramento em IA.
5.2 Fluxo Lógico
A progressão do Caminho A para o D mostra uma correlação clara entre a sofisticação do prompt e a qualidade da saída. No entanto, a falta de instrução explícita significa que os alunos raramente alcançam o Caminho D sem orientação.
5.3 Pontos Fortes e Fracos
Pontos Fortes: O estudo fornece dados qualitativos ricos de ambientes reais de sala de aula, oferecendo perceções autênticas sobre o comportamento dos alunos. Fracos: O tamanho pequeno da amostra (n=20) limita a generalização. O estudo também não controla a exposição prévia à IA.
5.4 Percepções Acionáveis
Os educadores devem integrar a engenharia de prompt nos currículos de EFL, ensinando os alunos a decompor tarefas, usar restrições específicas e refinar iterativamente os prompts. As escolas devem fornecer scaffolding estruturado, como modelos de prompt e revisão por pares dos prompts.
6. Análise Original
Este estudo faz uma contribuição oportuna ao mapear empiricamente como utilizadores novatos de EFL interagem com o ChatGPT. Os quatro caminhos ecoam descobertas da pesquisa de interação humano-computador, onde os utilizadores frequentemente caem em comportamentos de "satisfação" (Simon, 1956)—aceitando a primeira saída aceitável em vez de otimizar. O caminho de decomposição estratégica alinha-se com o conceito de "chain-of-thought prompting" (Wei et al., 2022), que melhora o raciocínio em grandes modelos de linguagem. No entanto, a dependência do estudo numa única tarefa de escrita e no tamanho pequeno da amostra limita a sua validade externa. Pesquisas futuras devem explorar intervenções longitudinais que ensinem a engenharia de prompt como uma habilidade metacognitiva. Os autores acertadamente pedem a integração do letramento em IA nos currículos de EFL, mas não fornecem uma estrutura pedagógica concreta. Uma abordagem mais acionável seria desenvolver uma "rubrica de engenharia de prompt" que andaine os alunos desde estratégias básicas até avançadas. Além disso, o estudo não aborda preocupações éticas, como a dependência excessiva da IA ou o plágio, que são críticas em ambientes educacionais. Apesar destas limitações, o trabalho é um primeiro passo valioso para entender como os alunos aprendem a colaborar com IA generativa.
7. Detalhes Técnicos e Formulação Matemática
A engenharia de prompt pode ser formalizada como um problema de otimização. Seja $P$ o conjunto de todos os prompts possíveis, e $O$ a saída do ChatGPT dado um prompt $p \in P$. O objetivo do aluno é encontrar $p^*$ que maximize a qualidade da saída $Q(O)$ sujeito às restrições da tarefa $C$:
$$p^* = \arg\max_{p \in P} Q(\text{ChatGPT}(p)) \quad \text{s.t.} \quad C(p) \leq \epsilon$$
Na prática, os alunos realizam uma busca gananciosa, atualizando iterativamente $p_{t+1} = p_t + \Delta_t$, onde $\Delta_t$ é uma modificação baseada na saída anterior. Os quatro caminhos representam diferentes estratégias de busca: o Caminho A usa $\Delta_t$ pequeno, o Caminho B usa $\Delta_t$ estruturado, o Caminho C usa $\Delta_t$ aleatório, e o Caminho D usa decomposição hierárquica.
8. Resultados Experimentais e Descrição do Diagrama
Figura 1: Visão Geral dos Caminhos de Engenharia de Prompt
Um diagrama de fluxo mostrando quatro ramos a partir de um nó central rotulado como "Tarefa de Escrita". Cada ramo representa um caminho (A, B, C, D) com setas indicando iterações de prompt. O Caminho D mostra sub-laços para geração de esboço, introdução, corpo e conclusão. O diagrama usa codificação por cores: vermelho para o Caminho A (minimalista), azul para o B (scaffolded), verde para o C (divergente) e dourado para o D (estratégico).
Tabela 1: Métricas Chave por Caminho
| Caminho | Média de Prompts | Qualidade da Saída (1-5) | Tempo (min) |
|---|---|---|---|
| A | 2.5 | 2.1 | 8 |
| B | 5.0 | 3.4 | 15 |
| C | 8.5 | 2.8 | 22 |
| D | 10.0 | 4.2 | 28 |
O Caminho D alcança a maior qualidade de saída, mas requer mais tempo e prompts, sugerindo um trade-off entre eficiência e eficácia.
9. Exemplo de Estrutura Analítica
Exemplo de Caso: Aluno S7 (Caminho D)
Prompt 1: "Gera um esboço de três pontos para uma redação argumentativa sobre uniformes escolares."
Prompt 2: "Escreve um parágrafo de introdução baseado no esboço. Usa um gancho e uma declaração de tese clara."
Prompt 3: "Expande o primeiro parágrafo do corpo. Inclui uma frase tópico, evidência e explicação."
Prompt 4: "Adiciona um parágrafo de contra-argumento e refuta-o."
Prompt 5: "Escreve uma conclusão que resuma os pontos principais e reafirme a tese."
Esta estratégia de decomposição espelha o processo de escrita ensinado nas salas de aula de EFL, demonstrando como a engenharia de prompt pode ser alinhada com as melhores práticas pedagógicas.
10. Aplicações e Direções Futuras
As descobertas apontam para várias direções futuras: (1) Desenvolvimento de currículos de letramento em IA que ensinem explicitamente a decomposição de prompts e o refinamento iterativo. (2) Integração da engenharia de prompt em programas de formação de professores. (3) Projeto de sistemas de tutoria adaptativa que forneçam feedback em tempo real sobre a qualidade do prompt. (4) Estudos longitudinais que acompanhem como as habilidades de engenharia de prompt dos alunos evoluem ao longo do tempo. (5) Exploração de estruturas éticas para garantir o uso responsável da IA na educação. À medida que a IA generativa se torna ubíqua, a engenharia de prompt será uma habilidade fundamental, análoga ao letramento digital na década de 1990.
11. Referências
- Guo, K., et al. (2023). Second language writing and AI chatbots. Computers & Education, 198, 104789.
- Long, D., & Magerko, B. (2020). What is AI literacy? Proceedings of the 2020 CHI Conference, 1-13.
- Simon, H. A. (1956). Rational choice and the structure of the environment. Psychological Review, 63(2), 129-138.
- Wei, J., et al. (2022). Chain-of-thought prompting elicits reasoning in large language models. NeurIPS 2022.
- Zamfirescu-Pereira, J. D., et al. (2023). Why Johnny can't prompt. Communications of the ACM, 66(8), 64-73.