ظهور چتباتهای هوش مصنوعی مولد پیشرفته (SOTA) مانند ChatGPT، تغییر پارادایمی در یادگیری زبان و پشتیبانی از نگارش ایجاد کرده است. برخلاف نسلهای پیشین مبتنی بر قاعده، این مدلها که بر پایه معماریهای شبکه عصبی مانند ترنسفورمر ساخته شدهاند، میتوانند متنی منسجم و مرتبط با زمینه تولید کنند. برای زبانآموزان انگلیسی به عنوان زبان خارجی (EFL)، این یک ابزار قدرتمند و در عین حال پیچیده است. چالش اصلی شناسایی شده در این مطالعه، مهندسی پرامپت است - مهارت تدوین دستورالعملهای مؤثر برای استخراج خروجیهای مطلوب از هوش مصنوعی. بدون این مهارت، کاربران، به ویژه دانشآموزان غیرفنی، به فرآیندی ناامیدکننده از آزمون و خطا تنزل مییابند که پتانسیل آموزشی ابزار را محدود میکند.
این مقاله به بررسی رفتارهای نوپای مهندسی پرامپت دانشآموزان دبیرستانی زبان انگلیسی به عنوان زبان خارجی میپردازد که برای اولین بار از ChatGPT برای انجام یک تکلیف نوشتاری استفاده میکنند. این مقاله فراتر از بحث نظری رفته و مطالعات موردی کیفی تجربی ارائه میدهد که مسیرهای متمایز کاربران را ترسیم میکند.
این پژوهش از رویکرد مطالعه موردی کیفی استفاده میکند و دادههای تعامل دنیای واقعی از کاربران مبتدی را تحلیل میکند.
شرکتکنندگان، دانشآموزان دبیرستانی زبان انگلیسی به عنوان زبان خارجی بودند که هیچ تجربه رسمی قبلی در استفاده از چتباتهای پیشرفتهای مانند ChatGPT نداشتند. این مطالعه فرآیند کار آنها را از طریق ضبط صفحه آیپد در حین تعامل با هوش مصنوعی برای انجام یک تکلیف نوشتاری مشخص، ثبت کرد. این روششناسی، دیدی خام و بدون فیلتر از فرآیند همکاری انسان و هوش مصنوعی ارائه میدهد.
ضبطهای صفحه نمایش رونویسی و برای کدگذاری موارد زیر تحلیل شدند:
از این تحلیل، چهار مسیر کاربری آرکیتیپال شناسایی و به مطالعات موردی تفصیلی توسعه یافتند.
تحلیل، چهار الگوی رفتاری متمایز را تبلور بخشید که طیفی از پیچیدگی مهندسی پرامپت را نشان میدهند.
این دانشآموز از تعداد بسیار کمی پرامپت استفاده کرد (مثلاً ۱-۲ عدد). پرامپت اولیه اغلب ترجمهای ساده و مستقیم از دستورالعمل تکلیف بود (مثلاً "یک مقاله درباره تغییرات آب و هوایی بنویس"). آنها حداقل تعامل را با خروجی هوش مصنوعی نشان دادند و اولین نتیجه را با اصلاح اندک یا بدون اصلاح پذیرفتند. این مسیر بر سوءتفاهم ابزار به عنوان غیبگو تأکید میکند، جایی که هوش مصنوعی به عنوان ارائهدهنده پاسخی کامل و نهایی دیده میشود، نه یک شریک همکار.
این دانشآموز از تعداد متوسطی پرامپت در یک توالی خطی و تکراری استفاده کرد. آنها با یک پرامپت پایه شروع کردند، خروجی را مرور کردند و دستورات پیگیری برای بهبودهای خاص صادر کردند (مثلاً "آن را طولانیتر کن"، "از کلمات سادهتر استفاده کن"). این مسیر درک در حال ظهور از پاسخگویی هوش مصنوعی به دستورالعمل را نشان میدهد اما در چارچوب پایهای درخواست بازنگری باقی میماند.
این دانشآموز از تعداد بیشتری پرامپت با رویکردی راهبردی و چندمرحلهای استفاده کرد. آنها ممکن است ابتدا از هوش مصنوعی بخواهند "برای یک مقاله درباره X سه ایده طوفان فکری بده"، سپس یکی را انتخاب کنند، سپس یک چارچوب کلی درخواست کنند و در نهایت یک پیشنویس بر اساس آن چارچوب کلی بخواهند. این مسیر بازتابدهنده یک راهبرد فراشناختی پیچیدهتر است که فرآیند نوشتن را تجزیه میکند و از هوش مصنوعی برای پشتیبانی ساختاریافته در هر مرحله استفاده میکند.
این دانشآموز از حجم بالایی پرامپت با تنوع قابل توجه اما با راهبرد آشکار کمی استفاده کرد. پرامپتها به طور چشمگیری در تمرکز و سبک تغییر میکردند (مثلاً از رسمی به عامیانه، از گسترده به محدود) بدون پیشرفت واضح. این مسیر تجسمدهنده آزمایش بیساختار است که تجربه مبتدیان را مشخص میکند و اغلب منجر به سردرگمی و استفاده ناکارآمد از زمان میشود، اگرچه گاهی ممکن است به نتایج خلاقانهای منجر شود.
این مطالعه هیچ همبستگی سادهای بین تعداد پرامپتها و کیفیت خروجی نهایی پیدا نکرد. مسیر ج (پرسشگر ساختاریافته) اغلب متنهای مناسبترین برای تکلیف را تولید میکرد، نه لزوماً از طریق بیشترین پرامپت، بلکه از طریق پرامپتهای راهبردی و باکیفیتتر. کیفیت با مشخص بودن، ارائه زمینه و تجزیه تکلیف تعریف میشد. یک پرامپت مهندسیشده خوب (مثلاً "یک مقاله متقاعدکننده ۳۰۰ کلمهای برای مجله مدرسه بنویس که برای نصب سطلهای بازیافت بیشتر در محوطه دانشگاه استدلال میکند، با استفاده از دو آمار و یک دعوت به اقدام") میتوانست از یک دوجین پرامپت مبهم بهتر عمل کند.
مسیر ج (ساختاریافته) به طور مداوم پیشنویسهای نهایی با بالاترین امتیاز را توسط ارزیابان مستقل تولید کرد، علیرغم اینکه همیشه از بیشترین نوبتها استفاده نمیکرد. مسیر د (آزمون و خطا) بیشترین واریانس را در کیفیت نتیجه داشت.
مسیرها به وضوح سطوح مختلف سواد ضمنی هوش مصنوعی را نشان میدهند. دانشآموزان در مسیرهای الف و د فاقد یک مدل ذهنی عملکردی از نحوه پردازش درخواستها توسط ChatGPT بودند. در مقابل، دانشآموزان در مسیرهای ب و ج درک در حال رشدی از هوش مصنوعی به عنوان یک سیستم احتمالی و دنبالکننده دستورالعمل نشان دادند. آنها به طور شهودی درک کردند که ورودیهای واضحتر و ساختاریافتهتر منجر به خروجیهای قابل پیشبینیتر و مفیدتر میشوند. این یافته مستقیماً از فراخوانهای سازمانهایی مانند انجمن بینالمللی فناوری در آموزش (ISTE) برای ادغام اصول اولیه سواد هوش مصنوعی در برنامههای درسی پایه تا دوازدهم حمایت میکند.
درک این مسیرها نیازمند یک لنز فنی است. ChatGPT و مدلهای مشابه بر اساس معماری ترنسفورمر هستند و اساساً پیشبینیکننده توکن بعدی هستند. احتمال تولید یک دنباله خروجی خاص $O$ با توجه به یک پرامپت ورودی $P$ به صورت زیر مدل میشود: $$P(O|P) = \prod_{t=1}^{|O|} P(o_t | P, o_1, ..., o_{t-1})$$ که در آن $o_t$ توکن در موقعیت $t$ است. پرامپت دانشآموز $P$ زمینه اولیه و توزیع احتمال را برای خروجی تنظیم میکند.
مثال چارچوب تحلیل: میتوانیم یک جلسه مهندسی پرامپت دانشآموز را به عنوان یک ماشین حالت مدل کنیم. اجازه دهید حالت (S) پنجره زمینه فعلی مکالمه (آخرین $k$ توکن) باشد. عمل (A) پرامپت بعدی دانشآموز است. پاداش (R) مفید بودن درک شده پاسخ هوش مصنوعی است (مثلاً یک امتیاز ذهنی از ۱ تا ۵). هدف دانشآموز یادگیری یک سیاست $\pi$ است که حالتها را به اعمالی نگاشت میکند که پاداش تجمعی را بیشینه میکنند. چهار مسیر، سیاستهای اکتشافی مختلف و اغلب زیربهینه را برای این مسئله یادگیری تقویتی که کاربر انسانی با آن مواجه است، نشان میدهند.
شرح نمودار: یک نمودار مفهومی، مشخص بودن پرامپت (محور X) را در مقابل تجزیه تکلیف (محور Y) ترسیم میکند. مسیر الف (کمینهگرا) در ربع پایین-پایین خوشه میشد. مسیر د (آزمون و خطا) یک ابر پراکنده در سراسر نمودار نشان میداد. مسیر ب (پالاینده تکراری) یک حرکت افقی به سمت راست (افزایش مشخص بودن) نشان میداد. مسیر ج (پرسشگر ساختاریافته) ربع بالا-بالا را اشغال میکرد و هم مشخص بودن بالا و هم استفاده بالا از تجزیه تکلیف را در پرامپتهای خود نشان میداد.
پیامد اصلی: رها کردن دانشآموزان برای کشف مهندسی پرامپت از طریق آزمون و خطا، از نظر آموزشی ناکارآمد و ناعادلانه است. این به نفع دانشآموزانی است که به طور طبیعی تفکر راهبردی توسعه میدهند (مسیر ج) و به دیگران ضرر میزند.
راهبرد عملی: آموزش صریح و داربستبندی شده مهندسی پرامپت باید در آموزش نگارش زبان انگلیسی به عنوان زبان خارجی ادغام شود. این شامل موارد زیر است:
پژوهش و توسعه آینده:
بینش اصلی: این مطالعه واقعاً درباره ChatGPT نیست؛ این یک افشای صریح از انسان آمادهنشده در حلقه بازخورد انسان-هوش مصنوعی است. این ابزار به طور نمایی تواناتر از توانایی کاربر برای هدایت آن است. چهار مسیر فقط رفتارها نیستند؛ آنها نشانگرهای تشخیصی برای شکلی جدید از بیسوادی دیجیتال هستند. شکاف واقعی محصول، یک مدل زبانی بزرگ بهتر نیست، بلکه یک لایه رابط انسانی بهتر است که راهبرد تعامل را در زمان واقعی آموزش میدهد.
جریان منطقی: مقاله به درستی مسئله را شناسایی میکند (آزمون و خطا حالت پیشفرض است) و از طریق ردهبندی مسیرها، شواهد تجربی ظریفی ارائه میدهد. جهش منطقی که انجام میدهد - و این حیاتی است - این است که این رفتارهای مبتدی یک مرحله موقت نیستند. بدون مداخله، مسیرهای کمینهگرا و کاوشگر آزمون و خطا میتوانند به الگوهای استفاده زیربهینه دائمی تبدیل شوند و یک عدم تقارن قدرت را تثبیت کنند که در آن کاربر توسط پیشفرضهای ابزار هدایت میشود نه اینکه آن را هدایت کند. این با نگرانیهای گستردهتر در پژوهش تعامل انسان و رایانه همسو است، مانند آنچه در آثار مربوط به "سوگیری اتوماسیون" و "زوال مهارت" در سیستمهای با کمکرسانی بالا بحث شده است.
نقاط قوت و ضعف: نقطه قوت آن، روششناسی مبتنی بر مشاهده است. ضبطهای صفحه نمایش دروغ نمیگویند. ضعف اصلی، که به طور ضمنی تصدیق شده، مقیاس است. چهار مسیر از یک نمونه محدود، آرکیتیپهای قانعکنندهای هستند، نه مقولههای قطعی. این مطالعه همچنین از فیل سفید در اتاق اجتناب میکند: ارزیابی. اگر یک کمینهگرا از یک معلم پرکار با استفاده از یک مقاله تولید شده توسط هوش مصنوعی نمره قبولی بگیرد، چه انگیزهای برای یادگیری مهندسی پرامپت دارد؟ توصیههای آموزشی مقاله بر سیستمی متکی است که فرآیند را بر محصول ارزش مینهد، که اکثر چارچوبهای ارزیابی آموزشی فعلی اینگونه نیستند.
بینشهای عملی: برای سرمایهگذاران و توسعهدهندگان فناوری آموزشی، نتیجه روشن است: موج بعدی ایجاد ارزش در داربستبندی مهندسی پرامپت است. به گرامرلی برای پرامپتها فکر کنید - یک لایه رویی که دستور اولیه مبهم دانشآموز را تحلیل میکند و پیشنهاد میدهد: "سعی کنید یک مخاطب هدف و تعداد کلمات اضافه کنید. برای دیدن یک مثال اینجا کلیک کنید." برای مدیران مدارس، وظیفه تأمین مالی توسعه حرفهای نه فقط در استفاده از هوش مصنوعی، بلکه در آموزش روش تدریس تعامل با هوش مصنوعی است. این مطالعه شواهد کاملی برای استدلال در مورد آن خط بودجه ارائه میدهد. در نهایت، برای پژوهشگران، چارچوب مسیر یک لنز قابل تکرار است. آن را روی متخصصانی که از هوش مصنوعی برای کدنویسی (GitHub Copilot)، طراحی یا پژوهش حقوقی استفاده میکنند اعمال کنید. پیشبینی میکنم همان چهار آرکیتیپ را پیدا خواهید کرد، که ثابت میکند این یک چالش اساسی تعامل انسان و رایانه است، نه فقط یک مسئله زبان انگلیسی به عنوان زبان خارجی.