DREsS: EFL Eğitiminde Rubrik Tabanlı Otomatik Kompozisyon Puanlama için Kapsamlı Bir Veri Seti

1. Giriş ve Genel Bakış

Otomatik Kompozisyon Puanlama (OKP), İngilizce'nin Yabancı Dil Olarak Öğretildiği (EFL) eğitiminde, gerçek zamanlı geri bildirim ve ölçeklenebilir değerlendirme vaadiyle önemli bir araç haline gelmiştir. Ancak, pratik benimsenmesi kritik bir darboğaz tarafından engellenmektedir: yüksek kaliteli, pedagojik açıdan ilgili eğitim verilerinin eksikliği. Yaygın olarak kullanılan ASAP veri seti gibi mevcut veri setlerinin çoğu yalnızca bütüncül puanlar sağlamakta veya uzman olmayan kişiler tarafından etiketlenmekte, gerçek sınıf ortamlarında gereken nüanslı, çok boyutlu değerlendirmeyi yakalayamamaktadır. Araştırma kıyaslamaları ile eğitim pratiği arasındaki bu boşluk, gerçekten etkili OKP sistemlerinin geliştirilmesini sınırlamaktadır.

Bu makale, bu boşluğu kapatmak için tasarlanmış kapsamlı bir kaynak olan DREsS (EFL Yazma Üzerinde Rubrik Tabanlı Kompozisyon Puanlama için Veri Seti)'i tanıtmaktadır. DREsS, özellikle EFL bağlamlarına uyarlanmış, geniş ölçekli, uzman etiketli ve rubrik uyumlu bir veri seti sağlayarak önceki çalışmaların temel sınırlamalarını ele almaktadır.

Toplam Örnek

48.9K

Gerçek Sınıf Kompozisyonları

2,279

Performans Kazancı

+45.44%

CASE zenginleştirmesi ile

2. DREsS Veri Seti

DREsS, sağlam OKP modelleri oluşturmada her bir bileşenin farklı bir amaca hizmet ettiği üçlü bir veri seti olarak yapılandırılmıştır.

2.1 DREsS New: Gerçek Sınıf Verileri

DREsS'in temel taşı, EFL lisans öğrencileri tarafından yazılmış 2,279 kompozisyondan oluşan DREsS New'dir. Bu kompozisyonlar, İngilizce eğitimi uzmanları tarafından tutarlı bir üç boyutlu rubrik kullanılarak puanlanmıştır:

İçerik: Fikirlerin ilgisi, geliştirilmesi ve derinliği.
Organizasyon: Mantıksal yapı, tutarlılık ve paragraf düzeni.
Dil: Dilbilgisi, kelime dağarcığı ve yazım kuralları.

Bu veri seti, model eğitimi ve değerlendirmesi için bir altın standart sağlar ve gerçek öğrenci hatalarını ve uzman puanlama pratiklerini yansıtır.

2.2 DREsS Std.: Standartlaştırılmış Kıyaslamalar

Karşılaştırılabilirliği sağlamak ve veri havuzunu genişletmek için yazarlar, mevcut birkaç kamuya açık OKP veri setini (ASAP P7, P8; ASAP++ P1, P2; ICNALE EE) birleştirip standartlaştırarak DREsS Std.'yi oluşturmuştur. Bu, orijinal, genellikle tutarsız puanlama rubriklerini birleşik İçerik, Organizasyon ve Dil çerçevesine eşlemeyi içermiştir. DREsS Std., 6,515 standartlaştırılmış örnek ekleyerek, önceki araştırmalar ile yeni rubrik tabanlı paradigma arasında değerli bir köprü sağlar.

2.3 DREsS CASE: Sentetik Zenginleştirme

Önemli bir yenilik, 40,185 örnekten oluşan sentetik olarak üretilmiş bir veri seti olan DREsS CASE (Kompozisyonlar için Bozulma Tabanlı Zenginleştirme Stratejisi)'dir. CASE, mevcut verilerden makul "daha düşük kaliteli" kompozisyon varyantları oluşturmak için rubrik özgü bozulma stratejileri kullanır, böylece eğitim setinin çeşitliliğini ve zorluk aralığını etkili bir şekilde genişletir. Örneğin, mantıksal safsatalar ekleyebilir (İçerik'i bozar) veya geçiş ifadelerini bozabilir (Organizasyon'u bozar). Bu yaklaşım, temel model performansında dikkate değer bir %45.44 iyileşme sağlamıştır ve hedefli veri zenginleştirmesinin gücünü göstermektedir.

3. Teknik Çerçeve ve Metodoloji

3.1 Rubrik Standardizasyonu

DREsS'in faydasının özü, tutarlı üç rubrik çerçevesinde yatmaktadır. Farklı veri setlerinin standardizasyonu, orijinal puanları (örneğin, tek bir "stil" puanı) İçerik, Organizasyon ve Dil boyutlarına eşlemek için uzman danışmanlığı içeren titiz bir süreç gerektirmiştir. Bu, OKP modelleri için, orijinal ASAP veri setindeki (Prompt 1-6) gibi bütüncül puanların ötesine geçen ortak bir değerlendirme dili oluşturur.

3.2 CASE Zenginleştirme Stratejisi

CASE metodolojisi, kural tabanlı bir bozulma motorudur. Her rubrik boyutu için, orijinal kompozisyonlara daha düşük puanlı karşılıklar üretmek üzere belirli dönüşüm kuralları uygulanır. Matematiksel olarak, eğer orijinal bir kompozisyon $E$, içerik, organizasyon ve dil için $S = (s_c, s_o, s_l)$ puan vektörüne sahipse, CASE, hedef daha düşük puan vektörü $S' = (s'_c, s'_o, s'_l)$ ile bozulmuş bir kompozisyon $E'$ üretir, burada $s'_i \leq s_i$. Bozulma fonksiyonları $f_i$ boyut özeldir:

İçerik: $f_c(E)$, ana argümanları ilgisiz veya çelişkili ifadelerle değiştirebilir.
Organizasyon: $f_o(E)$, paragraf sırasını rastgele hale getirebilir veya bağlayıcı ögeleri kaldırabilir.
Dil: $f_l(E)$, dilbilgisi hataları veya uygunsuz kelime seçimleri ekleyebilir.

Bu kontrollü bozulma, zengin bir kompozisyon kalitesi yelpazesi oluşturarak modellerin puanlama için daha sağlam özellik temsilleri öğrenmesini sağlar.

4. Deneysel Sonuçlar ve Performans

Makale, DREsS bileşenleri üzerinde eğitilmiş regresyon modelleri (örn., Destek Vektör Regresyonları) ve sinirsel mimariler (örn., LSTMs, BERT tabanlı modeller) kullanarak güçlü temel çizgiler oluşturmaktadır. Temel bulgular şunları içerir:

Yalnızca DREsS New (gerçek veri) üzerinde eğitilen modeller, o test setinde yüksek doğruluk gösterdi ancak diğer prompt'lara genellenebilirliği sınırlı kaldı, bu da çeşitli veri ihtiyacını vurgulamaktadır.
DREsS Std.'nin dahil edilmesi, modelleri daha geniş bir yazım stili ve konu çeşitliliğine maruz bırakarak prompt'lar arası sağlamlığı artırdı.
DREsS CASE'in dahil edilmesi en önemli artışı sağladı, yalnızca gerçek veri üzerinde eğitilmiş temel çizgiye kıyasla ortalama kare hatasını (MSE) %45.44 azalttı. Bu, sentetik verinin, özellikle insan yazımı derlemlerde yetersiz temsil edilebilecek düşük puan aralıkları için, modellere ince kalite ayrımlarını tanımayı öğretmedeki değerini vurgulamaktadır.

Şekil ve Tablo Yorumu: Sağlanan veri istatistikleri tablosu (PDF'deki Tablo 1), DREsS'in bileşimini ve ölçeğini açıkça göstermektedir. Çubuk grafik (Şekil 1), üç bileşenli yapım sürecini etkili bir şekilde görselleştirir ve CASE'in en büyük veri hacmini ürettiğini vurgular; bu veri stratejik olarak Organizasyon rubriğine (31,086 örnek) odaklanmıştır, muhtemelen çünkü yapısal kusurlar hem EFL yazımında yaygındır hem de kural tabanlı simülasyona uygundur.

5. Analiz Çerçevesi ve Vaka Çalışması

OKP Veri Setlerini Değerlendirme Çerçevesi: DREsS gibi yeni bir OKP veri setini değerlendirirken, araştırmacılar ve uygulayıcılar dört temel unsuru incelemelidir: Pedagojik Geçerlilik (uzman etiketleri, ilgili rubrikler), Teknik Fayda (ölçek, tutarlılık, görev tanımı), Etik ve Pratik Hususlar (veri kaynağı, önyargı, lisans) ve Yenilik (CASE gibi yeni metodolojiler).

Vaka Çalışması: Çerçevenin DREsS'e Uygulanması

Pedagojik Geçerlilik: Yüksek. DREsS New, gerçek EFL sınıflarından kaynaklanır ve standart üçlü bir rubrik kullanan uzmanlar tarafından puanlanır, doğrudan öğretim hedefleriyle uyumludur.
Teknik Fayda: Yüksek. ~49K toplam örnek ve standartlaştırılmış rubriklerle, modern DDA modellerini eğitmek için yeterince büyük ve tutarlıdır. Üç puanlama görevine net ayrım, daha ayrıntılı model geliştirmeye olanak tanır.
Etik ve Pratik Hususlar: Orta ila Yüksek. Gerçek öğrenci verileri etik olarak elde edilmiştir ve veri seti kamuya açıktır, tekrarlanabilirliği teşvik eder. Potansiyel bir sınırlama, belirli bir öğrenci demografisine (Koreli lisans öğrencileri) odaklanılmasıdır, bu genellenebilirliği etkileyebilir.
Yenilik: Yüksek. CASE zenginleştirme stratejisi, eğitim verisi zenginleştirme alanına yapılan yeni ve kanıtlanmış etkili bir katkıdır.

Bu çerçeve, DREsS'i alanı önemli ölçüde ilerleten yüksek kaliteli, yenilikçi bir kaynak olarak doğrulamaktadır.

6. Eleştirel Analiz ve Sektör Perspektifi

Temel İçgörü: DREsS sadece başka bir veri seti değil; OKP araştırmasını kıyaslama performansı yerine pedagojik fayda üzerine yeniden odaklayan stratejik bir müdahaledir. Yazarlar, uzman etiketleyicilerden rubrik tabanlı puanlamayı önceliklendirerek, DDA topluluğunu öğretmenlerin gerçekten güveneceği modeller inşa etmeye zorlamaktadır. Bu değişim, modelleri daha yorumlanabilir ve adil hale getirme çabalarında görüldüğü gibi, yapay zekada insan merkezli ve alana özgü sistemlere doğru daha geniş eğilimi yansıtmaktadır.

Mantıksal Akış ve Stratejik Konumlandırma: Makalenin mantığı kusursuzdur. Alanın sorununu teşhis ederek başlar (pratik, rubrik tabanlı veri eksikliği), üç parçalı bir çare önerir (New, Std., CASE) ve etkinliğin çarpıcı kanıtını sunar (%45.44 kazanç). DREsS Std.'nin dahil edilmesi özellikle ustacadır—önceki çalışmaları atmaz, onları benimser ve standartlaştırır, böylece anında ilgi sağlar ve ASAP'a aşina araştırmacılar tarafından benimsenmeyi kolaylaştırır. Bu, tüm araştırma ekosistemi için sorunsuz bir yükseltme yolu oluşturur.

Güçlü ve Zayıf Yönler: Birincil güçlü yön, bütüncül çözümdür: gerçek veri, standartlaştırılmış miras verisi ve yenilikçi sentetik veri. CASE metodolojisi, basit olmasına rağmen, parlak bir şekilde etkili ve açıklanabilirdir—"kara kutu" üretici yapay zeka zenginleştirmesine kıyasla bir erdemdir. Ancak, ana zayıflık kapsamla ilgilidir. Modelin performansı ve CASE zenginleştirmeleri, seçilen üç rubrik çerçevesine sıkı sıkıya bağlıdır. Peki ya yaratıcılık, argümantasyon gücü veya disipline özgü yazım (örn., bilimsel raporlar)? Ulusal İngilizce Öğretmenleri Konseyi'nin vurguladığı gibi, yazma değerlendirmesi çok yönlüdür. DREsS önemli bir dilimi çözer ancak eleştirel olmadan benimsendiğinde yazma kalitesine dar bir bakış açısını yerleştirebilir.

Eyleme Dönüştürülebilir İçgörüler: EdTech şirketleri için bu bir taslaktır. Diğer diller veya konular için (örn., kodlama ödevleri, hukuki yazım) benzer uzman etiketli, rubrik özgü veri setleri oluşturmaya yatırım yapmak büyük bir rekabet avantajı olabilir. Araştırmacılar için talimat açıktır: bütüncül ASAP puanları üzerinde ince ayar yapmayı bırakın. DREsS'i yeni temel çizgi olarak kullanın. Ayrıca, CASE paradigmasını genişletmeyi araştırın—benzer bozulma modelleri, makine öğreniminin diğer alanlarında araştırıldığı gibi, rakip teknikler aracılığıyla otomatik olarak öğrenilebilir mi? %45.44 iyileşme bir taban, tavan değildir.

7. Gelecekteki Uygulamalar ve Araştırma Yönleri

DREsS, gelecekteki çalışmalar için birkaç umut verici yol açmaktadır:

Kişiselleştirilmiş Geri Bildirim Üretimi: DREsS üzerinde eğitilen modeller, puanlamanın ötesine geçerek spesifik, rubrik uyumlu geri bildirimler üretmek için genişletilebilir (örn., İçerik için "İkinci paragraftaki argümanınız destekleyici kanıttan yoksun").
Diller Arası Aktarım: DREsS üzerinde eğitilen modellerin, çok dilli DDA teknikleri kullanılarak, farklı ana dillere sahip öğrencilerin kompozisyonlarını puanlamak için uyarlanıp uyarlanamayacağının araştırılması.
Akıllı Öğretim Sistemleri (AÖS) ile Entegrasyon: DREsS ile eğitilmiş OKP modellerinin AÖS'lere gömülmesi, yalnızca bir final puanı değil, yazma sürecinde gerçek zamanlı, biçimlendirici değerlendirme sağlamak.
Gelişmiş Zenginleştirmenin Keşfi: Kural tabanlı bozulmanın (CASE) ötesine geçerek, büyük dil modellerini (LLM'ler) farklı kalite seviyelerinde daha nüanslı, bağlam duyarlı kompozisyon varyasyonları üretmek için kullanmak, önyargıyı dikkatle kontrol ederek.
Rubrik Setinin Genişletilmesi: Değerlendirme uzmanlarıyla işbirliği yaparak, Okuyucu Farkındalığı veya Retorik Etkililik gibi ek rubrikler tanımlamak ve veri toplamak, daha da kapsamlı veri setleri oluşturmak.

8. Kaynaklar

Yoo, H., Han, J., Ahn, S., & Oh, A. (2025). DREsS: Dataset for Rubric-based Essay Scoring on EFL Writing. arXiv preprint arXiv:2402.16733v3.
Shermis, M. D., & Burstein, J. (Eds.). (2013). Handbook of automated essay evaluation: Current applications and new directions. Routledge. (OKP alanının temel genel bakışı).
National Council of Teachers of English (NCTE). (2022). Position Statement on Machine Scoring and Assessment of Student Writing. (Bütüncül OKP ile ilgili etik ve pedagojik kaygıları vurgular).
Taghipour, K., & Ng, H. T. (2016). A Neural Approach to Automated Essay Scoring. Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP). (Bütüncül OKP için sinirsel temel çizgi örneği).
Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). (Eşleştirilmemiş veri çevirisi üzerine etkili makale, OKP'deki veri zenginleştirme zorluğuna kavramsal olarak benzer).
Kaggle. (2012). The Hewlett Foundation: Automated Essay Scoring. ASAP Dataset. (Yaygın olarak kullanılan ASAP kıyaslamasının kaynağı).