Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi

Hatice Özlem Anadol, Celal Deha Doğan

Öz


Bu araştırmanın temel amacı; dereceli puanlama anahtarı (DPA) kullanmaya ilişkin deneyim yılının puanlayıcı güvenirliğine etkisini belirlemektir. Bu amaçla (DPA) kullanmaya ilişkin farklı deneyim yılına sahip üç grup puanlayıcının bulunduğu durumlarda elde edilen G ve Phi çalışması sonuçları karşılaştırılmıştır. Birinci grupta DPA kullanmaya ilişkin deneyimi az olan (1 yıl ve daha az ) ikinci grupta DPA kullanmaya ilişkin deneyimi çok olan( 5 yıl ve daha fazla) puanlayıcılar yer almaktadır. Üçüncü grupta ise deneyimi az ve çok olan puanlayıcılar bir arada yer almışlardır. Araştırmada üç farklı grupta yer alan puanlayıcılar İngilizce yazma becerisini ölçmeye yönelik geliştirilmiş açık uçlu bir başarı testini aynı DPA’yı kullanarak puanlamışlardır. Çalışmaya özel bir üniversitede hazırlık eğitimi alan 120 öğrenci ve aynı okulda çalışan 12 okutman dahil edilmiştir. Araştırmada,  birey ve puanlayıcıların maddeler ile çaprazlandığı ancak bireylerin puanlayıcılara yuvalandığı desenden ((b:p)xm) faydalanılmıştır. Araştırma sonucunda nitelikli bir DPA kullanıldığında DPA kullanmaya ilişkin deneyim yılının puanlayıcı güvenirliği üzerinde etkili olmadığı belirlenmiştir.

Tam Metin:

PDF

Referanslar


Aslanoğlu, A. E. ve Kutlu, Ö. (2003). Öğretimde sunu becerilerinin değerlendirilmesinde dereceli puanlama anahtarı (rubric) kullanılmasına ilişkin bir araştırma. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, Sayı 36 (1-2), 25-36.

Büyükkıdık S. ve Anıl, D., (2015). Performansa Dayalı Durum Belirlemede Güvenirliğin Genellenebilirlik Kuramında Farklı Desenlerle İncelenmesi. Eğitim ve Bilim Dergisi: 40 (177), 285-296.

Crocker, L., & Algina, J. (1986). Introduction to Classicaland Modern Test Theory. New York: CBS College Publishing.

Eason, S. H. (1989). Why generalizability theory yields better results than classical test theory. Mid- South Educational Research Association Annual Maeeting: 8-10 November 1989- Little Rock, AR.

Goodwin, L.D. (2001). Interrater agreement and reliability. Measurement in Psychical Educationand Exercises Science, 5 (1), 13-14. http://dx.doi.org/10.1207/S15327841MPEE0501_2.

Kan, A. (2005). Yazılı Yoklamaların Puanlanmasında Puanlama Cetveli ve Yanıt Anahtarı Kullanımının Puanlayıcı Güvenirliğine Etkisi.Eurasian Journal of Educational Research, 5(20), 166-177.

Kan, A. (2007). Performans değerlendirme sürecine katkıları açısından yeni programanlayışı içerisinde kullanılabilecek bir değerlendirme yaklasımı: Dereceli puanlama anahtarı puanlama yönergeleri. Kuram ve Uygulamada Eğitim Bilimleri, 7(1), 129-152.

Kasap, Y. (2008). Dereceli puanlama anahtarı ve puanlama anahtarından elde edilen puanların karşılaştırılması. Yüksek lisans tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.

Kutlu, Ö., Doğan, C. D. ve Karakaya, İ. (2008). Öğrenci başarısının belirlenmesi: Performansa ve portfolyoya dayalı durum belirleme. (3. Baskı), Ankara: Pegem A Yayıncılık.

Önal, İ. (2005). İlköğretim Fen Bilgisi Öğretiminde Performans Dayanıklı Durum Belirleme

Uygulaması Üzerine Bir Çalışma. Yüksek Lisans Tezi, Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü: Ankara.

Moskal, B. M. (2000). Scoring rubrics: what, when and how? Practical Assessment Research and Evaluation, 7 (3), 1-5. (http://pareonline.net/getvn.asp?v=7ven=3.

Moskal, B. M. (2003). Recommendations for Developing Classroom Performance Assessments and Scoring Rubrics. Practical Assessment, Research & Evaluation, 8(14). http://PAREonline.net/getvn.asp?v=8&n=14.

Özel, S. ve Acar, T. (2014).Okullarda Sınıf İçi Ölçmelerde G Katsayısı. IV. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresinde Sözlü Bildiri olarak sunulmuştur. Hacettepe Üniversitesi.

Parlak, B. ve Doğan, N. (2014). Dereceli puanlama anahtarı ve puanlama anahtarından elde edilen puanların uyum düzeyleri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 29(2), 189-197.

Popham, W. J. (1997). What’s stil wrong- and what’s stil rightwithrubric. Educational Leadership, 55(2), 72-75.

Shavelson, R. J. & Webb, N. M. (1991). Generalizability theory: A primer. Newbury Park, CA: Sage.


Refback'ler

  • Şu halde refbacks yoktur.




Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

 

 

 

Creative Commons Lisansı

İlköğretim Online Dergisi Creative Commons Alıntı-Gayriticari 4.0 Uluslararası Lisansı ile lisanslanmıştır.

ISSN: 1305-3515