Mantel-Haenszel, Lojistik Regresyon ve Olabilirlik Oranı Değişen Madde Fonksiyonu İnceleme Yöntemlerinin Farklı Yazılımlar Kullanılarak Karşılaştırılması

İlhan Koyuncu, Gökhan Aksu, Hülya Kelecioğlu

Öz


Bu çalışmanın amacı, 2012 yılında yapılan Uluslararası Öğrenci Değerlendirme Programı (PISA) uygulaması öğrenci anketinden alınan bir veri üzerinde klasik test ve madde tepki kuramı yöntemleri ile yapılan değişen madde fonksiyonu (DMF) analizlerinin sonuçlarını karşılaştırmaktır. Araştırmanın çalışma grubu matematik çalışma disipliniyle ilgili 9 maddeye ait kayıp verisi olmayan Türk öğrenciler arasından rastgele örnekleme yöntemiyle seçilen 990 öğrencidir. Matematik başarısı bakımından, öğrencilerin %45’i alt grupta, %55’i ise üst grupta yer almıştır. Veri analiz yöntemleri olarak Mantel-Haenszel, lojistik regresyon ve olabilirlik oranı yöntemleri kullanılmıştır. Analizlerde JMETRIK, DIFAS, Zumbo SPSS Syntax, IRTLRDIF ve IRTPRO yazılımları kullanılmıştır. Araştırma sonuçlarına göre, tüm yöntemlere ve yazılımlara göre ‘ödevi zamanında tamamlama’ maddesinde DMF olduğu belirlenmiştir. Tüm yöntemlerin ve yazılımların sonuçları kısmen benzerlikler göstermekle birlikte farklılıklar da içermektedir. Araştırmadan elde edilen bulgular ve ilgili alan yazın ışığında teori ve pratiğe dönük bazı önerilerde bulunulmuştur.


Tam Metin:

PDF

Referanslar


Acar, T. (2011). Maddenin farklı fonksiyonlaşmasında örneklem büyüklüğü: Genelleştirilmiş aşamalı doğrusal modelleme uygulaması. Kuram ve Uygulamada Eğitim Bilimleri, 11(1), 279-288.

Atar, B. & Kamata, A. (2011) MTK olabilirlik oranı testi ve lojistik regresyon değişen madde fonksiyonu belirleme yöntemlerinin karşılaştırılması. Hacettepe Eğitim Fakültesi Dergisi, 41, 36-47.

Atalay, K., Gök, B., Kelecioğlu, H. & Arsan, N. (2012). Değişen madde fonksiyonunun belirlenmesinde kullanılan farklı yöntemlerin karşılaştırılması: Bir simülasyon çalışması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 43, 270-281.

Atalay Kabasakal, K., & Kelecioğlu, H. (2012). Evaluation of attitude items in PISA 2006 student questionnaire in terms of differential item functioning. Ankara University, Journal of Faculty of Educational Sciences, 45(2), 77-96.

Bakan-Kalaycıoğlu, D. & Kelecioğlu, H. (2011). Öğrenci Seçme Sınavı’nın madde yanlılığı açısından incelenmesi. Eğitim ve Bilim, 36, 161, 3-13.

Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş., & Demirel, F. (2013). Bilimsel araştırma yöntemleri. Ankara: Pegem Akademi.

Cai, L., Du Toit, S. H. C., & Thissen, D. (2011). IRTPRO: Flexible, multidimensional, multiple categorical IRT modeling [Computer software].

Chicago, IL: Scientific Software International.

Camili, G. & Stephard, L. A. (1994). Methods for identifying biased test items. London: Sage Publications.

Doğan, N. & Öğretmen, T. (2008). Değişen madde fonksiyonunu belirlemede Mantel-Haenszel, Ki-Kare ve lojistik regresyon yöntemlerinin karşılaştırılması. Eğitim ve Bilim, 33(148), 100-112.

Dorans, N. J., & Holland, P. W. (1993). DIF detection and description: Mantel Haenszel andstandardization. In P. W. Holland, ve H. Wainer, (Eds.), Differential Item Functioning (pp. 35– 66), New Jersey: USA.

Elosua, P. & Wells, C. S. (2013). Detecting DIF in polytomous items using MACS, IRT and Ordinal Logistic Regression. Psicológica, 34, 327-342.

Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Mahwah, NJ: Lawrence Earlbaum Associates,

Fidalgo, Á. M., Ferreres, D., & Muñiz, J. (2004). Liberal and conservative differential item functioning detection using Mantel-Haenszel and SIBTEST: Implications for Type I and Type II error rates. The Journal of Experimental Education, 73(1), 23-39.

Fraenkel R.J. & Wallen E.N. (2011) How to design and evaluate research in education. New York: McGraw-Hill.

Gao, L. & Wang C. (2005). Using five procedures to detect DIF with passage-based testlets. A paper prepared for the poster presentation at the Graduate Student Poster Session at the annual meeting of the National Council of Measurement inEducation, Montreal, Quebec.

Gierl, M. J., & Khaliq, S. N. (2001). Identifying sources of differential item and bundle functioning on translated achievement tests. Journal of Educational Measurement, 38, 164–187.

Gómez-Benito, J., & Navas-Ara, M. J. (2000). A Comparison of χ2, RFA and IRT based procedures in the detection of DIF. Quality & Quantity, 34(1), 17-31.

Gök, B., Kabasakal, K. A., & Kelecioğlu, H. (2014). PISA2009 öğrenci anketi tutum maddelerinin kültüre göre değişen madde fonksiyonu açısından incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 72-87.

Gök, B., Kelecioğlu, H. & Doğan, N. (2010) Değişen madde fonksiyonunu belirlemede Mantel–Haenszel ve lojistik regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 35 (156), 3-16.

Hambleton, R K., Swaminathan, H. & Rogers, H. J. (1991). Fundamentals of item response theory. London: Sage Publication.

Karakaya, İ. (2012). Seviye belirleme sınavındaki fen ve teknoloji ile matematik alt testlerinin madde yanlılığı açısından incelenmesi. Kuram ve Uygulamada Eğitim Bilimleri 12(1), 215-229.

Karakaya, I. & Kutlu, Ö. (2012). Seviye belirleme sınavındaki Türkçe alt testlerinin madde yanlılığının incelenmesi. Eğitim ve Bilim, 37 (165), 348-362.

Karasar, N. (2005). Bilimsel Araştırma Yöntemi. Ankara: Nobel Yayın Dağıtım.

Köse, I. A. (2015). PISA 2009 öğrenci anketi alt ölçeklerinde (q32-q33) bulunan maddelerin değişen madde fonksiyonu açısından incelenmesi. Kastamonu Eğitim Dergisi, 23(1), 227-240.

Lyons-Thomas, J., Sandilands, D. & Ercikan, K. (2014). Gender differential item functioning in mathematics in four international jurisdictions. Education and Science, 39(172), 20-32.

Osterlind, J. S. (1983). Test item bias. London Sage Publications.

Özdemir, D. (2003). Çoktan seçmeli testlerde iki kategorili ve önsel ağırlıklı puanlamanın değişen madde fonksiyonuna etkisi ile ilgili bir araştırma. Eğitim ve Bilim, 28(129), 37-43.

Potenza, M. T., & Dorans, N. J. (1995). DIF assessment for polytomously scored items: A framework for classification and evaluation. Applied Psychological Measurement, 19(1), 23–37.

Raju, N. S. (1990). Determining the significance of estimated signed and unsigned areas between two item response functions. Applied Psychological Measurement, 14, 197–207.

Mellenberg, G. J. (1989). Item bias and item response theory. International Journal of Educational Research: Applications of Item Response Theory 13, 123–144.

Meyer, J. P. (2014). Applied measurement with jMetrik. Routledge.

Oliveri, M. E., Ercikan, K. & Zumbo, B. (2013). Analysis of sources of latent class differential item functioning in international assessments. International Journal of Testing, 13(3), 272-293, Doi: 10.1080/15305058.2012.738266.

Padilla, J. L., Hidalgo, M. D., Benítez, I. & Benito, J. G. (2012). Comparison of three software programs for evaluating DIF by means of the Mantel_Haenszel procedure: EASY_DIF, DIFAS and EZDIF. Psicológica, 33, 135-156.

Penfield, R. D. (2005). DIFAS: Differential item functioning analysis system, computer program exchange. Applied Psychological Measurement, 29(2), 150-151.

Snow, T. K. & Oshima, T. C. (2009). A comparison of unidimensional and three-dimensional differential item functioning analysis using two-dimensional data. Educational and Psychological Measurement, 69(5), 732-747.

The Organisation for Economic Co-operation and Development [OECD] (2014). PISA 2012 technical report. Paris: OECD.

Thissen, D. (2001). IRTLRDIF v. 2.0 b: Software for the computation of the statistics involved in item response theory likelihood-ratio tests for differential item functioning. Chapel Hill, NC: LL Thurstone Psychometric Laboratory.

Thissen, D., Steinberg, L., & Wainer, H. (1988). Use of item response theory in the study of group differences in trace lines. In H. Wainer & H. I. Braun (Eds.), Test validity (pp. 147-172). Hillsdale, NJ: Lawrence Erlbaum Associates.

Waller, N. G. (1998). EZDIF: Detection of uniform and nonuniform differential item functioning with the Mantel-Haenszel and logistic regression procedures. Applied Psychological Measurement, 22(4), 391-391.

Yıldırım, S. (2008). Farklı isleyen maddelerin belirlenmesinde sınırlandırılmış faktör çözümlemesinin Olabilirlik-Oranı ve Mantel-Haenszel yöntemleriyle karsılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi (H. U. Journal of Education) 34, 297-307.

Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF): Logistic regression modeling as sa unitary framework for binary and likert-type (ordinal) item scores. Ottawa ON: Directorate of Human Resources Research and Evaluation, Department of National Defense.

Zumbo, B. D., & Thomas, D. R. (1997). A measure of effect size for a model-based approach for studying DIF (Working paper of the Edgeworth Laboratory for Quantitative Behavioral Science). Prince George, Canada: University of Northern British Columbia.


Refback'ler

  • Şu halde refbacks yoktur.




Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

 

 

 

Creative Commons Lisansı

İlköğretim Online Dergisi Creative Commons Alıntı-Gayriticari 4.0 Uluslararası Lisansı ile lisanslanmıştır.

ISSN: 1305-3515