ULUSLARARASI ÖĞRENCİ DEĞERLENDİRME PROGRAMI (PISA-2012) OKURYAZARLIK TESTLERİNİN ÖLÇME DEĞİŞMEZLİĞİNİN İNCELENMESİ

Betül Karakoç Alatlı, Ömay Çokluk Bökeoğlu

Öz


Öz.Bu araştırma ile PISA-2012 matematik ve fen okuryazarlığı ile okuma becerileri alt testlerinin dil değişkenine göre ölçme değişmezliğinin incelenmesi amaçlanmıştır. Araştırma tarama modelinde betimsel bir araştırma olması ile birlikte PISA 2012 uygulamasına katılan Avustralya, Fransa, Şangay-Çin ve Türkiye örneklemlerinde 3 no’lu kitapçığı (yayınlanan maddelerin en fazla sayıda ve üç alandan da maddelerin bulunduğu tek kitapçık) alan 2149 öğrenciden elde edilen veriler üzerinden yürütülmüştür. Testlerin farklı dil formlarına ilişkin, faktör yapılarının değişmezliği Çok Gruplu Doğrulayıcı Faktör Analizi (ÇGDFA) ile maddelerin değişen madde fonksiyonu gösterme durumları ise Genelleştirilmiş Aşamalı Doğrusal Modelleme (GADM), Simultaneous Item Bias Test (SIBTEST) ve Madde Tepki Kuramı'na dayalı Olabilirlik Oran (MTK-OO) teknikleri ile incelenmiştir. İstatistiksel yöntemlerin yanı sıra olası yanlılık kaynakları uzman görüşleri doğrultusunda belirlenmiştir. Her üç alt test için yapılan ÇGDFA sonuçlarına göre testlerin dil değişkenine göre yapısal değişmezlik gösterdiği ancak metrik değişmezlik göstermediği belirlenmiştir. DMF analiz sonuçları değerlendirilirken her üç DMF belirleme tekniğine göre ve en az B düzeyinde DMF gösteren maddeler DMF'li kabul edilmiştir. Buna göre matematik ve fen okuryazarlığı ile okuma becerileri testlerinde dil değişkenine göre, DMF’li olarak kabul edilen maddeler sırasıyla testlerin ortalama %35’i, %34’ü ve %22’sini oluştururken, ölçme değişmezliği gösteren maddeler sırasıyla testlerin %24’ü, %7’si ve %36’sını oluşturmaktadır. Her üç alanda da en fazla DMF’li madde İngilizce ve Çince formu alan gruplar arasında belirlenmiştir. Yanlılık çalışması sonuçlarına göre olası yanlılık kaynakları; maddede yer alan sözcük ya da ifadelerin farklı anlamda kullanımı, madde içeriğine bir dil grubunun aşina olması ve çeviriye bağlı olarak maddelerin farklılaşması olarak belirlenmiştir.

 

Anahtar sözcükler: Ölçme değişmezliği, Değişen Madde Fonksiyonu, Yanlılık, Uluslararası Öğrenci Değerlendirme Programı


Tam Metin:

PDF

Referanslar


Abbott, M.L. (2007). A confirmatory approach to differential item functioning on an esl reading assessment. Language Testing 2007, 24(1), 7–36 http://ltj.sagepub.com/content/24/1/7 adresinden alınmıştır.

Acar, T. (2008). Maddenin farklı fonksiyonlaşmasını belirlemede kullanılan genelleştirilmiş aşamalı doğrusal modelleme, lojistik regresyon ve olabilirlik oranı tekniklerinin karşılaştırılması (Yayımlanmamış doktora tezi). Hacettepe Üniversitesi, Ankara.

American Educational Research Association, American Psychological Association, National Council on Measurement in Education [AERA/APA/NCME]. (1999). Standards for educational and psychological testing. Washington, DC: American Psychological Association.

Anderson, J., A. (2005). Accountability in Education. Education Policy series Vol. 1. Unesco International Academy of Education, International Institute for Educational Planing. http://unesdoc.unesco.org/images/0014/001409/140986e.pdf adresinden alınmıştır

Atalay, K., Gök, B., Kelecioğlu, H. ve Arsan, N. (2012). Değişen madde fonksiyonunun belirlemesinde kullanılan farklı yöntemlerin karşılaştırılması bir simülasyon çalışması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 43: 270-281

Brown, T. A. (2006). Confirmatory factor analysis for applied research. New York: The Guilford Press.

Breakspear, S. (2012), The policy impact of PISA: An exploration of the normative effects of international benchmarking in school system performance. OECD Education Working Papers, 71, OECD Publishing. http://dx.doi.org/10.1787/5k9fdfqffr28-en adresinden

Bakan Kalaycıoğlu, D. ve Berberoğlu, G. (2010). Differential item functioning analysis of the science and mathematics items in the university entrance examinations in Turkey. Journal of Psychoeducational Assessment, 20, 1-12.

Baş, H. (2005). Hesap verme sorumluluğu ve kamu yönetimi ve kontrol kanunu, 20. Türkiye Maliye Sempozyumu Türkiye’de Yeniden Mali Yapılanma (23-27 Mayıs). Pamukkale Üniversitesi, İktisadi Ticari Bilimlşer Fakültesi’nde sunulan bildiri.

Camilli, G. and Shepard, L. A. (1994). Methods for identifying biased test items. Thousand Oaks, CA: Sage.

Cheung, G. W. and Rensvold, R. B. (2000). Assessing extreme and acquiescence response sets in cross-cultural research using structural equations modeling. Journal of Cross-cultural Psychology, 31(2), 188-213.

Çet, S. (2006). A Multivariate analysis ın detectıng differentially functioning items through the use of programme for international student assessment (PISA) 2003 mathematıcs literacy items (Yayınlanmamış doktora tezi). Ortadoğu Teknik Üniversitesi, Ankara

Çepni, Z. (2011). Degişen madde fonksiyonlarının SIBTEST, Mantel Haenszel, Lojistik Regresyon ve Madde Tepki Kuramı yöntemleriyle incelenmesi (Yayımlanmamış doktora tezi). Hacettepe Üniversitesi, Ankara.

Demirtaşlı, R. N. (2014). Öğrenme, öğretim ve değerlendirme arasındaki ilişkiler. N. Demirtaşlı (Ed), Eğitimde Ölçme ve Değerlendirme İçinde (2. Baskı) (3-29). Edge Akademi: Ankara

Drasgow, F. and Kanfer, R. (1985). Equivalence of psychological measurement in heterogeneous populations. Journal of Applied Psychology, 70(4), 662-680.

Embretson, S.E. and Reise, S. (2000). Item response theory for psychologists. Mahwah, NJ: Erlbaum Publishers.

Figazzolo, L. (2008). Impact of PISA 2006 on the Education Policy Debate Education International.http://download.eiie.org/docs/IRISDocuments/Research%20Website%20Documents/2009-00036-01-E.pdf adresinden alınmıştır.

Gierl, M.J. (2000). Construct equivalence on translated achievement tests. Canadian Journal of Education, 25(4), 280-296.

Gierl, M. H., Khaliq, S. N. and Boughton, K. (1999). Gender differential item functioning in mathematics and science: prevalence and policy implications. Paper presented at the Annual Meeting of the Canadian Society for the Study of Education, Canada

Gök, B., Kelecioglu, H. ve Doğan, N. (2010). Değişen madde fonksiyonunu belirlemede Mantel-Haenzsel ve lojistik regresyon tekniklerinin karşılaştırılması. Egitim ve Bilim, 35, 3-16.

Grisay, A. and Monseur, C. (2007). Measuring the equivalence of ıtem difficulty in the various versions of an ınternational test. Studies in Educational Evaluation, 33, 69-86.

http://www.sciencedirect.com/science/article/pii/S0191491X07000077?# adresinden alınmıştır.

Hambleton, R. K. (2006). Good practices for ıdentifying differential ıtem functioning. Medical Care, 44, 182-188.

Hambleton, R.K., and Swaminathan, H. (1989). Item response teory: principles and applications. USA: Kluwer Nijhoff Publishing.

Hofmann, D. A., Griffin, M. A., & Gavin, M. A. (2000). The application of hierarchical linear modeling to organizational research. In K. J. Klein & S. W. J. Kozlowski (Eds.), Multilevel Theory, Research, and Methods In Organizations: Foundations, Extensions And New Directions. San Francisco, CA: Jossey-Bass Inc.

Hopkins, D., Pennock, D., Ritzen, J., Ahtaridou, E. and Zimmer, K. (2008). External evaluation of the policy ımpact of PISA. OECD doc. EDU/PISA/GB(2008)35/REV1. Paris:OECD.

Hu, L. ve Bentler, P. (1995). Evaluating Model Fit. R. Hoyle (Ed). Structural equation modeling (pp. 76-99). Concepst, Issues and Application. Thousand Oasks: Sage Publications.

International Test Commission (2005). International test commission guidelines for test adaptation. London: Author.

Johnson, T. P. (1998). Approaches to Equivalence in Cross-Cultural and Cross-National Survey Research. ZUMA-Nachrichten Spezial, 1-40. http://www.ssoar.info/ssoar/handle/document/49730 adresinden alınmıştır.

Kamata, A. (2001). Item Analysis by the hierarchical generalized linear model. Journal of Educational Measurement, 38(1), 79-93.

Kamata, A., Chaimongkol, S., Genç, E. and Bilir, K. (2005) Random-effect differential ıtem functioning across group unites by the hierarchical generalized linear model. this paper was presented at the annual meeting of the American Educational Research Association, Montreal, Canada http://garnet.acns.fsu.edu/~akamata/papers/AERA%202005.pdf adresinden alınmıştır.

Kankaras, M. and Moors, G. (2014). Analysis of cross-cultural comparability of PISA 2009 scores. Journal of Cross-Cultural Psychology, 45(3) 381–399 http://jcc.sagepub.com/content/45/3/381.full.pdf+html adresinden alınmıştır.

Karasar, N (2011). Bilimsel araştırma yöntemi. Ankara: Nobel Yayın Dağıtım

Kim, W. (2003). Development of a differential item functioning (dif) procedure using the hierarchical generalized linear model: A comparison study with logistic regression procedure (doctoral dissertation). The Pennsylvania State University, Pennsylvania

Le, L.T. (2009). Investigating gender differential item functioning across countries and test languages for PISA science items. International Journal of Testing, 9(2), 122-133.

Luppescu, S. (2002). DIF detection in hlm. Paper Presented at The Annual Meeting of The American Educational Research Association, New Orleans.

OECD (2014). PISA 2012 technical report. Paris: OECD Publications. http://www.oecd.org/pisa/pisaproducts/PISA-2012-technical-report-final.pdf adresinden alınmıştır.

Osterlind, S., J. and Everson, H., T. (2009). Differential item functioning. (2nd). Thousand Oaks. CA: SAGE Publications, Inc. doi: http://dx.doi.org/10.4135/9781412993913

Pan, T. (2008). Using the multivariate multilevel logistic regression model to detect dif: A comparison with Hglm and Logistic Regression dif detection methods (Doctoral dissertation) Michigan State University, Michigan.

Prelow, H. M., Tein, J.Y., Roosa, M. W. & Wood, J. (2000). Do Coping Styles Differ Across Sociocultural Groups? The Role of Measurement Equivalence in Making This Judgment. American Journal of Community Psychology, 28 (2), 225-244. Web: http://www.springerlink.com/media adresinden alınmıştır.

Raudenbush, S.W. and Bryk, A.S. (2002). Hierarchical linear models (2nd ed.). Newbury Park, CA: Sage.

Raju, N. S., Laffitte, L. J. and Byrne, B. M. (2002). Measurement equivalence: a comparison of methods based on confirmatory factor analysis and item response theory. Journal of Applied Psychology, 87(3), 527-529.

Reise, S.P., Widaman, K.F., and Pugh, R.H. (1993). Confirmatory factor analysis and ıtem response theory: two approaches for exploring measurement equivalence. Psychological Bulletin, 114, 552-566.

Rensvold, R. B., & Cheung, G. W. (1998). Testing Measurement Models for Factorial Invariance: A Systematic Approach. Educational and Psychological Measurement, 58, 1017-1034.

Sireci, S. G. and Swaminathan, H. (1996). Evaluating translation equivalence: so what’s the big dif? Paper Presented at the Annual Meeting of the Northeastern Educational Research Association, Ellenville, NY.

Şencan, H. (2005). Sosyal ve davranışsal ölçümlerde güvenirlik ve geçerlilik. Ankara: Seçkin Yayınları

Şimşek, Ö. F. (2007). Yapısal eşitlik modellemesine giriş:temel ilkeler ve LISREL uygulamaları. Ankara: Ekinoks

Stark, S., Chernyshenko, O. S. and Drasgow, F. (2006). Detecting differential ıtem functioning with comfirmatory factor analysis and ıtem response theory: Toward A Unified Strategy. Journal of Applied Psychology, 91(6), 1292- 1306.

Tabachnick, B. G. and Fidell, L. S. (2007). Using multivariate statistics. Fifth Edition. Pearson: AB

Ulutaş, S. (2015). A study on detecting of differential item functioning of PISA 2006 science literacy items in Turkish and American samples. Eurasian Journal of Educational Research, 58, 41-60

Vandenberg, R. J. and Lance, C. E. (2000). A review and synthesis of the MI literature: suggestions, practices, and recommendations for organizational research. Organizational Research Methods, 3, 4-69.

Yıldırım, H. H. (2006). The differential İtem functioning (dif) analysis of mathematics İtems in the İnternational assessment programs. (Doctoral dissertation). Middle East Technical University, Ankara

Yıldırım, H., H. and Berberoğlu, G. (2009). Judgmental and statistical dİf analyses of the PISA-2003 mathematics literacy items. International Journal of Testing, 9, 108–121

Wendorf, C. A. (2002). Comparisons of structural equation modeling and hierarchical linear modeling approaches to couples' data. Structural Equation Modeling, 9, 126 - 140.

Wu, A. D., Li, Z. and Zumbo, B. D. (2007). Decoding the meaning of factorial ınvariance and updating the practice of multigroup confirmatory factor analysis: a demonstration with TIMSS data. Practical Assessment, Research and Evaluation, 12, 1-26.


Refback'ler

  • Şu halde refbacks yoktur.




Telif Hakkı (c) 2018 İlköğretim Online

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

 

 

 

Creative Commons Lisansı

İlköğretim Online Dergisi Creative Commons Alıntı-Gayriticari 4.0 Uluslararası Lisansı ile lisanslanmıştır.

ISSN: 1305-3515