Ölçme ve değerlendirmede yapay zekâ: fırsatlar ve sınırlar

Sınıfta sıralarında yazılı sınav kâğıdı dolduran öğrenciler

Ölçme ve değerlendirme, öğretmenlerin en çok zaman harcadığı ama en az konuştuğu işlerden biri. Soru hazırlamak, cevap anahtarı oluşturmak, kâğıt okumak, her öğrenciye anlamlı bir geri bildirim yazmak saatler alıyor. Yapay zekâ araçlarının bu yükü hafifletebileceği fikri bu yüzden çok cazip. Gerçekten de bazı aşamalarda ciddi kolaylık sağlıyorlar. Ancak ölçme ve değerlendirme, öğrenci hakkında karar verdiğimiz bir alan ve bu kararların sonuçları var. Bu yüzden fırsatları kadar sınırları da konuşmak gerekiyor.

Yapay zekânın en rahat kullanılabildiği yer, soru taslağı üretmek. Belirli bir kazanım için farklı bilişsel düzeylerde soru taslakları, çoktan seçmeli sorular için akla yatkın çeldiriciler, açık uçlu bir soru için olası öğrenci cevapları ya da bir performans görevi için senaryo önerileri bu araçların hızlıca üretebildiği şeyler. Özellikle çeldirici yazmak deneyimli öğretmenlerin bile zorlandığı bir iş. Aracın önerdiği çeldiricilerin bir kısmı zayıf olsa da birkaçı öğrencilerin gerçek kavram yanılgılarını yakalayan iyi seçenekler olabiliyor.

Ancak bu taslakların her birini bir ölçme uzmanı gözüyle incelemeniz gerekiyor. Yapay zekânın ürettiği sorularda sık rastlanan sorunlar var. Doğru cevabın seçenekler arasında belirgin şekilde daha uzun olması, birden fazla doğru cevabın bulunması, soru kökünün cevabı ele vermesi, sorunun kazanımı değil ezber bilgiyi yoklaması bunların başında geliyor. Bir de doğrudan yanlış cevap anahtarı sorunu var. Özellikle çok adımlı matematik ve fen sorularında aracın verdiği cevabı kendiniz çözmeden kabul etmeyin.

Soruların kapsam geçerliliği de sizin sorumluluğunuzda. Bir sınavın, ölçmeyi hedeflediği kazanımları dengeli şekilde temsil etmesi gerekiyor. Yapay zekâ size tek tek iyi görünen sorular verebilir, ama bu soruların bir araya geldiğinde hangi kazanımı ne ağırlıkla ölçtüğünü planlamak sizin işiniz. Önce bir belirtke tablosu hazırlayıp ardından yapay zekâdan belirli hücreler için soru taslağı istemek, bu açıdan sağlıklı bir yöntem.

Bir başka kullanışlı alan, var olan soruların farklı biçimlerini üretmek. Aynı kazanımı yoklayan ama farklı sayılar ya da bağlamlar içeren paralel sorular, sınavı tekrar alması gereken öğrenciler ya da farklı şubeler için işinize yarayabilir. Okuma güçlüğü yaşayan öğrenciler için soru kökünü, ölçülen beceriyi değiştirmeden sadeleştirmek de bu araçların yardımcı olabildiği bir iş. Burada da kontrol etmeniz gereken nokta aynı: Sadeleşen ya da değişen sorunun hâlâ aynı şeyi, aynı zorlukta ölçüp ölçmediği.

Geri bildirimde yapay zekâ

Bence yapay zekânın değerlendirmedeki en umut verici kullanımı, not vermek değil, biçimlendirici geri bildirim. Öğrenci bir yazılı taslak, bir problem çözümü ya da bir proje raporu hazırladığında ona not vermeden önce gelişim için öneriler sunmak öğrenmeye en çok katkı sağlayan değerlendirme türlerinden biri. Ancak kalabalık sınıflarda her öğrenciye ayrıntılı geri bildirim yazmak çoğu zaman mümkün olmuyor.

Burada yapay zekâ bir ara katman olarak işe yarayabilir. Örneğin sizin hazırladığınız bir dereceli puanlama anahtarını temel alarak bir öğrenci metni için güçlü yönleri ve geliştirilebilecek noktaları listeleyen bir taslak geri bildirim üretebilir. Siz bu taslağı okur, düzeltir, kendi gözleminizi ekler ve öğrenciye iletirsiniz. Böylece geri bildirim yazma süreniz kısalırken son söz yine sizde kalır.

Öğrencilerin kendi taslakları üzerinde doğrudan yapay zekâdan geri bildirim almasını da düşünebilirsiniz. Bu durumda aracın nasıl bir geri bildirim vereceğini önceden belirlemek önemli. Metni öğrenci yerine yeniden yazan bir araç öğrenmeye katkı sağlamaz. Sorular soran, eksikleri gösteren ama çözümü öğrenciye bırakan bir geri bildirim ise çok daha değerli. Ayrıca öğrencilerin bu geri bildirimi sorgulamayı da öğrenmesi gerekiyor, çünkü araç bazen doğru olan bir şeyi yanlış diye işaretleyebilir.

Not vermek neden farklı

Yapay zekânın açık uçlu cevapları ya da ödevleri doğrudan puanlaması ise çok daha temkinli yaklaşılması gereken bir konu. Bunun birkaç nedeni var.

Birincisi tutarlılık. Aynı metni aynı araca farklı zamanlarda verdiğinizde farklı puanlar alabilirsiniz. İsteminizdeki küçük bir değişiklik de puanları etkileyebilir. Ölçmede güvenirlik dediğimiz şey tam olarak bu tutarlılıkla ilgili ve bunu kendi sınıfınızda sınamadan bir araca güvenmek doğru değil.

İkincisi yanlılık. Bu araçlar eğitildikleri metinlerdeki kalıpları taşıyor. Belirli bir yazım üslubunu, belirli bir kelime dağarcığını ya da belirli bir yapıyı ödüllendirip, aynı fikri farklı bir dille ifade eden öğrenciyi cezalandırabilir. Standart dilden farklı bir ağızla yazan, Türkçeyi ikinci dil olarak öğrenen ya da öğrenme güçlüğü olan öğrenciler bu açıdan özellikle risk altında.

Üçüncüsü yüzeysellik. Bu araçlar bir metnin akıcılığını, düzenini ve uzunluğunu kolayca fark ediyor. Ancak bir argümanın gerçekten tutarlı olup olmadığını, bir çözümün yaratıcı olup olmadığını ya da öğrencinin geçen aya göre ne kadar ilerlediğini değerlendirmekte çok daha zayıf kalabiliyor. Uzun ve düzgün ama içi boş bir cevabın yüksek puan alması, kısa ama derin bir cevabın gözden kaçması mümkün.

Dördüncüsü hesap verebilirlik. Bir öğrenci ya da veli notla ilgili itiraz ettiğinde “bunu yapay zekâ verdi” demek kabul edilebilir bir açıklama değil. Not, öğretmenin profesyonel yargısıdır ve bu yargının gerekçesi açıklanabilir olmalı. Yapay zekâyı puanlamada kullanacaksanız bile bunu yalnızca bir ön değerlendirme olarak görüp son kararı her öğrenci için kendiniz vermelisiniz.

Bu tartışmanın bir de veri gizliliği boyutu var. Öğrenci kâğıtları kişisel veri içerir. Öğrenci adlarını, numaralarını ya da kimliklerini belli edecek bilgileri yapay zekâ araçlarına yüklemeden önce kurumunuzun bu konudaki kurallarını öğrenin. Kurallar net değilse en azından metinleri anonimleştirerek çalışın.

Yapay zekâ aynı zamanda ölçmenin kendisini de değiştiriyor. Evde yazılan bir kompozisyonun ya da araştırma ödevinin artık öğrencinin bağımsız performansını yansıttığından emin olamıyoruz. Bunu yapay zekâ tespit araçlarıyla çözmeye çalışmak cazip görünse de bu araçların güvenilirliği oldukça tartışmalı ve haksız yere suçlanan bir öğrencinin yaşayacağı zarar büyük. Önerim, tespit etmeye çalışmak yerine değerlendirmeyi yeniden tasarlamak. Sınıf içinde yapılan yazma etkinlikleri, süreç dosyaları, sözlü sunumlar, öğrencinin çalışmasını açıkladığı kısa görüşmeler ve taslaktan son ürüne kadar gelişimi gösteren ödevler, hem yapay zekâya karşı daha dayanıklı hem de öğrenme açısından daha zengin değerlendirme biçimleri.

Ölçme ve değerlendirmede yapay zekâ, öğretmenin zamanını taslak üretme ve ilk geri bildirim gibi işlerden kurtarıp öğrenciyi gerçekten tanımaya ayırmasına yardımcı olduğu ölçüde değerli. Öğrenci hakkındaki kararı bir araca bıraktığımız anda ise ölçmenin en temel ilkelerinden uzaklaşmış oluruz.

Görüşmek üzere.

Görsel: Narek75, CC BY-SA 4.0, Wikimedia Commons.