Yapay zeka ve öğrenme çıktılarının anlaşılması için yeni araçlar

Eğitim, yapay zekanın en umut verici uygulama alanlarından biridir. ChatGPT gibi araçlar sayesinde kişiselleştirilmiş öğrenme desteği, her öğrenciye, her yerde ve her zaman sunulabilir. 

Bununla birlikte eğitim sektörü, yapay zekanın öğrenme çıktıları üzerindeki etkisini kapsamlı biçimde anlama konusunda henüz erken bir aşamadadır. Geçtiğimiz yıl ekibimiz, adım adım öğrenme modu⁠ gibi araçların kullanımını incelemeye başladı ve öğrenci performansında umut verici artışlar gözlemledi. Ancak araştırmamız önemli bir soruyu da gündeme getirdi: Yapay zekanın yalnızca final sınavı performansına değil, bir öğrencinin zaman içindeki gelişimine nasıl etki ettiğini nasıl değerlendirebiliriz?

Bu, daha geniş bir ekosistem sorunudur. Bugüne kadar çoğu araştırma yöntemi, test puanları gibi dar performans göstergelerine odaklanmıştır. Öğrencilerin yapay zekayla gerçek dünya öğrenme ortamlarında nasıl etkileşim kurduğunu ve bu kullanımın zaman içinde sonuçları nasıl şekillendirdiğini değerlendirme kapasitesi ise sınırlı kalmıştır. 

Bu boşluğu gidermek amacıyla Estonya'daki Tartu Üniversitesi ve Stanford Accelerator for Learning bünyesindeki SCALE Initiative ile birlikte Learning Outcomes Measurement Suite adlı bir çerçeve geliştirdik. Bu çerçeve, farklı eğitim bağlamlarında öğrenme çıktılarının zaman içindeki gelişimini ölçmek üzere tasarlanmıştır. 

Kapsamlı doğrulama çalışmaları, rastgele kontrollü bir deney kapsamında devam etmektedir. Ayrıca Arizona State University, UCL Knowledge Lab ve MIT Media Lab araştırmacıları dahil olmak üzere, OpenAI'ın öğrenme araştırma ekosistemi Learning Lab'deki kurucu kuruluşlarıyla ek çalışmalar planlanmaktadır. Bu çalışmalar, önceki iş birliklerinin üzerine inşa edilmektedir⁠.

Bugün, ölçüm çerçevesinin nasıl çalıştığına ve neden önemli olduğuna dair bir genel bakış sunuyoruz. Zaman içinde daha fazla araştırma yayınlamayı ve ölçüm çerçevesini dünya genelindeki okullar, üniversiteler ve eğitim sistemleri için kamuya açık bir kaynak olarak sunmayı hedefliyoruz.

• Güncel araştırma yöntemleri, yapay zekanın öğrenme üzerindeki etkisine ilişkin performans açısından umut verici sinyaller ortaya koymakta, ancak bu yöntemler, yapay zekanın öğrenme çıktıları üzerindeki zaman içindeki etkisinin bütüncül resmini henüz tam olarak yakalayamamaktadır.
• Learning Outcomes Measurement Suite, ilk kez; eğitimciler, araştırmacılar ve kurumlar için yapay zekanın farklı bağlamlarda öğrenmeyi nasıl etkilediğini ve öğrenme çıktılarının zaman içinde nasıl şekillendiğini incelemeye yönelik zamana yayılan standart bir araştırma çerçevesi sunacaktır.
• OpenAI Learning Lab, bu çalışmayı ilerletmeye odaklanan yeni bir araştırma ekosistemidir. Alan gelişmeye devam ettikçe OpenAI, çeşitli ortaklarla birlikte bulgularını yayınlar.

Öğrenciler ders çalışmak ve öğrenmek amacıyla yapay zeka araçlarını kullandıklarında, bu kullanım oldukça farklı biçimlerde ortaya çıkabilir: yalnızca hızlı yanıtlar almak için başvurmaktan, öğretmen benzeri bir rehberlik eşliğinde problemleri adım adım çözmeye kadar uzanan geniş bir yelpazede gerçekleşebilir. Kullanıcıların ChatGPT ile daha derin kavrayış ve beceri gelişimini destekleyen biçimlerde etkileşim kurmasını teşvik etmek amacıyla OpenAI, geçen yıl adım adım öğrenme modunu⁠ tanıttı.  Teknik olarak adım adım öğrenme modu; öğretmenler, bilim insanları ve pedagoji uzmanlarıyla iş birliği içinde geliştirilen özel sistem talimatlarıyla çalışır. Amaç yalnızca doğru cevabı üretmek değil; kademeli destek sağlama, anlama kontrolleri ve rehberli pratik gibi gerçek öğrenmeyi güçlendiren temel pedagojik yaklaşımları yansıtmaktır.

Bu pedagojik olarak uyumlu yapay zeka etkileşim tarzının daha iyi öğrenme çıktıları sağlayıp sağlamadığını test etmek amacıyla, nörobilim ve mikroekonomi sınavlarına hazırlanan 300'den fazla üniversite öğrencisiyle rastgele kontrollü bir çalışma yürüttük. Analiz süreci devam etmekle birlikte ilk bulgular, adım adım öğrenme modu gibi özelliklerle teşvik edilen pedagojik açıdan uyumlu yapay zeka etkileşim tarzının öğrenme çıktılarında iyileşme sağlayabileceğine işaret etmektedir. Ancak bu araştırma önemli bir gerçeği de ortaya koydu: Asıl kritik mesele, elde edilen kazanımların ve ilişkili üretken davranışların zaman içinde kalıcı olup olmadığıdır.

Adım adım öğrenme tasarımı

Katılımcılar üç gruptan birine rastgele atandı. Kontrol grubu, Google Araması ve YouTube gibi geleneksel online kaynakları kullanarak çalıştı; yapay zeka tarafından üretilen genel bakış özellikleri devre dışı bırakıldı. Diğer iki grup ise öğrencileri öğrenme süreci boyunca farklı biçimlerde yönlendirmek üzere tasarlanmış iki ayrı adım adım çalışma modu varyantından birine erişim sağladı. Başlangıç düzeyi sınavları ve oryantasyon anketleri, önceki ders deneyimi, ders çalışma alışkanlıkları, akademik özgüven ve yapay zeka araçlarına aşinalık gibi değişkenleri dengelemek amacıyla önceden toplandı. Öğrenciler her sınav öncesinde süreli adım adım öğrenme modu oturumlarını tamamladı ve iki varyant, dersler arasında dengeli biçimde dağıtıldı.

Bu tasarım, sıkı biçimde kontrol edilen bir laboratuvar ortamından ziyade gerçek dünya çalışma koşullarını yansıtacak şekilde kurgulandı. Katılım, sınav performansına bağlı değildi ve öğrencilerin tamamı nominal 40 dakikalık oturumlar boyunca adım adım öğrenme modunu aynı düzeyde kullanmadı. Bu yaklaşım, niyet edilen tedavi analizi (ITT) etkilerini ölçmemizi ve raporlamamızı sağladı; başka bir deyişle uygulamada etkileşimin değişkenlik gösterebileceğini dikkate alarak, araca gerçekçi dağıtım koşulları altında erişim verilmesinin etkisini, yani adım adım öğrenme modunun sunulmasının nedensel etkisini değerlendirdik.

Bulgular

Performansı her sınav için ayrı ayrı ölçtük. Rastgele atamalı çalışmamızda iyileşmeler dersler arasında tutarlı değildi ve adım adım öğrenme modu ile etkileşim düzeyi, katılımcılar arasında farklılık gösterdi. 

• Nörobilim (birincil ITT): Adım adım öğrenme modunu kullanan grupta, kontrol grubuna kıyasla pozitif farklar gözlemledik; ancak sonuçlar, geleneksel online kaynaklarla çalışan öğrencilerden istatistiksel olarak anlamlı biçimde ayrışmadı. Ayrıca bazı oryantasyon sorunları ve teknik sorunlar, adım adım öğrenme modunu kullanan öğrencilerin etkin çalışma süresini olumsuz etkiledi. 
• Mikroekonomi (birincil ITT): Adım adım öğrenme moduna erişim atanan öğrenciler arasında sınav performansında anlamlı artışlar gözlemledik. Yapay zeka kullanılmayan kontrol grubuna kıyasla yaklaşık %15 daha yüksek puan elde edildi.

Bu bulgu, gerçek dünya koşullarındaki değişkenliği yansıtmakla birlikte, öğrenme çıktılarının tipik olarak nasıl ölçüldüğüne ilişkin daha derin bir sınırlamayı da ortaya koymaktadır.

Mevcut değerlendirme yaklaşımlarının çoğu, kısa zaman dilimlerinde ölçülen sabit müdahalelere dayanmakta ve test puanları ya da final ödevleri gibi çıktıları temel göstergeler olarak kullanmaktadır. Oysa bu yöntemler, yapay zekanın öğrenmeyi pratikte hangi temel mekanizmalar aracılığıyla etkilediğini tespit edecek biçimde tasarlanmamıştır; özellikle de öğrenenin kendi stratejileri, tercihleri ve çalışma alışkanlıklarıyla birlikte zaman içinde evrilen, süreklilik gösteren ve kişiselleştirilmiş etkileşimleri ölçmekte yetersiz kalır. Bir yetkinlikteki iyileşmenin, örneğin kısa süreli hatırlama kapasitesindeki artışın, sebat, öz motivasyon ya da yaratıcı problem çözme gibi diğer alanlarda olası kayıplarla birlikte ortaya çıkıp çıkmadığını da göstermez. Sonuç olarak, yapay zekanın öğrenmeyi anlamlı biçimde iyileştirip iyileştirmediğini belirleyen zamana yayılan bilişsel etkiler gözden kaçabilir. 

Öğrenme ortamları ülkeler, müfredatlar ve kurumsal hedefler arasında büyük farklılıklar gösterdiğinden tek seferlik çalışmaların bulguları, sistemler arasında nadiren doğrudan genellenebilir. Bu nedenle ölçüm yaklaşımlarının; farklı eğitim sistemlerinin kendi bağlamlarında başarıyı tanımlamasına, yapay zekayı kendi standartlarına göre değerlendirmesine ve buna dayalı olarak yinelemeli iyileştirmeler yapmasına olanak tanıyacak kadar esnek olması gerekir.

Daha iyi bir ölçüm sistemi oluşturulması 

OpenAI'ın adım adım öğrenme modu araştırmasından elde edilen bulgular doğrultusunda, yapay zekanın öğrenenler üzerindeki etkisini ölçekli biçimde ölçmek ve bu sonuçlara dayalı olarak modelleri sürekli iyileştirecek bir mekanizma kurmak amacıyla yapılandırılmış bir ölçüm sistemi geliştiriyoruz. Bu sistem üç temel sinyale dayanır: modelin nasıl davrandığı, öğrenenlerin nasıl tepki verdiği, zaman içinde ortaya çıkan ölçülebilir bilişsel sonuçlar. Sistem şu bileşenleri içerir: 

• Model davranışını iyileştirmeye yönelik sistem talimatları: Modelin varsayılan davranışını belirli pedagojik yaklaşımlarla daha uyumlu hale getirmek için doğal dil üzerinden yapılan ayarlamalar.
• Öğrenme etkileşimi sınıflandırıcıları: Gerçek ve anonimleştirilmiş öğrenen-model etkileşimlerinde "öğrenme anlarını" otomatik olarak tespit eder ve katılım düzeyi, hata düzeltme ve geri bildirim alma gibi belirgin özellikleri etiketler.
• Öğrenme kalitesi değerlendiricileri: Her bir öğrenme anını, öğrenenin hedeflerine ulaşıp ulaşmadığı ve etkileşimin güçlü pedagojik ilkelerle ne ölçüde uyumlu olduğu açısından değerlendirir ve puanlar. Bu kapsamda olası başarısızlık biçimlerinin tespiti de yer alır.
• Zamana yayılan öğrenme değerlendiricileri: Aynı öğrenenin zaman içinde modelle etkileşimindeki değişimleri izler; bireysel ve grup düzeyinde katılım, sebat ve üstbilişsel stratejiler gibi göstergeleri takip eder.
• Standartlaştırılmış bilişsel ve üstbilişsel ölçümler: ChatGPT'ye erişim öncesinde, sırasında ve sonrasında uygulanan, üçüncü taraflarca doğrulanmış ölçüm araçlarıdır. Eleştirel düşünme, yaratıcılık ve hafıza gibi temel yetkinliklerde başlangıç düzeylerini belirler ve zaman içindeki ilerlemeyi ölçer.

Bu bileşenlerin tümü birlikte ele alındığında, ortaya çıkan çerçeveyi Learning Outcomes Measurement Suite olarak adlandırıyoruz. 

Eğitim ekosisteminin kullanabileceği şu anlamlı ve eyleme dönüştürülebilir sinyalleri üretir: öğrenme anlarının yapılandırılmış görünümleri; farklı gruplarda sonuçların zaman içinde nasıl değiştiğini gösteren paneller; model performansını öğretim ve rehberlik rubriklerine göre değerlendiren göstergeler; ayrıca standart değerlendirmeler ve kısa öğrenen anketleriyle hizalanmış sonuç ölçümleri. Mevcut olduğunda, sınav puanları, sınıf gözlemleri veya devam durumu gibi iş ortakları tarafından sağlanan doğrulanmış veriler de sisteme entegre edilebilir.

Bunun ötesinde sistem, öğrenme amacıyla yapay zeka kullanımının zaman içindeki daha derin bilişsel etkilerini analiz etmemize de olanak tanır. Aşağıdaki yetkinlikler üzerindeki etkiyi izleyebiliriz:

• Özerk Motivasyon: Öğrenenlerin çalışmalarını model tarafından yönlendirilmek yerine ne ölçüde kendi inisiyatifleriyle şekillendirdiğini ifade eder. 
• Üretken Katılım: Pedagojik etkileşimlerin sıklığı, çeşitliliği ve niteliği.
• Görevde Sebat: Öğrenenin bilişsel zorluklarla yüzleşme ve bunların üstesinden gelmek için çaba gösterme düzeyi.
• Üstbiliş: Öğrenenin kendi öğrenme yaklaşımını planlama, izleme ve değerlendirme davranışlarının sıklığı ve kalitesi.
• Hatırlama: Önceki etkileşimlerden edinilen bilgilerin doğru ve kalıcı biçimde hatırlanabilmesi.

Bu yaklaşım, yalnızca dar performans göstergelerine (örneğin, test puanlarındaki artışa) odaklanmak yerine, öğrenmenin temelini oluşturan bütüncül yetkinlikleri dikkate alma hedefimizi yansıtır. Aynı zamanda, neyin optimize edilmesi gerektiğine dair tek bir "sihirli formül" olmadığı anlayışını da temel alır. Sistemlerin ve eğitimcilerin, pedagojik en iyi uygulamalarla uyumlu biçimde bilinçli ve dengeli kararlar alabilecek şekilde güçlendirilmesi gerekir.

Bundan sonra ne yapacağız?

Learning Outcomes Measurement Suite'i geniş çapta erişime açmadan önce, sistemi büyük ölçekli çalışmalarla doğruluyoruz. Bu çalışmalar; Estonya gibi ulusal düzeyde ortaklarla, Tartu Üniversitesi ve Stanford SCALE Initiative iş birliğiyle yürütülmektedir. Ölçüm paketi, 16-18 yaş aralığındaki yaklaşık 20.000 öğrenci üzerinde, birkaç ay süren bir uygulama kapsamında incelenmektedir. Öğrenci kullanımı; güvenliği sağlamak ve yerel müfredatla uyumu gözetmek amacıyla yerel liderler ve eğitim paydaşlarıyla yakın iş birliği içinde gerçekleştirilecektir.

Bu çalışma, halihazırda devam eden daha kapsamlı bir iş birliği araştırma programının üzerine inşa edilmektedir. OpenAI, Learning Lab kapsamında yürütülen öğrenme çıktıları araştırmalarının yanı sıra, öğrenme ile iş gücü arasındaki kesişim alanındaki çalışmaları da desteklemektedir. Bu araştırmalar, yapay zekanın öğrencilerin akademik gelişimlerini, kariyer yönelimlerini ve kurumların yapay zekayı sorumlu biçimde benimseme süreçlerini nasıl şekillendirdiğini incelemektedir. Bu araştırma, Bocconi University, Innova Schools ve Dartmouth’taki Tuck School of Business’ın yanı sıra San Diego State University, Stony Brook University ve diğer kurumlarda yürütülmektedir.

Öğrencilerin yapay zekayla en etkili şekilde nasıl öğrenebileceğine dair daha uzun vadeli çalışmalar sürdürülürken, bulguları düzenli olarak paylaşmayı ve yapay zekanın tüm öğrenenler için fayda üretmesini sağlamak amacıyla daha geniş eğitim ekosistemiyle iş birliği yapmayı hedefliyoruz.

Bu çalışmaya ilişkin güncellemeleri almak isteyenler buradan⁠ kayıt olabilir.