Jawaban lebih baik, pemikiran lebih luas: Manfaat ChatGPT dan pelatihan berpikir kritis

Apa yang terjadi ketika mahasiswa menggunakan ChatGPT untuk mengerjakan tugas dunia nyata? Apakah peningkatan kualitas harus mengorbankan orisinalitas?

Eksperimen baru oleh para peneliti di Universitas Bocconi, bekerja sama dengan OpenAI Economic Research, menemukan bahwa akses ke ChatGPT dan pelatihan berpikir kritis memberikan dampak yang berbeda dan saling melengkapi. Akses ke ChatGPT meningkatkan kualitas dan koherensi pekerjaan mahasiswa, sedangkan latihan penalaran kausal—salah satu bentuk pemikiran kritis—mendorong mahasiswa menghasilkan lebih banyak gagasan unik. Mahasiswa yang mendapatkan akses ke ChatGPT sekaligus pelatihan menunjukkan kedua dampak tersebut.

Hasilnya juga menegaskan pentingnya pendekatan holistik dalam menilai perkembangan mahasiswa. Karena AI memudahkan mahasiswa menghasilkan jawaban yang matang, tugas mungkin perlu disesuaikan agar dapat mengukur kualitas lain yang diinginkan, seperti orisinalitas. 

Selama eksperimen, lebih dari 1.000 mahasiswa S1 tahun pertama di Universitas Bocconi mengerjakan kasus bisnis dunia nyata untuk menyusun rekomendasi pemasaran bagi toko cendera mata universitas.

Mahasiswa dibagi secara acak berdasarkan jadwal kelas ke dalam salah satu dari empat kelompok yang menerima: akses ke ChatGPT (GPT‑4o), pelatihan penalaran kausal, keduanya, atau tidak satu pun. Penalaran kausal adalah bentuk khusus pemikiran kritis yang menghubungkan sebab dan akibat serta menjelaskan mengapa suatu solusi mungkin berhasil atau gagal. Pelatihan yang diterima mahasiswa tidak berkaitan dengan AI. Mereka mempelajari konsep penalaran kausal melalui latihan yang melibatkan permainan, contoh, pertanyaan, dan umpan balik. 

Tugas mahasiswa dinilai oleh penilai manusia terlatih dengan rubrik lima poin. Secara terpisah, para peneliti menggunakan analisis teks otomatis untuk mengukur jumlah dan keragaman gagasan dalam setiap tugas, tanda-tanda penalaran kausal, serta kemiripannya dengan tugas dari tiga pakar. 

Mahasiswa yang memiliki akses ke ChatGPT meraih skor hampir satu poin lebih tinggi pada skala lima poin. Jawaban mereka memuat lebih banyak gagasan, mengikuti logika yang lebih jelas, dan lebih menyerupai rekomendasi yang ditulis oleh pakar. Dengan kata lain, AI membantu pemula menghasilkan pekerjaan yang tampak lebih profesional. Yang penting, mahasiswa tidak sekadar menyerahkan seluruh tugasnya kepada ChatGPT. Mereka tetap harus menentukan apa yang akan ditanyakan, mengevaluasi jawaban, dan memilih materi yang akan dimasukkan ke dalam tugas akhir. 

Latihan berpikir kritis menghasilkan temuan yang lebih tidak terduga. Mahasiswa yang menyelesaikan latihan dapat menjelaskan dengan lebih gamblang mengapa gagasan mereka mungkin berhasil dan kapan dapat gagal. Namun, skor rubrik mereka tidak lebih tinggi karena rubrik tersebut hanya mengukur seberapa baik rekomendasi menjawab dua tujuan pemasaran standar: meningkatkan kesadaran dan penggunaan toko universitas.

Analisis teks mengungkap manfaat lain yang tidak tercakup dalam rubrik. Secara keseluruhan, mahasiswa yang menyelesaikan latihan menghasilkan gagasan yang lebih beragam dan lebih berbeda dibandingkan gagasan rekan-rekan mereka. Hal ini penting karena rubrik tradisional, seperti yang digunakan untuk menilai mahasiswa dalam eksperimen ini, dapat memberikan nilai tinggi pada jawaban yang jelas dan terstruktur dengan baik, tetapi mengabaikan apakah mahasiswa menghasilkan gagasan yang tidak terpikirkan oleh orang lain.

Perdebatan tentang pendidikan mudah dibingkai sebagai pilihan antara mengajarkan mahasiswa untuk berpikir mandiri atau mengajarkan mereka menggunakan AI.

Eksperimen ini menunjukkan bahwa keduanya bermanfaat dengan cara berbeda. Akses ke AI membantu mahasiswa menghasilkan jawaban yang lebih matang, kaya gagasan, dan koheren secara logis. Pelatihan berpikir kritis mendorong mereka mengembangkan gagasan orisinal yang lebih beragam, mempertanyakan asumsi, dan menjelaskan mengapa gagasan mereka semestinya berhasil.

Keduanya saling melengkapi. 

Mahasiswa yang mendapatkan akses ke ChatGPT sekaligus latihan berpikir kritis memperoleh manfaat dari keduanya. Keragaman gagasan mereka setara dengan mahasiswa yang hanya menyelesaikan latihan. Skor rubrik dan jumlah gagasan mereka serupa dengan mahasiswa yang hanya memiliki akses ke ChatGPT. Pekerjaan mereka juga menunjukkan koherensi logis yang lebih kuat serta lebih banyak bukti bahwa mereka mencari penjelasan dan mempertanyakan asumsi. Secara keseluruhan, kelompok ini menunjukkan peningkatan pada rangkaian ukuran yang paling luas. 

Desain eksperimen yang diacak memungkinkan para peneliti mengkaji berbagai faktor ini secara mendalam, dengan memisahkan dampak akses ke ChatGPT dan latihan berpikir kritis dari dampak gabungan keduanya. Hal ini membuat eksperimen tersebut menjadi kontribusi yang sangat berguna bagi penelitian yang berkembang pesat tentang dampak AI terhadap mahasiswa serta cara terbaik menyusun dan mendukung pembelajaran mereka. 

Perbedaan antara dampak latihan terhadap mahasiswa dan hasil yang tercakup dalam rubrik bergaya tradisional menunjukkan tantangan lebih luas yang dihadapi institusi pendidikan. 

Jika AI dapat membantu mahasiswa menghasilkan pekerjaan yang matang dan menyerupai karya pakar, melihat jawaban akhir saja tidak banyak mengungkap apa yang benar-benar mereka pahami. 

Banyak pendidik sudah menghadapi kemungkinan bahwa tugas dan evaluasi perlu diubah. Hal ini mengikuti pola selama beberapa dekade, ketika teknologi dan pendidikan berkembang bersama untuk mendukung keterampilan yang dibutuhkan mahasiswa dalam masyarakat modern.

Hasil ini menegaskan pentingnya memberikan penghargaan kepada mahasiswa yang menghasilkan pekerjaan dengan orisinalitas, penalaran, dan pertimbangan atas berbagai pendekatan, bukan hanya jawaban yang paling konvensional atau matang. 

Intinya: AI membantu mahasiswa menghasilkan jawaban yang lebih baik. Pelatihan berpikir kritis membantu memperluas gagasan mereka. Keduanya memainkan peran yang saling melengkapi dalam mempersiapkan mahasiswa menghadapi masa depan.