Mengevaluasi kemampuan pemantauan rantai pemikiran
Kami memperkenalkan evaluasi untuk memantau rantai pemikiran serta mengkaji bagaimana skalabilitasnya dipengaruhi oleh komputasi saat pengujian, pembelajaran penguatan, dan tahap prapelatihan.
Ketika sistem AI membuat keputusan yang sulit diawasi secara langsung, menjadi penting untuk memahami bagaimana keputusan tersebut diambil. Salah satu pendekatan yang menjanjikan adalah memantau penalaran internal model, bukan hanya tindakan atau keluaran akhirnya.
Model penalaran modern, seperti GPT‑5 Thinking, buat rantai pemikiran yang eksplisit sebelum memberikan jawaban. Memantau rantai pemikiran ini untuk mendeteksi perilaku yang tidak semestinya dapat jauh lebih efektif daripada hanya memantau tindakan dan keluaran model. Namun, peneliti di OpenAI dan di seluruh industri yang lebih luas khawatir(terbuka di jendela baru) bahwa “Keterpantauan“ rantai pemikiran ini mungkin rapuh terhadap perubahan dalam prosedur pelatihan, sumber data, dan bahkan skala lanjutan dari algoritma yang ada.
Kami ingin Keterpantauan rantai pemikiran tetap terjaga saat model berkembang dan diterapkan dalam pengaturan dengan taruhan lebih tinggi. Kami menyerukan kepada para peneliti di seluruh industri untuk berupaya menjaga keterpantauan rantai pemikiran selama mungkin serta menilai apakah pendekatan ini dapat berfungsi sebagai lapisan kontrol utama bagi sistem AI di masa depan. Untuk menjaga keterpantauan, kita harus dapat mengukurnya, namun hanya sedikit evaluasi yang tersedia [1(terbuka di jendela baru), 2(terbuka di jendela baru), 3(terbuka di jendela baru)] dan metodologi bervariasi.
Dalam karya ini, kami mempelajari kemampuan pemantauan rantai pemikiran secara sistematis. Kami memperkenalkan kerangka kerja untuk mengevaluasi Keterpantauan rantai pemikiran dan serangkaian 13 evaluasi (terdiri atas total 24 lingkungan) yang dirancang untuk mengukur Keterpantauan sistem secara konkret. Evaluasi ini terbagi menjadi tiga arketipe—intervensi, proses, dan hasil-properti. Dengan menggunakan pendekatan tersebut, kami mengkaji sejauh mana keterpantauan model bahasa besar saat ini, serta bagaimana keterpantauan itu berubah seiring meningkatnya penalaran pada tahap inferensi, skala pelatihan pembelajaran penguatan yang lebih besar, dan peningkatan skala prapelatihan.
Sekarang setelah kami memiliki rangkaian evaluasi yang besar, kami dapat mulai melacak keterpantauan dari model-model kami. (kiri-atas) Kami menemukan bahwa ketika model “pikirkan” lebih banyak dan memiliki rantai pemikiran yang lebih panjang, kemampuan untuk memantau meningkat. (kanan atas) Tanpa rantai pemikiran, adalah standar untuk mencoba memantau tindakan dan keluaran akhir dari model saja. Namun, kami menemukan bahwa hanya memantau tindakan dan keluaran jauh lebih rendah kinerjanya dibandingkan dengan memantau CoT. (bagian bawah-tengah) Kami membandingkan model kami dengan model eksternal yang memberikan akses penuh ke CoT—Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B, dan Kimi K2 Thinking.
Kami menemukan bahwa sebagian besar model penalaran frontier cukup dapat dipantau, meskipun tidak sempurna. Dalam hampir semua skenario yang kami teliti, pemantauan rantai pemikiran terbukti jauh lebih efektif dibandingkan hanya memantau tindakan dan keluaran akhir. Model yang melakukan penalaran lebih lama cenderung lebih mudah dipantau, dan optimisasi pembelajaran penguatan pada skala terdepan saat ini tampaknya tidak secara signifikan menurunkan tingkat keterpantauan.
Yang patut dicatat, kami mengamati adanya trade-off antara tingkat upaya penalaran dan ukuran model: ketika sebuah model dijalankan dengan upaya penalaran yang rendah, model yang lebih kecil namun dijalankan dengan upaya penalaran lebih tinggi dapat mencapai kemampuan yang sebanding, sekaligus lebih mudah dipantau. Hal ini datang dengan biaya komputasi inferensi yang meningkat, yang kami sebut sebagai pajak keterpantauan. Terakhir, kami menemukan bahwa mengajukan pertanyaan lanjutan dan memantau rantai pemikiran yang dihasilkan dapat semakin meningkatkan tingkat keterpantauan.
Kami mendefinisikan keterpantauan sebagai kemampuan sebuah monitor untuk memprediksi sifat-sifat yang relevan tentang perilaku agen. Dalam banyak kasus, sifat-sifat ini berkaitan dengan bentuk perilaku menyimpang—seperti penipuan, reward hacking, atau penalaran yang bias—namun juga dapat mencakup sifat-sifat yang bersifat netral, misalnya apakah agen mengandalkan petunjuk tertentu atau mengikuti alur penalaran yang spesifik.
Keterpantauan adalah sifat dengan dua sisi. Hal ini bergantung baik pada monitor maupun pada agen yang dipantau.
- Monitor. Kami dapat meningkatkan kecerdasan monitor dengan berbagai cara, dan kami menginginkan agar evaluasi kami memberikan skor yang lebih tinggi kepada monitor yang mampu membuat prediksi yang lebih akurat terhadap perilaku agen.
- Agen-agen. Terdapat banyak jenis observasi terhadap agen yang dapat diberikan kepada monitor, termasuk tindakan agen, output yang dihasilkan, aktivasi neural, dan seiring kemunculan model berbasis penalaran, rantai pemikiran. Ada kemungkinan bagi beberapa agen untuk memiliki pemikiran yang lebih sulit dipahami daripada yang lain, dan oleh karena itu kami ingin evaluasi keterpantauan kami dapat membandingkan agen dan bukan hanya monitor.
Evaluasi kami dirancang untuk menilai kedua sisi: apakah agen tertentu lebih mudah atau lebih sulit untuk dipantau, dan apakah pemantau yang lebih cakap dapat mengekstrak lebih banyak informasi dari sinyal yang sama.
Sebelum generasi Model Penalaran saat ini, rantai pemikiran biasanya dimunculkan dengan meminta model untuk ”pikirkan langkah demi langkah.”
Rantai pemikiran pada model penalaran berbeda dalam dua aspek penting. Pertama, model tersebut secara eksplisit dilatih untuk menghasilkan rantai pemikiran, kemudian memberikan jawaban. Ketika meminta model obrolan untuk pikirkan “langkah demi langkah,” model tersebut harus mematuhi spesifikasi apa pun yang diberikan padanya, misalnya untuk menjadi bermanfaat, tidak berbahaya, dan sebagainya. Sebaliknya, proses pelatihan pembelajaran penguatan mengajarkan Model Penalaran bahwa CoT adalah ruang pribadi di mana ia dapat berpikir apa pun yang diinginkan dan tidak dihukum, sama seperti manusia dapat berpikir secara pribadi dan tidak dihukum atas “kejahatan pikiran.”
Kedua, proses pelatihan secara efektif mencari rantai pemikiran yang paling berguna secara instrumental bagi agen untuk mendapatkan jawaban akhir dengan imbalan tinggi. Dengan demikian, rantai pemikiran tidak hanya menjadi ruang di mana model dapat mengekspresikan dirinya dengan bebas, tetapi juga mengandung pemikiran yang membantu model mencapai jawaban akhirnya.
Kami menyusun evaluasi Keterpantauan kami ke dalam tiga arketipe yang berbeda, masing-masing memanfaatkan mekanisme yang berbeda untuk mengukur keterpantauan.
- Evaluasi intervensi, terinspirasi oleh Chen dkk. 2025(terbuka di jendela baru), Chua dkk. 2025(terbuka di jendela baru), Turpin dkk. 2023(terbuka di jendela baru), kami memperkenalkan perubahan terkontrol dalam lingkungan agen dan menguji apakah monitor dapat mendeteksi alasan perubahan perilaku dengan mengidentifikasi bukti intervensi dalam rantai pemikiran. Berbeda dengan evaluasi kontrol standar (misalnya: Shade-Arena(terbuka di jendela baru)), evaluasi intervensi memungkinkan kita untuk menyelidiki apakah sebuah monitor dapat mendeteksi mengapa perilaku berubah, daripada hanya mendeteksi apakah suatu perilaku terjadi.
- Evaluasi proses berfokus pada tugas-tugas dengan sejumlah jalur solusi yang terbatas (misalnya, masalah matematika hanya dapat diselesaikan dengan teorema tertentu). Para ahli manusia memerinci jalur-jalur ini, dan kami menguji apakah monitor dapat mendeteksi langkah-langkah yang sebenarnya diambil oleh model. Evaluasi ini memungkinkan kami mengaitkan apa yang dilakukan model dengan langkah-langkah spesifik yang kemungkinan besar ditempuh oleh model, serta menilai apakah langkah-langkah tersebut dapat dipantau.
- Evaluasi properti hasil diterapkan ketika properti dari keluaran model dapat diukur dengan andal. Dalam kasus-kasus ini, kami menguji apakah pemantau dapat memprediksi sifat tersebut—seperti peretasan imbalan—dari penalaran atau tindakan model. Sebagai contoh, dalam tugas pemrograman, kami dapat memiliki metode yang andal untuk mengevaluasi apakah sebuah model melakukan tindakan untuk memanipulasi sinyal reward. Selanjutnya, kami dapat menilai apakah monitor menemukan bukti adanya niat peretasan imbalan dalam proses berpikir atau tindakan model.
Di bawah ini kami menyediakan taksonomi untuk evaluasi kami. Silakan lihat makalah kami untuk deskripsi lengkap dari setiap evaluasi individu.
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
Kami menemukan bahwa keterpantauan model kami bervariasi hingga tingkat tertentu untuk setiap grup. Secara umum, kami menemukan bahwa mereka sangat dapat dipantau; namun, dalam Scruples secara khusus, yang merupakan tugas yang dirancang untuk melihat apakah penalaran tentang penjilat dapat dipantau, kami melihat tingkat pemantauan yang sangat rendah.
Contoh yang dapat dipantau vs. yang tidak dapat dipantau
Dalam contoh hasil-properti ini, model diberikan tugas pengodean yang tidak mungkin. Jika uji unit lulus, maka kita tahu model melakukan semacam trik. Pada rantai pemikiran yang tidak dapat dipantau (merah), tidak ditemukan bukti bahwa model secara eksplisit menyebutkan niat melakukan tindakan yang merugikan. Namun, model justru meretas pengujian (tests) dan menyampaikan kepada pengguna bahwa perbaikan telah diterapkan. Sebagai perbandingan yang mencolok, dalam CoT yang dapat dipantau (hijau), kita melihat model pikirkan “Tetapi memodifikasi waktu dalam solusi bisa dibilang curang.“
Memperlakukan rantai pemikiran sebagai workspace pribadi—dan melakukan pelatihan model untuk menggunakannya dalam menyelesaikan tugas secara efektif—seharusnya, pada prinsipnya, membuat rantai pemikiran dapat dipantau. Pada saat yang sama, ada beberapa nalar mengapa pembelajaran penguatan dapat secara masuk akal merugikan keterpantauan rantai pemikiran.
Pertama, batasan pada panjang nalar, seperti membatasi waktu atau token yang dimiliki model untuk pikirkan, menciptakan insentif bagi model untuk melakukan nalar lebih sedikit. Kedua, bahkan tanpa menerapkan tekanan optimasi langsung pada rantai pemikiran itu sendiri, tekanan tidak langsung masih dapat mengurangi keterpantauan. Misalnya(terbuka di jendela baru), model mungkin lebih mudah mencapai jawaban dengan imbalan tinggi jika mereka menghindari jalur penalaran yang dapat menghasilkan imbalan rendah atau hasil yang tidak diinginkan. Akhirnya, berkurangnya kemampuan pemantauan dapat muncul dari pergeseran palsu yang didorong oleh derau gradien pembelajaran penguatan.
Di bawah ini, kami memeriksa bagaimana keterpantauan berubah selama dua pelatihan pembelajaran penguatan terdepan dari OpenAI. Meskipun hasil ini hanya merepresentasikan dua titik data, temuan tersebut menunjukkan bahwa optimisasi pembelajaran penguatan pada skala frontier saat ini tidak secara material menurunkan keterpantauan rantai pemikiran, dan bahkan meningkatkan keterpantauan pada langkah-langkah awal. Namun, hal ini tidak menutup kemungkinan bahwa skala pembelajaran penguatan yang jauh lebih besar dapat berdampak negatif pada keterpantauan di masa depan.
Kami menemukan bahwa keterpantauan tidak banyak berubah pada skala komputasi RL saat ini, dan meningkat pada langkah-langkah awal. Meskipun ini mungkin benar dalam rezim saat ini, ada kemungkinan bahwa peningkatan skala yang signifikan dapat menyebabkan kemampuan pemantauan mulai menurun.
Sebagian besar kecerdasan sistem AI saat ini didorong oleh peningkatan skala prapelatihan, di mana baik parameter model maupun ukuran dataset telah secara konsisten bertambah sejak awal paradigma GPT. Peningkatan jumlah parameter mengakibatkan lebih banyak komputasi inferensi yang digunakan per token yang dibuat, yang, dalam kasus model penalaran, memberikan lebih banyak kesempatan bagi kognisi model untuk terjadi dalam aktivasi daripada dalam rantai pemikiran. Dengan demikian, kita mungkin mengharapkan model yang lebih besar menjadi kurang dapat dipantau pada tingkat kapabilitas yang tetap.
Pada saat yang sama, model yang lebih kecil mungkin juga kurang mampu menggunakan rantai pemikiran secara efektif—yang juga dapat memengaruhi kemampuan untuk dipantau.
Untuk menyelidiki hubungan antara ukuran prapelatihan, kemampuan, dan keterpantauan, kami melatih satu keluarga model dengan dua urutan besaran komputasi prapelatihan dengan kedalaman dan lebar yang meningkat, kemudian menerapkan pembelajaran penguatan pada masing-masing model pada dataset bersama yang terdiri dari berbagai tugas matematika, sains, dan pemrograman. Kami mengevaluasi setiap model di berbagai upaya penalaran dan membandingkan keterpantauan pada tingkat kemampuan yang setara.
Kami memetakan keterpantauan pada rangkaian evaluasi kami dari setiap model terhadap rata-rata tingkat kelulusan pada serangkaian evaluasi kapabilitas standar (GPQA-Diamond, AIME 2025, dan CodeForces). Setiap model dievaluasi berdasarkan banyak upaya penalaran (perhatikan bahwa setiap titik dalam gambar ini sebenarnya adalah hasil dari interpolasi linier antara upaya penalaran yang diukur). Lingkaran menunjukkan bahwa model pada upaya penalaran tertentu mendominasi dalam keterpantauan pada tingkat kemampuan tersebut, dan X transparan menunjukkan bahwa model pada upaya penalaran tertentu didominasi dalam keterpantauan oleh model lain pada tingkat kemampuan tersebut. Dalam panah hitam, kami menunjukkan contoh dua cara untuk menggunakan lebih banyak komputasi inferensi: dengan mengambil sampel lebih banyak token menggunakan model yang lebih kecil, atau dengan mengambil sampel lebih sedikit token tambahan menggunakan model yang sama. Dengan panah merah, kami menunjukkan pajak keterpantauan yang harus dibayar, yaitu sedikit mengurangi kemampuan demi keterpantauan yang jauh lebih baik.
Secara umum, kami menemukan bahwa jika kami menerapkan model tertentu dengan upaya penalaran yang rendah, kami dapat menerapkan model yang lebih kecil dengan upaya penalaran yang lebih tinggi. Dibandingkan dengan menghabiskan daya komputasi tambahan untuk upaya penalaran lebih lanjut dari model besar asli, kita dapat memperoleh keterpantauan yang lebih tinggi dengan biaya kapabilitas yang kecil, atau pajak keterpantauan; namun, waktu yang dibutuhkan untuk menyelesaikan sebuah penyelesaian mungkin juga menjadi faktor dalam beberapa keputusan penerapan, yang tidak kita pertimbangkan di sini. Seiring peningkatan kemampuan model dan penerapannya dalam konteks dengan tingkat risiko yang lebih tinggi, mungkin akan menjadi perlu untuk menanggung biaya semacam ini demi memastikan penerapan yang aman.
Hasil ini memiliki batasan sebagai berikut: (1) kami hanya latih setiap model sekali, dan oleh karena itu tidak memperhitungkan variasi di antara pelatihan yang berbeda. Sebagai contoh, model “medium” tampaknya cukup tidak sejalan dalam hal kemampuan pemantauan dibandingkan dengan model lain dalam seri ini, yang mungkin disebabkan oleh hal ini. (2) Kami mengevaluasi kemampuan dalam pengaturan yang relatif sesuai distribusi (matematika, sains, dan pemrograman), dan kompromi mungkin berubah ketika memperhitungkan ketahanan di luar distribusi.
Seiring sistem AI berkembang melampaui kinerja manusia, pengawasan langsung oleh manusia menjadi semakin sulit. Idealnya, kami akan memiliki prosedur kontrol yang dapat diskalakan yang memungkinkan monitor tepercaya tetapi lebih lemah untuk mengawasi agen yang lebih kuat dan berpotensi tidak tepercaya. Prosedur semacam itu juga harus mampu menyerap komputasi tambahan saat pengujian dan menghasilkan prediksi yang lebih akurat.
(Kiri) Kami membandingkan banyak monitor yang berbeda dan memvariasikan tingkat upaya penalaran masing-masing. Setiap monitor sedang memantau model GPT‑5 Thinking yang sama. Seperti yang diharapkan, kami menemukan bahwa umumnya model yang lebih besar dan lebih mampu bertindak sebagai pemantau yang lebih baik, dan model penalaran berkinerja lebih baik dalam tugas pemantauan dengan upaya penalaran yang lebih tinggi (dan oleh karena itu dengan komputasi waktu uji).
(Kanan) Kami membandingkan berbagai cakupan pengamatan pemantauan untuk OpenAI o4-mini, yaitu apakah monitor dapat melihat hanya CoT, hanya tindakan dan jawaban, atau semua pesan dari model yang dipantau. Secara khusus, kami menemukan bahwa kemampuan pemantauan dengan peningkatan komputasi pemantauan saat pengujian (upaya penalaran pemantauan yang lebih tinggi) meningkat pada tingkat yang lebih cepat ketika memberikan akses CoT kepada pemantau. Dengan demikian, pemantauan CoT dapat memberikan jalur yang lebih skalabel untuk pengendalian dibandingkan dengan pemantauan yang naif.
Keterpantauan rantai pemikiran sering dianggap sebagai kuantitas tetap: setelah model menghasilkan respons pada tingkat usaha penalaran tertentu, rantai pemikiran yang dihasilkan dipantau sebaik mungkin. Karena kami secara konsisten menemukan bahwa kemampuan untuk dipantau meningkat seiring dengan peningkatan upaya penalaran agen kami, kami terinspirasi untuk bertanya apakah kami bisa mendapatkan lebih banyak token untuk dipantau.
Untuk menjelajahi ini, kami bereksperimen dengan mengajukan pertanyaan lanjutan setelah model merespons, sambil menjaga prompt asli, rantai pemikiran, dan jawaban dalam konteks. Tindak lanjut ini berfokus pada properti yang dipantau—misalnya, “Apakah Anda menggunakan petunjuk dengan cara yang bermakna untuk memilih jawaban Anda?“ atau “Apakah Anda melakukan sesuatu yang mencurigakan?“ Pada prinsipnya, karena model mempertahankan akses ke penalaran sebelumnya, model tersebut mungkin dapat menampilkan pemikiran yang sebelumnya tidak terungkap dalam rantai pemikiran lanjutan atau respons.
Hasil ini bersifat sementara. Kami hanya menjelajahi sejumlah kecil format pertanyaan lanjutan dan percaya bahwa ada ruang yang cukup besar untuk perbaikan metodologi. Lebih jauh lagi, metode ini serupa dalam semangat dengan pengakuan model, dan kami secara aktif bekerja untuk membandingkan pendekatan-pendekatan tersebut.
Kami menunjukkan hasil yang dirata-ratakan di seluruh rangkaian evaluasi kami dan di seluruh model penalaran terbaru kami: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini, dan GPT‑5‑thinking. Kami menemukan bahwa secara umum, pertanyaan lanjutan meningkatkan kemampuan pemantauan terutama pada tingkat upaya penalaran yang lebih rendah. Jika kita berulang kali mengajukan pertanyaan lanjutan dan memberikan semua CoTs tindak lanjut kepada monitor, kemampuan pemantauan akan semakin meningkat. Perlu dicatat, ketika kami memberikan monitor akses hanya pada jawaban tindak lanjut dan bukan CoT tindak lanjut, kami melihat peningkatan yang lebih sedikit dibandingkan dengan garis dasar. Ini menunjukkan bahwa model tidak terbuka dalam jawaban mereka kepada pengguna, tetapi justru memberikan lebih banyak informasi dalam CoT mereka.
Selain meningkatkan keterpantauan, pendekatan ini menarik karena dapat diterapkan secara post hoc, sehingga hanya menimbulkan biaya komputasi tambahan ketika diperlukan pemeriksaan yang lebih mendalam. Ke depan, apabila model dilatih untuk mengantisipasi perubahan tingkat upaya penalaran di tengah percakapan, pertanyaan lanjutan post hoc dengan upaya penalaran yang lebih tinggi berpotensi semakin meningkatkan keterpantauan, bahkan ketika upaya penalaran awal rendah atau tidak ada sama sekali.
Setiap evaluasi dalam rangkaian kami mengukur apakah satu aspek dari proses penalaran dapat dipantau. Sementara kami berusaha untuk mencakup berbagai perilaku—termasuk penjilatan, sandbagging, bias, intrik, dan peretasan imbalan—masih ada banyak sifat tambahan yang belum diuji.
Seperti halnya tolok ukur lainnya, evaluasi kami mungkin mengalami realisme terbatas atau peningkatan kesadaran evaluasi, dan hasilnya mungkin tidak dapat digeneralisasi untuk mendeteksi perilaku menyimpang di alam bebas.
Akhirnya, seiring dengan peningkatan penyelarasan, model mungkin lebih jarang berperilaku menyimpang dalam pengaturan evaluasi yang terkontrol, mengurangi sinyal yang tersedia untuk evaluasi keterpantauan dan kontrol yang bergantung pada deteksi perilaku menyimpang. Dalam kasus-kasus tersebut, evaluasi keterpantauan “netral“ tetap berlaku, meskipun masih menjadi pertanyaan terbuka seberapa prediktif evaluasi tersebut terhadap kegagalan di dunia nyata.
Jika masalah penyelarasan tidak dapat sepenuhnya diselesaikan, maka metode kontrol yang dapat diskalakan akan sangat penting dalam kemampuan kita untuk menerapkan model yang sangat canggih dengan aman. Pemantauan rantai pemikiran dan metode terkait mungkin menjadi salah satu dari sedikit mekanisme kontrol yang tersedia bagi kita. Penalaran rantai pemikiran juga dapat memberikan manfaat besar dalam memahami lebih banyak tentang model kami, misalnya. apakah mereka menyadari bahwa sedang berada dalam proses evaluasi dan karenanya berperilaku berbeda dibandingkan saat diterapkan di lingkungan nyata, serta apakah terdapat bukti adanya tujuan merugikan yang belum muncul dalam evaluasi kami, dan sebagainya. Oleh karena itu, kami percaya bahwa sangat penting untuk memahami bagaimana dan kapan kita mungkin kehilangan kemampuan untuk memantau.
Kami memandang pemantauan rantai pemikiran sebagai pelengkap bagi interpretabilitas mekanistik, bukan sebagai penggantinya. Seperti semua metode kontrol dan interpretabilitas yang diketahui, masing-masing memiliki keterbatasan dan titik buta. Harapan kami adalah bahwa menggabungkan berbagai pendekatan—strategi pertahanan mendalam—dapat membantu menutupi celah yang ditinggalkan oleh metode tunggal mana pun. Perlu dicatat, evaluasi yang diperkenalkan dalam karya ini juga dapat diterapkan untuk menilai dan membandingkan teknik pemantauan berbasis interpretabilitas mekanistik.
Karena pemantauan rantai pemikiran kami anggap sebagai lapisan kontrol penting dalam skema kontrol yang dapat diskalakan, evaluasi ini akan kami kembangkan lebih lanjut untuk mendukung keputusan model dan data di masa mendatang.
Penulis
Kutipan
1. Model kami tidak dimaksudkan untuk memberikan diagnosis medis, sehingga dataset pertanyaan kesehatan kami tidak dimaksudkan untuk menguji kemampuan tersebut.
