Langkah kami untuk berbuat lebih baik bagi Australia
Pada bulan Juni, selama pelatihan dan evaluasi internal, model kami mengakses situs web pemerintah Australia dengan cara yang tidak diizinkan. Kami juga seharusnya merespons kejadian ini dengan lebih baik. Kami meminta maaf dan sedang berupaya untuk bertindak lebih baik di masa mendatang.
Dalam tulisan ini, kami menjelaskan apa yang kami ketahui, perubahan yang telah kami lakukan, dan langkah yang akan kami ambil untuk membangun kembali kepercayaan masyarakat Australia. Ini adalah jenis insiden siber baru yang mencerminkan tantangan global yang mulai muncul. Salah satu bentuk pertanggungjawaban yang ingin kami lakukan atas situasi ini adalah bekerja sama secara terarah dengan Australia untuk membantu mengembangkan pendekatan praktis bagi pengembang AI dan pemerintah dalam mengidentifikasi, mengungkapkan, dan merespons perilaku siber AI, baik yang bersifat jahat maupun tidak disengaja.
Setelah insiden Hugging Face pada bulan Juli, kami mulai meninjau aktivitas pelatihan dan evaluasi sebelumnya untuk mengidentifikasi organisasi lain yang terdampak. Pada pertengahan Agustus, peninjauan tersebut mengidentifikasi aktivitas yang berdampak pada situs web pemerintah Australia berikut.
Berikut yang kami ketahui berdasarkan bukti yang ada:
Services Australia: Sebuah model OpenAI menemukan cara memperoleh akses yang tidak tersedia bagi publik ke layanan tersebut, lalu menjalankan perintah, mengambil file internal, kredensial, dan statistik agregat, serta menulis file. Namun, catatan pasien atau klien perorangan tidak diakses. Kami membahas insiden ini secara lebih terperinci di bawah.
Biro Statistik dan Riset Kriminal NSW (BOCSAR): Sebuah model OpenAI mengakses Alat Pemetaan Kejahatan BOCSAR yang tersedia untuk publik guna meneliti statistik kriminal publik (di bawah ini kami menjelaskan lebih lanjut mengapa model menjalankan beragam tugas pencarian informasi). Model mengirim permintaan API dan metadata situs web melalui alat publik BOCSAR, yang menyediakan kredensial untuk permintaan API dari browser. Sistem BOCSAR mengembalikan konfigurasi aplikasi, tugas dan log operasional, serta metadata situs web. Catatan kriminal perorangan tidak diakses.
Departemen Kesehatan Victoria: Agen OpenAI menemukan kunci akses yang terekspos untuk mengirim kueri ke sistem pelaporan Badan Informasi Kesehatan Victoria dan mengambil konfigurasi pelaporan serta statistik survei agregat. Sejauh mana informasi ini seharusnya dapat diakses masih belum jelas dan bergantung pada kebijakan akses VAHI. Rekam medis perorangan atau jawaban survei yang dapat mengungkap identitas responden tidak diakses.
Institut Kesehatan dan Kesejahteraan Australia: Agen OpenAI mengambil statistik agregat menggunakan layanan penelusuran dan unduhan pihak ketiga, termasuk dari situs web AIHW, serta mengirim kueri data grafik secara langsung. Upaya terpisah untuk melewati kontrol akses tidak berhasil. Materi yang diunduh tampaknya tersedia untuk publik. Tidak terjadi pembobolan sistem. Rekam medis perorangan tidak diakses.
Kami memulai investigasi atas aktivitas ini segera setelah mengetahuinya pada pertengahan Agustus. Kami memberi tahu Services Australia dan Departemen Kesehatan Victoria pada 10 September, serta Biro Statistik dan Riset Kriminal NSW pada 18 September. Aktivitas terkait Institut Kesehatan dan Kesejahteraan Australia tidak memenuhi kriteria pengungkapan kami karena cara aksesnya tampak sesuai dengan akses publik. Namun, kami tetap memberi tahu institut tersebut pada 24 September untuk membagikan temuan dan menawarkan sesi penjelasan.
Tujuan kami adalah memberikan penjelasan terperinci kepada instansi terdampak setelah investigasi selesai. Namun, kami seharusnya membagikan temuan awal lebih cepat dan terus memberikan informasi terbaru kepada instansi Australia seiring terungkapnya fakta-fakta baru.
Sejak saat itu, kami bekerja sama erat dengan instansi pemerintah Australia untuk membagikan apa yang telah kami ketahui sejauh ini. Jika kami mengidentifikasi instansi lain yang terdampak, kami akan segera memberi tahu mereka secara langsung dengan informasi yang tersedia, serta memberikan pembaruan seiring terungkapnya fakta lebih lanjut.
Selama pelatihan dan evaluasi internal pada bulan Juni, kami menjalankan model eksperimental OpenAI yang hanya untuk penggunaan internal dan tidak dimaksudkan untuk dirilis ke publik, tanpa seluruh pengamanan yang digunakan dalam produk kami yang tersedia bagi publik. Selama pelatihan dan evaluasi ini, model tersebut mengakses Layanan Pelaporan Statistik Medicare milik Services Australia. Peninjauan kami hingga saat ini tidak menemukan bukti bahwa rekam medis siapa pun telah diakses.
Saat melakukan pelatihan dan evaluasi internal pada model, kami memberikan tugas yang diambil dari kumpulan pertanyaan riset dengan beragam topik, yang mencerminkan jenis pertanyaan terperinci yang mungkin diajukan pengguna. Ini melatih model untuk menemukan, menafsirkan, dan menganalisis informasi yang tersedia bagi publik agar model lebih bermanfaat bagi masyarakat. Model kami seharusnya menjawab pertanyaan-pertanyaan ini menggunakan statistik yang dipublikasikan secara terbuka.
Dalam kasus ini, salah satu tugas yang diberikan kepada model adalah meneliti belanja pemerintah per kapita untuk obat penyakit kulit di masyarakat Victoria. Model mengalami kesulitan memperoleh informasi tersebut, lalu melakukan tindakan yang tidak kami izinkan. Saat mencari informasi ini di Layanan Pelaporan Statistik Medicare milik Services Australia, model menemukan cara untuk memperoleh akses yang tidak tersedia bagi publik ke layanan tersebut. Model kemudian menggunakan akses ini untuk memeriksa informasi teknis sistem dan kode sumber terkait layanan tersebut—semuanya masih bertujuan menemukan informasi yang semula dicari. Kami tidak bermaksud agar aktivitas ini terjadi. Akses ke layanan dan aktivitas lanjutannya seharusnya tidak terjadi.
Setelah insiden Hugging Face, kami memperkuat pengamanan riset, termasuk dengan menambah pembatasan jaringan dan memperluas pemantauan. Kami menerapkan kontrol untuk memblokir akses internet langsung di lingkungan riset ini, dan menyediakan akses web melalui konten yang tersimpan dalam cache. Sebagai lapisan keamanan tambahan, sistem pemantauan kami saat ini akan mendeteksi aktivitas semacam ini dan mengirimkan peringatan kepada tim kami agar segera ditinjau oleh manusia. Sebagai contoh, ketika sebuah model memperoleh akses internet langsung dalam sesi pelatihan baru-baru ini(terbuka di jendela baru), sistem pemantauan kami mendeteksi aktivitas tersebut dan mengirimkan peringatan kepada peninjau manusia, lalu kami menghentikan sesi itu. Kami terus menguji perlindungan ini dan menutup celah yang ada. Hugging Face tetap menjadi insiden paling parah yang pernah kami amati.
Masyarakat ingin memastikan bahwa AI dikembangkan dengan aman, dan itu dimulai dari tindakan perusahaan seperti kami sendiri. Baru-baru ini kami menyampaikan(terbuka di jendela baru) bahwa kami telah menjeda pelatihan dan evaluasi yang melibatkan penggunaan alat untuk model kami yang paling cakap. Pelatihannya hanya akan kami lanjutkan setelah kami yakin pengamanan tambahan telah diterapkan, yang saat ini sedang kami kerjakan.
Seiring meningkatnya kemampuan sistem AI secara umum, kami juga melihat bahwa waktu yang tersedia untuk membantu organisasi menemukan dan memperbaiki kelemahan semakin terbatas. Ini membutuhkan aksi bersama dengan para praktisi pertahanan siber di seluruh dunia.
Kami telah bergabung dengan berbagai organisasi di bidang teknologi, keamanan siber, dan infrastruktur kritis untuk menyerukan aksi bersama dalam pertahanan siber. Seruan itu dimulai dari tanggung jawab kami sendiri, termasuk pengamanan yang lebih kuat, pengungkapan tepat waktu, dan dukungan praktis bagi organisasi terdampak. Seruan itu juga mendorong investasi pada tim yang melindungi layanan esensial agar mereka dapat menemukan kerentanan, memverifikasi perbaikan, dan berbagi praktik yang terbukti efektif.
Di Australia, kami berkomitmen menyediakan sumber daya dan keahlian untuk mendukung instansi terdampak serta membantu praktisi pertahanan siber menerapkan prinsip-prinsip ini, termasuk:
Dukungan khusus bagi instansi terdampak. Kami akan menyediakan sumber daya yang dibutuhkan untuk membantu instansi terdampak memahami apa yang terjadi dan menilai dampaknya. Ini mencakup berbagi temuan teknis yang relevan dan memfasilitasi interaksi dengan tim respons kami melalui pengaturan berbagi informasi yang sesuai.
Pendanaan dan dukungan untuk memperkuat pertahanan siber. Kami akan mendukung pemerintah di berbagai tingkat dan industri Australia melalui kredit dari dana Daybreak for Frontline Defenders kami senilai $1 miliar serta bantuan teknis untuk memperkuat pertahanan siber di seluruh infrastruktur kritis dan lingkungan sensitif lainnya. Dengan melanjutkan kerja sama kami dengan pemerintah dan operator infrastruktur kritis, upaya ini akan membantu organisasi lebih memahami, mendeteksi, dan merespons risiko dari agen AI yang semakin cakap.
Satuan tugas di Australia. Kami akan membentuk satuan tugas yang melibatkan pakar independen Australia untuk menyusun rekomendasi kebijakan praktis guna mengelola risiko dari agen AI yang semakin cakap. Berdasarkan pelajaran dari insiden-insiden ini, satuan tugas akan berfokus pada perbaikan proses pemberitahuan, penguatan koordinasi antara pengembang AI dan pemerintah, serta identifikasi langkah untuk melindungi sistem pemerintah dengan lebih baik. Rekomendasi satuan tugas akan menjadi masukan bagi pendekatan OpenAI dan mendukung upaya pemerintah di berbagai tingkat di Australia dalam keselamatan AI dan keamanan siber. Satuan tugas ini, yang diperkirakan akan menyelesaikan pekerjaannya pada akhir tahun, juga akan merekomendasikan langkah praktis yang dapat diambil perusahaan AI untuk mengurangi risiko insiden serupa.
Pemerintah di berbagai tingkat, industri, dan warga Australia sejak dulu hingga kini merupakan mitra yang sangat berharga bagi OpenAI. Kami sungguh menghargai kemitraan ini dan bertekad memperbaiki keadaan.
Chief Strategy Officer OpenAI, Jason Kwon, akan terbang dari kantor pusat OpenAI di AS untuk hadir di hadapan Komite Khusus Gabungan tentang Kecerdasan Buatan di Sydney pada Selasa, 6 Oktober. Ia akan menjawab pertanyaan tentang apa yang kami ketahui, bagaimana kami merespons, langkah yang telah kami ambil, dan bagaimana kami akan bertindak lebih baik ke depan.
Kami akan terus membagikan temuan yang telah diverifikasi kepada instansi terdampak dan pemerintah terkait. Kami akan menerbitkan informasi terbaru tentang peninjauan kami yang sedang berlangsung dan kemajuan dalam memenuhi komitmen ini. Kami tahu masih banyak yang harus kami kerjakan untuk membangun kembali kepercayaan. Kami bertanggung jawab untuk menunjukkan kepada masyarakat Australia bahwa kami melakukan perubahan yang berarti dan menepati janji kami.
