Kuwaté sinau tanpa mandheg

Kecerdhasan umum tiruan (AGI) kudune ngluwihi manungsa ing akehe pakaryan sing migunani sacara ekonomi. Aku ngarep-arep AGI mbantu masyarakat manungsa kanthi cara-cara iki:

1. Ngotomatisasi kanthi lengkap utawa nyuda kanthi signifikan upaya manungsa kanggo tugas sing bola-bali lan ora inovatif. Tegese, AGI kudune ningkatake produktivitas manungsa kanthi drastis.
2. Nyepetake banget panemuan terobosan ilmiah anyar, kalebu nanging ora winates ing nggampangake proses pangambilan keputusan manungsa kanthi nyedhiyakake analisis lan informasi tambahan.
3. Ngerti lan sesambungan karo donya fisik kanthi efektif, efisien, lan aman.

Sajrone 2,5 taun kawitanku ing OpenAI, aku kerja ing tim Robotics kanggo gagasan moonshot: kita pengin mulang siji tangan robot sing mirip tangan manungsa kanggo ngrampungake Rubik’s cube. Iki pengalaman sing luar biasa nyenengake, nantang, lan emosional. Kita ngrampungake⁠ tantangan iki nganggo sinau penguatan jero (RL), domain randomization ing jumlah edan, lan tanpa data latihan donya nyata. Sing luwih penting, kita ngalahake tantangan iki minangka tim.

Saka simulasi lan latihan RL nganti persepsi visi lan firmware hardware, kita kerja bareng kanthi raket lan kompak. Iki eksperimen sing nggumunake lan sajrone wektu kuwi, aku kerep mikir babagan reality distortion field⁠(mbukak ing jendhela anyar) duwèké Steve Jobs: nalika sampeyan percaya banget marang soko lan terus nyurung kanthi tekun, piye wae sampeyan bisa nggawe sing mokal dadi mungkin.

Wiwit awal 2021, aku wiwit mimpin tim Applied AI Research. Ngelola tim nggawa tantangan sing beda lan mbutuhake owah-owahan gaya kerja. Aku paling bangga marang sawetara proyek sing ana gandhengane karo safety model basa ing Applied AI:

1. Kita ngrancang lan mbangun sakumpulan data evaluasi lan tugas kanggo netepake kecenderungan model basa sing wis dilatih sadurunge kanggo ngasilake konten sengit, seksual, utawa kasar.
2. Kita nggawe taksonomi sing rinci lan mbangun classifier sing kuwat kanggo ndeteksi konten sing ora dikarepake⁠ uga alesan kenapa konten kasebut ora pantes.
3. Kita lagi nggarap manéka teknik kanggo nggawe model luwih cilik kemungkinane ngasilake output sing ora aman.

Nalika tim Applied AI lagi ngetrapake cara paling apik kanggo nyebarake teknik AI paling maju, kayata model basa gedhé sing wis dilatih sadurunge, kita ndeleng sepira kuwat lan migunanine teknik kasebut kanggo tugas donya nyata. Kita uga ngerti pentinge nyebarake teknik kasebut kanthi aman, kaya sing ditekanake ing Piagam kita⁠.

Model sinau jero saiki durung sampurna. Model iki dilatih nganggo data sing gedhé banget sing digawe manungsa (umpamane saka Internet, data kurasi, lan literatur) lan ora bisa diendhani nyerep akèh cacat lan bias sing wis suwe ana ing masyarakat kita. Contone, nalika DALL·E dijaluk nggambarake perawat, asilé mung ngasilake tokoh wadon, utawa kanggo profesor, mung ngasilake wong kulit putih. Model nangkep bias ing statistik donya nyata utawa bias ing data latihan kita.

Aku kepengin ngrancang cara kanggo nyuda bias sosial kaya iki lan ngevaluasi sepira efisiene cara kasebut. Bareng tim, aku ngrancang pipeline kanggo nyuda bias kuwi uga alur kerja kanggo nindakake evaluasi human-in-the-loop. Nyuda bias sosial dudu perkara gampang, amarga iki katon ing akèh aspek urip kita lan kadhang angel didelok. Nanging aku bungah tim DALL·E nangani masalah iki kanthi serius lan tumindak wiwit tahap awal banget. Sing saiki kita duwèni mung wiwitan lan kita bakal terus maju. Aku bangga bisa kerja ing babagan iki lan bungah ndeleng kepiye sethithik mbaka sethithik, kita nggawe AI modern luwih aman lan luwih apik.

Aku percaya marang kuwate sinau lan sinau iku ora tau kasep. Njaga blog pribadiku dadi cara sing apik kanggo njaga rasa penasaran iki tetep urip lan sinau babagan kemajuan anyar ing komunitas sinau jero kanthi rutin. Aku uga nyengkuyung timku supaya terus sinau, apa sing ana gandhengane utawa ora karo proyek sing lagi digarap. Gagasan saka topik utawa bidang sing beda asring bisa menehi inspirasi gagasan anyar lan nggedhekake ruang solusi sing bisa ditindakake.

Aku uga percaya banget marang kerja tim. Yen saben wong madhangi kekuwatan paling apiké, asilé bakal 1+1 > 2. Ing wektu sing padha, kita kerep nemoni pakaryan “reged” lan aku pribadi gelem banget njupuk tugas kuwi, amarga salawasé kuwi dadi alangan paling gedhé utawa tugas kuwi bisa menehi nilai paling gedhé marang proyek, ora ana sing pantes dianggep “reged” utawa “sepele.” Aku nyengkuyung wong-wong ing saubengku supaya nindakake sing padha, dadi pemain tim lan kerja bareng kanggo nyepetake produktivitas tim.

Kabeh iki diwiwiti saka kumpulan cathetan sinau pribadiku. Aku ora mlebu ing bidang sinau jero wiwit awal banget lan isih nganggep diriku “pamula.” Nalika wiwit nyinaoni akèh paper, aku kagum karo gagasan yen kita ora ngrancang algoritma kanggo ngrampungake masalah, nanging malah nglatih model supaya sinau algoritmane kanggo ngrampungake masalah. Saya akèh sing takwaca, saya gedhé rasa penasaranku. Ing praktiké, dadi angel banget ngatur kabeh paper sing wis takwaca lan konsep anyar sing wis taksinau. Mula aku mutusaké miwiti blog kanggo ndokumentasikake lan ngatur cathetan sinauku. Aku uga percaya yen cara paling apik kanggo sinau soko yaiku mesthekake yen kita bisa mulangaké kawruh kuwi marang wong liya kanthi bener lan cetha. Nulis mbantu aku tekan kana.

Aku ora nyangka iki bakal dadi populer ing komunitas ML, nanging saben aku nampa email matur nuwun utawa ana wong sing ngomong langsung yen dheweke sinau akèh saka maca blogku, aku rumangsa diajeni lan matur nuwun banget. Wis meh 6 taun wiwit aku miwiti blog iki ing 2017 lan aku bakal terus njaga supaya tetep mlaku saklawasé aku isa.

Komunitas AI wis nggawe kemajuan gedhé banget ing taun-taun pungkasan. Majué hardware, arsitektur model, lan data nggawe latihan model raksasa dadi mungkin lan asilé, kita terus ndeleng kapabilitas sing saya gedhé. Aku percaya kita ana ing dalan sing bener menyang AGI, nanging scaling dudu siji-sijiné resep. Miturutku tantangan sing paling mendesak saiki yaiku alignment lan safety. Ing sawetara babagan, loro-loroné bisa dadi masalah sing padha bab kontrolabilitas utawa steerability.

Kaping pisan, senajan kita wis nduwèni sistem AI sing kuwat banget, yen kita ora bisa ngandharake tujuan kita kanthi efisien lan mesthekake model selaras karo sing kita karepake, ora bakal bisa nggawe nilai sakakéh sing kita butuhake. Model paling kuwat saiki sinau saka data sing gedhé banget lan dataset kasebut ora bisa diendhani nangkep cacat lan bias sing ora sampurna saka donya nyata. Ing babagan iki, model sing ora selaras nggawa masalah safety, amarga model kuwi ora ngerti apa sing kudu diendhani.

Iki dudu pitutur tartamtu sing diwenehake wong marang aku, nanging adhedhasar pengalamanku ing OpenAI nganti saiki. Yaiku, mikira gedhé. Kita lagi nggawe soko sing anyar lan kita kudu nduwèni ambisi, wani, lan ketekunan sing cukup kanggo nerusake upaya iki.

Buku. Aku biasane maca buku ing njaba bidang sinau jero lan entuk inspirasi saka manéka bidang; contone, sepira wigatine kanggo panulis supaya tetep tekun nganti 50 taun, kanggo ahli bedah supaya sampurna nggatekake rincian, lan kanggo wirausaha supaya nduwèni “gagasan edan.”

Wong-wong ing saubengku. Aku rumangsa diajeni bisa kerja bareng klompok gedhé kanca kerja sing banget berbakat ing OpenAI. Saben wong nduwèni soko sing padhang, menehi inspirasi, utawa pantes diajeni lan aku seneng sinau saka dheweke.