Be My Eyes

Wiwit 2012, Be My Eyes wis nggawe teknologi kanggo komunitas luwih saka 250 yuta wong sing wuta utawa duwe sesanti kurang. Startup saka Denmark iki nyambungake wong sing wuta utawa duwe sesanti kurang karo para sukarelawan kanggo mbantu atusan tugas urip saben dina kaya ngenali produk utawa navigasi ing bandara.

Kanthi kemampuan input visual anyar saka GPT‑4 (ing research preview), Be My Eyes miwiti ngembangake Virtual Volunteer™ sing didhukung GPT‑4 ing aplikasi Be My Eyes sing bisa ngasilake tingkat konteks lan pangerten sing padha karo sukarelawan manungsa.

“Ing wektu cendhak wiwit kita entuk akses, kita wis ndeleng kinerja sing ora ana tandhingane dibandhing alat pangenalan obyek gambar-menyang-teks liyane sing ana," ujar Michael Buckley, CEO Be My Eyes. “Implikasine kanggo aksesibilitas global banget jero. Ing mangsa sing ora suwe maneh, komunitas wong wuta lan sing sesanti kurang bakal migunakaké piranti iki ora mung kanggo macem-macem kabutuhan interpretasi visual, nanging uga kanggo nduwèni tingkat kamardikan sing luwih gedhé ing uripe.”  

Dumadakan, gambar sing dikirim wong, contoné isi kulkasé, teknologi GPT‑4 ora mung ngenali lan nyebut apa sing ana ing njero, nanging uga nyimpulake lan nganalisa apa sing bisa digawe saka bahan-bahan kuwi. Sampeyan banjur bisa njaluk resep sing apik. Kasus panggunaané meh tanpa wates.

“Iki ngowahi permainan,” ujare Buckley. “Pungkasane, apa wae sing dikarepake utawa dibutuhake pangguna, dheweke bisa nge-prompt maneh alat iki kanggo entuk informasi luwih akeh sing migunani lan nulungi, meh seketika.”

Ing awal Februari, perusahaan miwiti uji beta asisten sing didhukung GPT karo klompok cilik karyawan; asilé positif banget nganti fitur iki bakal ana ing tangan pangguna sajrone sawetara minggu.

“Ana potensi sing luar biasa kanggo komunitas kita,” ujare Buckley. “Para penguji beta kita, kalebu Lucy Edwards, wis seneng banget karo apa sing bisa ditindakake iki.”

Bédané GPT‑4 lan model basa lan machine learning liyane, jelas Jesper Hvirring Henriksen, CTO Be My Eyes, yaiku kemampuan kanggo ngajak obrolan lan tingkat kaprigelan analitis sing luwih dhuwur saka teknologi iki. “Aplikasi pangenalan gambar dhasar mung ngandhani apa sing ana ing ngarepmu”, ujare. “Piranti kuwi ora bisa diskusi kanggo ngerti apa mie kuwi nduwèni jinis bahan sing pas utawa apa obyek ing lemah kuwi dudu mung bal, nanging uga bebaya gawe kesandhung—lan ngandharake kuwi.”

Perusahaan wis nduwèni kasus nalika pangguna bisa navigasi sistem sepur—bisa dibilang tugas sing mokal uga kanggo wong sing bisa ndeleng—ora mung entuk rincian babagan panggonane ing peta, nanging uga pandhuan titik demi titik babagan carane tekan panggonan sing dikarepake kanthi aman.

Nanging, nyabrang jagad fisik sing ruwet mung separo saka critane. Ngerti apa sing ana ing layar bisa kaping pindho luwih angel kanggo wong sing ora bisa ndeleng. Screen reader, sing dipasang ing akèh sistem operasi modern, maca bagean-bagean kaca web utawa aplikasi desktop baris demi baris, bagean demi bagean, lan ngucapake saben tembung. Gambar, inti komunikasi ing web, bisa luwih angel maneh. 

Nanging, ujare Henriksen, saiki dheweke bisa nuduhake kaca web marang GPT‑4 lan sistem iki ngerti—sawisé latihan tanpa kaétung jam nalika algoritma sinau jero mbangun sesambungan kanggo mangerteni bagean “penting” saka kaca web—bagean endi sing kudu diwaca utawa diringkes. Iki ora mung bisa nyederhanakake tugas kaya maca warta online, nanging uga maringi akses marang wong sing butuh pitulungan visual menyang sawetara kaca paling rame ing web: situs blanja lan e-commerce. GPT‑4 bisa ngringkes asil panelusuran kaya cara wong sing bisa ndeleng kanthi alami mindhai asil kuwi—ora maca saben rincian cilik nanging mlumpat antar titik data penting—lan mbantu wong sing butuh dhukungan penglihatan nggawe tuku sing pas, sacara real-time.

“Iki pangembangan sing apik banget kanggo manungsa,” ujare Buckley, “nanging iki uga nggambarake kesempatan komersial sing gedhé banget.”