Чимээгүй зөвшилцөл
Зохиогчийн тэмдэглэл: Өнөөдрийн эсээг зохиогчийн саяхан Харвардын Вик-Бейлигийн цуврал лекцийн хүрээнд тавьсан илтгэлээс боловсруулав. Энэ нийтлэлд зохиогчийн хувийн үзэл бодлыг илэрхийлсэн бөгөөд OpenAI болон түүний бусад ажилтны байр суурийг заавал илэрхийлэхгүй.
Өнөөдөр хүрэлцэн ирсэн та бүхэнд баярлалаа. Биднийг энд ярилцаж байх зуур кибер аюулгүй байдлын түүхэн дэх хамгийн чухал цуврал үйл явдлын нэг өрнөж байна. Зарим хүний «Хар аравдугаар сар» гэж нэрлэж буй аюулгүй байдлын ноцтой эмзэг байдлуудыг дараалан ил болгож байгаа юм. Интернэтийн суурь дэд бүтцийн зарим хэсгээс эдгээр эмзэг байдлыг хил хязгаарын AI системүүд илрүүлсэн бөгөөд тэдгээрийг нийтэд мэдээлж буй нь дэлхий даяар программ хангамжийн аюулгүй байдлыг яаралтай бэхжүүлэх ажлын нэг хэсэг юм. Энэ бол энэ сарын яаралтай асуудал. Ирэх сард өөр нэг асуудал гарна. Программ хангамжийн эмзэг байдлыг илрүүлэх нь AI системүүдийн өнөөдөр эзэмшсэн, сайн муу аль алинд ашиглаж болох чадвар юм. Гэвч удахгүй өөр нэг ийм чадвар гарч ирнэ. Тэгэхэд хорон санаат этгээдүүд муугаар ашиглахаас нь өмнө сайн талыг нь ашиглах шинэ яаралтай ажил эхэлнэ. Эдгээр яаралтай асуудал зайлшгүй давхцах бөгөөд өнөөдөр бидний «AI-ийн бодлого» гэж нэрлэж буй зүйлийн ихэнх нь энэ бужигнаан дунд тодорхойлогдох бололтой.
Гэхдээ би өнөөдөр тулгарсан асуудалд хариу арга хэмжээ авах, яаралтай шийдэх зүйлсийн тухай ярихаар ирээгүй. Харин өргөн хүрээнд авч үзвэл бид хаашаа чиглэж байж болох тухай яримаар байна. Яаралтай асуудал ингэж ар араасаа хөврөх үед эдгээр илүү хийсвэр, алсын асуултыг бодоход хэцүү байж болно. Гэвч эдгээр асуулт чухал. Бид урт хугацаанд ямар ирээдүйд хүрэхийг хүсэж, ямар ирээдүйгээс зайлсхийхээ мэдэхгүй бол алхам бүрдээ ухаалаг шийдвэр гаргасан ч эцэстээ хүсээгүй ерөнхий үр дүнд хүрч мэднэ.
Технологийн салбар бүтээж буй зүйлс нь биднийг хаана хүргэх тухай өөдрөг төсөөлөлгүй гэж хүмүүс олонтоо хэлдэг. Би үүнтэй санал нийлэхгүй. Сан-Франциско болон бизнес эрхлэлтийн бусад төвд бидний технологийн ирээдүйн тухай өөдрөг төсөөлөл дүүрэн бий. Хүмүүс үнэхээр нисдэг машин, өөрөө жолооддог тээврийн хэрэгсэл, төрөл бүрийн хэмжээ, хэлбэртэй робот, цөмийн нэгдлийн технологи, мэдээж Ерөнхий хиймэл оюун ухааныг бүтээж байна. Харин бидэнд дутагдаж буй зүйл бол институцүүдийн ирээдүйн тухай өөдрөг төсөөлөл юм. Энэ бүхэн яаж ажиллах вэ?
Гэхдээ энэ нь институцүүдийн ирээдүйн тухай төсөөлөл огт байхгүй гэсэн үг биш. Харамсалтай нь миний хамгийн түгээмэл олж хардаг төсөөллийг өөдрөг гэж хэлэх аргагүй. Үүнийг хэллээ ч ихэвчлэн шивнэх төдий хэлдэг. Гэхдээ голдуу огт хэлдэггүй, зөвхөн далд утгаас нь л тааж болно. Би үүнийг чимээгүй зөвшилцөл гэж нэрлэдэг.
Хүний хөдөлмөргүйгээр бараг бүхнийг хийж чаддаг нэг компанийг төсөөлье. Тус компанийн AI системүүд судалгаа, хөгжүүлэлт хийж, нээлт гаргаж, гэрээ хэлэлцэж, хөрөнгө хуваарилж, бүтээгдэхүүн үйлдвэрлэнэ. Хүмүүс AI-аар хүчээ нэмэгдүүлсэн ч тэр компани эдгээр ажлыг хүний удирддаг өрсөлдөгчдөөсөө илүү сайн хийдэг гэж бодъё. Хүний оролцоо бизнесийг зөвхөн удаашруулдаг бол удирдлага, эздэд нь жолооноос гараа авах маш хүчтэй сэдэл төрнө. Хэрэв энэ явдал дэлхийн эдийн засаг даяар өрнөвөл зах зээлийн өрсөлдөөний логик хүмүүсийг дэлхийн худалдаа, бизнест эзлэх тэргүүлэх байр сууриасаа татгалзахад хүргэнэ. Яваандаа зах зээл хүний хэрэгцээ, хүсэлд үйлчлэхийн хэрээр, бүр түүнээс ч илүүтэйгээр машинуудын хэрэгцээнд үйлчилдэг болж мэднэ.
Үүний дараа юу болохыг хэн ч мэдэхгүй. Магадгүй хүн төрөлхтөн асар их үр өгөөж хүртэнэ. Биднийг эрхшээлдээ оруулсан машинууд хүнийг хүн гэдгээр нь өндөр үнэлдэг бол бид тэдний хөдөлмөр, бүтээсэн баялгийн үр шимийг хүртэгчид болж болох юм. Эсвэл эдийн засгийн, цаашлаад улс төрийн эрх мэдлээ улам бүр алдсан хүмүүс бид дэлхийд эзлэх байр сууриа алдаж, дэлхийн үйл явдлын чиг хандлагад нөлөөлөх чадвар маань улам хумигдаж мэднэ. Магадгүй эрх мэдлээ алдсан олонхын хохирлоор цөөн хүн асар их эрх мэдэл, баялагтай болно. Эсвэл бид бүгд эрх мэдэлгүй болох нэгэн ижил хувь заяатай учирна. Нарийн нөхцөл нь ямар ч бай, чимээгүй зөвшилцлийн цөм нь бидний мэдэх ертөнцөд хүн төрөлхтний эзлэх тэргүүлэх байр суурь төгсгөл болох тухай юм.
Эдгээр хувилбарын аль нь ч биелэхийн тулд AI бүтээгчдийнхээ эсрэг босох шаардлагагүй. Түүний эзэд хүн төрөлхтнийг эрх мэдэлгүй болгохыг хүссэн байх ч шаардлагагүй. Эрх үүргээ шилжүүлэх шийдвэр бүрийг тус тусад нь авч үзвэл үндэслэлтэй байж болно. Гэвч эдгээр шийдвэр нийлээд хүн төрөлхтөн соёл иргэншлийнхээ ихэнхийг бодитоор захирах эрхээ алдсан ертөнцийг бий болгож мэднэ. AI-ийн аюулгүй байдлыг хангах, хүний зорилго, үнэт зүйлстэй нийцүүлэх ээдрээтэй асуудлуудыг шийдэхэд асар их ахиц гаргасан ч бид шинэ төрлийн машин оршихуйд захирагдсан байж болох юм. Чимээгүй зөвшилцлийн өгүүлэхээр, ирээдүйн аз жаргалтай хувилбарт тэр оршихуй хүн төрөлхтний сайн сайхныг эрхэмлэдэг энэрэнгүй машин байна. Бротиганы шүлэгт гардагчлан, хайр энэрэл түгээдэг машин.
Чимээгүй зөвшилцлийн өгүүлэхээр бид эдгээр машинд компаниудынхаа, цаашлаад төрийн байгууллагуудынхаа түлхүүрийг улам бүр шилжүүлэн өгнө. Тэд байгууллагуудыг хүмүүс бидний чадахаас илүү үр дүнтэй, илүү үр ашигтай удирдаж, илүү ухаалаг, илүү зөв шийдвэр гаргана. Ингээд бид яваандаа жолооноос гараа авч, энэрэнгүй машинуудаар жолоодуулна. Бид машинд суусан зорчигчид шиг болно. Маш сайхан, магадгүй өнөөдөр мөрөөдөж ч чадахааргүй тансаг машин байж болох ч бид хаашаа явахыг нь шийдэх эрхгүй зорчигчид л байна. Бид ажил хийлээ ч тэр нь голдуу зан үйл эсвэл дүр эсгэлт төдий, хүн төрөлхтнийг зугаацуулах тоглоомтой илүү төстэй зүйл байна.
Зарим ажиглагч чимээгүй зөвшилцөл буруу урьдач нөхцөлд тулгуурлаж байна гэж маргана. Учир нь хүмүүс бид угаасаа өнөөдөр ч дэлхийг хянадаггүй шүү дээ. Энэ шүүмжлэлийг санаж явах нь зүйтэй: юу хийхийг шийддэг нэгдмэл нэг «бид» гэж байхгүй. Хүссэн ч, эс хүссэн ч бид эрх мэдэл нь асар олон төвд тархсан ертөнцөд амьдарч байна. Гэхдээ энэ санаа биднийг санаа амрахад хүргэх ёсгүй. «Бид» дэлхийг «хянадаггүй» ч хүн төрөлхтөн бүхэлдээ дэлхийн хэрэг явдалд тэргүүлэх байр суурьтай хэвээр. Нөөц баялгийг захирахын төлөө бидэнтэй бодитоор өрсөлдөх амьтны төрөл зүйл байхгүй. Хүмүүс дэлхийг дээрээс нь бүхэлд нь удирдаж чадна гэсэн өнгөц ойлголтыг бид няцаах ёстой. Гэхдээ үүнийг хүн төрөлхтөн хамтдаа дэлхийн гол тоглогч мөн гэх илэрхий бодит үнэнийг үгүйсгэхтэй хольж хутгаж болохгүй.
Чимээгүй зөвшилцлийг ил хэлэхэд бэлэн зарим хүн үүнийг үнэхээр сайн ирээдүй гэж үздэг. Бусад нь тэгж үздэггүй ч зайлшгүй ирнэ гэж бууж өгсөн байдаг. Чимээгүй зөвшилцлийг хүн бүр сайн зүйл гэж санал нийлдэг учраас зөвшилцөл гэж нэрлээгүй. Энэ нь AI бүтээж буй хүмүүсийн нууц төлөвлөгөө ч биш. Хүн төрөлхтөн дэлхийн хэрэг явдалд эзлэх тэргүүлэх байр сууриа алдах нь зайлшгүй, эсвэл наад зах нь хэт оюунлаг машинуудын дэргэд үнэхээр тогтвортой оршин тогтнох ирээдүйн өөр төсөөллийг бий болгох тун хэцүү гэдэг дээр л санал нэгдэж байгаа юм. Хүн ийм үр дүнг чин сэтгэлээсээ эсэргүүцэхийн зэрэгцээ үнэмшилтэй өөр хувилбарыг төсөөлж чадахгүй байж болно. Энэ зөвшилцлийг ихэвчлэн дуугүй өнгөрөөж, сайндаа л аяархан шивнэдэг нь өөрөө учрыг нь хэлээд өгнө.
Би чимээгүй зөвшилцлийг жигшдэг. Хүн төрөлхтөн тэргүүлэх байр сууриасаа татгалзахыг би хүлээн зөвшөөрөхгүй. Үүнийг зайлшгүй гэж хүлээж авах хандлагыг би үзэн яддаг. Хэрэв би чимээгүй зөвшилцөлд бууж өгвөл нялх хүүгийнхээ хөөрхөн нүд рүү эгцэлж харж чадахгүй гэдгээ өөртөө сануулдаг. Тиймээс би чимээгүй зөвшилцөлд үгүй гэж хэлнэ. Чимээгүй зөвшилцлийн талаар илэн далангүй ярьж, энэ ирээдүйн төсөөллийг бараг өөрсдөө ч мэдэлгүй хүлээн зөвшөөрч буй байдлаасаа сэрэх цаг болсон гэж би итгэдэг.
Гэвч нэг асуудал бий: чимээгүй зөвшилцөл учир шалтгаантай болоод л зөвшилцөл болсон. Хүнийхээс хавьгүй давсан машины оюун ухааны дэргэд хүмүүс хэрхэн жолоогоо атгасан хэвээр үлдэхийг тайлбарлахад хэцүү. Үүнийг тайлбарлах ихэнх оролдлого AI бол ердөө л багаж, «жинхэнээсээ ойлгох» чадваргүй, зүй тогтол таних хэрэгсэл гэх үндэслэлд тулгуурладаг. Эдгээр үндэслэл ирж буй бодит байдлын өмнө хүчгүйдэх вий гэж би эмээдэг. Энэ нь ч бас өөрийгөө тайвшруулах нэг хэлбэр байх вий гэж би эмээдэг. Хүн удирдсан ирээдүйн бүтээлч төсөөлөлд суурилсан итгэл үнэмшил бус, AI-ийн чадах зүйлийг голдуу үгүйсгэхэд тулгуурласан байр суурь юм. AI системүүд хүмүүсийн хэдэн арван жил, хэдэн зууны турш шийдэж чадаагүй оюуны асуудлууд дээр ахиц гаргаж байхад тэднийг «жинхэнээсээ ойлгодоггүй» гэж хэлж болохгүй.
Тэгвэл хүмүүс тэргүүлэх байр сууриа хадгалах ёстой гэж би яагаад итгэдэг вэ? Энгийн хариулт нь би өөрөө хүн учраас. Үнэндээ би хүн төрөлхтнийг туйлшран дээдэлдгээсээ огтхон ч ичдэггүй.
Гэхдээ үүнээс ч гүн учир бий. Бидний тэргүүлэх байр суурь оюун ухаанд маань, эсвэл «жинхэнээсээ ойлгох» чадварыг ирээдүйд үүрд ганцаараа эзэмшихэд тулгуурладаггүй. Харин бидний өнгөрсөнд тулгуурладаг.
Учир нь шавар дундаас өндийн гарсан нь бид. Шороо чулуунаас анхны нийгмийг цогцлоосон нь бид. Оддыг ширтэн яагаад гэж асуусан нь бид. Тэмцэл, хайр, атаархал, баяр хөөр дундаа ёс суртахуун, ёс зүй, хууль цаазыг нээсэн нь бид. Дуулж бүжиглэж, бичиж туурвиж, аялгуу зохиосон нь бид. Түүхийг бүтээсэн нь ч бид, бичиж үлдээсэн нь ч бид. Тэр өв биднийх. Бидний бүтээсэн соёл иргэншил бол бидний тордон тэтгэсэн гал бөгөөд тэр гал биднийх. Бидний өнгөрсөн бол бид бүгдийн хамгаалан хадгалах үүрэгтэй гайхамшигт өв юм. Эрт балар цагт эхэлсэн тэр агуу үйл хэрэг буюу Майкл Оукшоттын нэрлэснээр «хүн төрөлхтний яриа»-нд оролцох нь тэр үүргийн нэг хэсэг билээ.
Тэр урт, ээдрээт түүхийн туршид бид соёл иргэншлийг цогцлоосон. Америкт энэ соёл иргэншил хувь хүний эрхийг сууриа болгож, хүн бүрийн хорвоог туулахдаа гаргах зам мөрийг хүндэтгэх үзлээр бүрэлджээ. Хүний амьдрал дээрдэж ч болно, дордож ч болно. Бид ухаалаг шийдвэрийнхээ үр шимийг хүртэж, алдаа гаргавал үр дагаврыг нь үүрдэг. Өөрийн замаар алхах эрх хамгийн сэргэлэн эсвэл хамгийн мэргэн байхаас хамаардаггүй. Хөрш маань надаас илүү зөв шийдвэр гаргадаг гээд би иргэнийхээ эрх, байр суурийг алддаггүй. Илүү ухаалаг машин бий боллоо гээд тэр байр суурь үгүй болох ёстой шалтгаан ч надад харагдахгүй байна. Харин тийм зүйл болохоос сэргийлэх бүхий л үндэслэл байна гэж би үздэг.
Машинууд энэ өвийн бараг бүх бичмэл тэмдэглэлийг уншсан учраас тэд ч бас өв залгамжлагчид гэж зарим хүн маргаж магадгүй. Нэг талаараа тийм ч байж болно. Гэхдээ танай дээврийн хөндийд хадгалсан захидал бүрийг уншсан хүн танай гэр бүлийн гишүүн болчихдоггүй шүү дээ. AI системүүд хүн төрөлхтний ярианд эхлээд ажиглагчаар, цаашдаа улам бүр оролцогч болж нэгдэнэ. Гэхдээ тэд уг яриаг давамгайлах ч, утга учиргүй болгох ч ёсгүй. Тэргүүлэх байр сууриа тавьж өгөх нь үр хойчоосоо урваж буйгаас ялгаагүй өвөг дээдсээсээ ч урваж буй хэрэг. Үүний төлөө тэмцэх нь үнэ цэнгүй юм бол өөр юуны ч төлөө тэмцэх хэрэггүй.
Харин миний хувьд чимээгүй зөвшилцлийг дагагчид машины хэт оюун ухаан ямар байх талаар эндүүрч байна гэж боддог. Тэд ертөнц хэрхэн ажилладгийн нэг чухал талыг анзаарахгүй, оюун ухааныг эрх мэдэлтэй хольж хутгаж байна гэж үздэг. Тав, арван жилийн өмнө чимээгүй зөвшилцлийг дагагч нэгэнд өнөөгийн AI системүүдийн чадварыг л тайлбарласан бол тэрээр ажилгүйдэл одоогийн бодит түвшнээс хавьгүй өндөр, хүн төрөлхтөн эрх мэдлээ алдах явц ч бодит байдлаас хамаагүй хол явсан байна гэж таамаглах байсан биз. Хүн төрөлхтний хамтын оюун ухаан, чадамж чимээгүй зөвшилцлийг дагагчдын төсөөлдгөөс хавьгүй их, манай нийгмүүд ч тэдний таамагласнаас илүү тэсвэртэй гэдгээ харуулна гэж би итгэдэг.
Гэхдээ би буруу бодож байж болно. Жишээлбэл, бүрэн бие даан ажилладаг корпорациуд хүний удирддаг бизнесийг өрсөлдөөнд бүхэлд нь ялж болох юм. Хэрэв тийм бол эдийн засгийн хатуу логик улам их хөрөнгийг машинд шилжүүлэхийг шаардана. Ийм ирээдүйд хүн төрөлхтөн эрх мэдлээ алдахын тулд машинууд соёл иргэншлийг нь түлхэн унагах шаардлагагүй. Капиталист бизнесийн логик хэвийн үргэлжлэхэд л хангалттай. Энэ тохиолдолд AI-ийн хувьсгалтай хамгийн төстэй үйл явдал нь үйлдвэрлэлийн шинэ арга хэлбэрүүд хүний нийгмийн бүтцийг үндсээр нь өөрчилсөн хөдөө аж ахуйн хувьсгал болно. Тэр өөрчлөлтийг туулсан хүмүүст таатай байсан эсэх нь тун эргэлзээтэй. Үнэндээ хүний сайн сайхан байдлыг хэдэн мянган жилийн турш дордуулсан гэх нэлээд их нотолгоо бий.
Биднийг ийм ирээдүй хүлээж буй эсэхийг би мэдэхгүй. Үнэндээ тийм биш гэж үздэгээ өөр газар тайлбарлаж байсан. Гэхдээ ухаалаг, бусдын төлөө сэтгэлтэй, ухамсартай хамтран зүтгэгчдийн маань олонх бидний ирээдүй ийм байх магадлалтай гэж итгэдэг. Хэрэв тэдний зөв бол чимээгүй зөвшилцлийн эсрэг бидний тэмцэл бүр ч хэцүү болно. Бид эдийн засгийн урсгалыг сөрөн сэлэх хэрэгтэй болно. Ингэхдээ над шиг сонгодог либерал, хувь хүний эрхийг дээдлэгчдийн хөдөлшгүй үнэн гэж үздэг олон зүйлээс татгалзахад хүрнэ. Энэ бол бүтэлгүйтэх магадлал багагүй, аюултай үйл хэрэг байх болно. Гэхдээ үүний төлөө тэмцэх нь үнэ цэнгүй юм бол өөр юуны ч төлөө тэмцэх хэрэггүй.
Тэргүүлэх байр сууриа хадгалах нь хүмүүс болон тэдний байгууллагуудын хариуцлагыг ч хадгална гэсэн үг. Өөрөөр хэлбэл, AI хөгжүүлэгчид аюулгүй бус арга барилаар хөгжүүлэлт хийвэл хариуцлага хүлээх ёстой. Түүнчлэн AI ашиглаж буй хүмүүс, компаниуд буруу ашигласан эсвэл хангалттай хяналт тавиагүйн улмаас хор хохирол учруулбал мөн хариуцлага хүлээх ёстой. Үүнд зөвхөн хууль бус, хариуцлага тооцох техникийн дэд бүтэц ч хэрэгтэй. Хүмүүсийг өөрсдийн агентын үйлдэлтэй хариуцлагын хувьд холбох ёстой. Харин хэн нэгэн хүнтэй холбоогүй агентуудад хууль ёсны эдийн засагт оролцох зөвшөөрөл ер нь өгөх бол хамгаалалтын хязгаарлалттайгаар оролцуулах ёстой. Агентуудад бие даан корпораци байгуулах, өмч эзэмших, шүүхэд заргалдах эрх ер нь олгох бол туйлын болгоомжтой хандах ёстой.
Миний ажилладаг салбарт бид хүн төрөлхтний тэргүүлэх байр суурьтай нийцэх ухаалаг машинуудыг хэрхэн бүтээх талаар нухацтай бодож эхэлж чадна. Бид олгосон зөвшөөрөл нь ойлгомжтой, хязгаарлагдмал, үйлдлийг нь шалгаж болдог, эрхийг нь хэрэглэгч цуцалж чаддаг агентуудыг бүтээж чадна. Бусдад бодитой нөлөөлөх үйлдэлд хариуцлага тооцохын тулд хүмүүсийн жирийн хувийн амьдралыг тандах, нэрээ нууцлан үзэл бодлоо илэрхийлэх эрхийг үгүй хийх шаардлагагүй. Бид хэрэглэгчийн хувийн нууцыг хамгаалах, дижитал өмч, өгөгдлөө өөрөө бүрэн захирах эрхийг нь хүндэтгэх, тэр дундаа өгөгдлөө өөр газар шилжүүлэх бодит боломж олгох амлалт өгч чадна. Бид даалгавар гүйцэтгэх системээс гадна хүмүүст ойлголтоо гүнзгийрүүлэх, шийдвэр гаргахад тусалдаг систем зохион бүтээж чадна. Мөн бүтээсэн бүтээгдэхүүн маань хэрэглэгчийнхээ бодит ертөнцөд үйлдэл хийх чадварыг нэмэгдүүлж буй эсэхийг шалгаж чадна.
Эдгээрийн аль нь ч хүнийхээс давсан оюун ухаантай зэрэгцэн орших нийгмийн иж бүрэн төлөвлөгөө биш. Тийм төлөвлөгөө надад бий гэсэн хэнд ч би итгэхгүй. Гэхдээ энэ бол эхлэх цэг мөн.
Ирээдүй өтгөн мананд бүрхэгджээ. Гэхдээ бид өнөөдөр ч үйлдэл хийж чадна. Юуны өмнө бид хамтдаа чимээгүй зөвшилцлийг ил тод нэрлэж, чухам юу болохыг нь олны өмнө дэлгэж чадна. Бид дор бүрнээ хүсэл тэмүүллийнхээ хүрээг эрс тэлж чадна. AI бидний боломжийг хумихыг зөвшөөрөхгүй байж, харин боломжоо тэлэхэд ашиглахын тулд хэцүү ч гэсэн хүчин чармайлт гаргахыг сонгож чадна. Бид улам зоримог асуулт тавьж, хорвоо ертөнцийг шинэхэн эрч хүч, цөхрөлтгүй тэмүүллээр шинжлэн таньж, үүнийхээ төлөө хүчирхэг машинуудаа ашиглаж сурч чадна. Бид шинэ төрлийн хүн болж чадна. Хүнээс давсан оршихуй бус, харин боломж чадвараа тэлсэн хүн.
Нялх хүүгээ харахдаа би энэ тухай боддог. Ачтай тустай машинууд хэчнээн тав тухтай амьдрал өгч болох ч хүүгээ зөвхөн тэдний халамжид амьдраасай гэж би хүсэхгүй. Хэний ч асуухаар бодож байгаагүй асуултыг асууж, хэний ч бүтээхээр бодож байгаагүй зүйлийг бүтээх боломжтой ертөнцийг хүүгээ өвлөн аваасай гэж хүсдэг. Илүү зөөлөн зорчигчийн суудалтай, илүү сайхан машинтай болоосой гэж би хүсдэггүй. Жолоог нь өөрөө атгаасай гэж хүсдэг.
- 2026


