New AI classifier for indicating AI-written text

2023 оны 7-р сарын 20-ны байдлаар AI ангилагч нь нарийвчлал бага байсан тул ашиглах боломжгүй болсон. Бид санал хүсэлтийг тусган ажиллаж байгаа бөгөөд одоогоор текстийн гарал үүслийг тогтоох илүү үр дүнтэй аргуудыг судалж байна. Мөн аудио эсвэл дүрсний контент AI-гаар үүсгэсэн эсэхийг хэрэглэгчдэд ойлгох боломж олгох механизмыг хөгжүүлж, нэвтрүүлэх үүрэг хүлээсэн.

Бид хүний бичсэн текст болон олон төрлийн үйлчилгээ үзүүлэгчийн AI-гийн бичсэн текстийг ялгах ангилагчийг сургасан. AI-гаар бичигдсэн бүх текстийг найдвартай илрүүлэх боломжгүй ч AI-гаар үүсгэсэн текстийг хүн бичсэн гэж худал мэдүүлэх эрсдэлийг бууруулахад сайн ангилагчид тусална гэж бид үзэж байна. Жишээлбэл, автоматжуулсан ташаа мэдээллийн кампанит ажил⁠ явуулах, AI хэрэгслийг академик шударга бус үйлдэлд ашиглах, эсвэл AI чатботыг хүн мэтээр танилцуулах зэрэгт.

Манай ангилагч бүрэн найдвартай биш. Англи хэл дээрх “сорилтын багц” текстүүдээр хийсэн үнэлгээнд манай ангилагч AI-гийн бичсэн текстийн 26%-ийг (үнэн эерэг) “AI-гаар бичигдсэн байх магадлалтай” гэж зөв таньсан бол, хүний бичсэн текстийг 9% тохиолдолд буруу AI-гаар бичигдсэн гэж тэмдэглэсэн (худал эерэг). Оролтын текст уртсах тусам манай ангилагчийн найдвартай байдал ерөнхийдөө сайжирдаг. Өмнө нь гаргасан ангилагчтай⁠(шинэ цонхонд нээгдэнэ) харьцуулахад энэ шинэ ангилагч нь сүүлийн үеийн AI системүүдийн текст дээр мэдэгдэхүйц илүү найдвартай байна.

Ийм төрлийн төгс бус хэрэгсэл хэрэгтэй эсэх талаар санал авахын тулд бид энэ ангилагчийг олон нийтэд нээлттэй болгож байна. AI-гаар үүсгэсэн текстийг илрүүлэх чиглэлийн ажил маань үргэлжилсээр байх бөгөөд цаашид илүү сайжруулсан аргуудыг хуваалцана гэж найдаж байна.

Манай үнэ төлбөргүй, хөгжүүлэлтийн шатандаа яваа ангилагчийг өөрөө туршаад үзээрэй:

Манай ангилагчид хэд хэдэн чухал хязгаарлалт бий. Үүнийг шийдвэр гаргах үндсэн хэрэгсэл болгон ашиглаж болохгүй, харин текстийн эх сурвалжийг тодорхойлох бусад аргыг нөхөх хэрэгсэл болгон ашиглах ёстой.

1. Ангилагч богино текст дээр (1,000 тэмдэгтээс доош) маш найдваргүй ажилладаг. Илүү урт текст ч заримдаа ангилагчаар буруу шошгологддог.
2. Заримдаа хүний бичсэн текстийг манай ангилагч өндөр итгэлтэйгээр AI-гаар бичигдсэн гэж буруу тэмдэглэж болно.
3. Ангилагчийг зөвхөн англи хэлний текстэд ашиглахыг зөвлөж байна. Бусад хэл дээр гүйцэтгэл нь мэдэгдэхүйц муу бөгөөд код дээр найдвартай биш.
4. Маш урьдчилан таамаглах боломжтой текстийг найдвартай таних боломжгүй. Жишээлбэл, эхний 1,000 анхны тооны жагсаалтыг AI эсвэл хүн бичсэн эсэхийг таамаглах боломжгүй, учир нь зөв хариулт нь үргэлж ижил байдаг.
5. AI-гаар бичигдсэн текстийг ангилагчаас бултахын тулд засварлаж болно. Манайх шиг ангилагчдыг амжилттай халдлагад үндэслэн шинэчилж, дахин сургаж болдог ч урт хугацаанд илрүүлэлт давуу талтай эсэх нь тодорхойгүй.
6. Мэдрэлийн сүлжээнд суурилсан ангилагчид нь сургалтын өгөгдлөөсөө гадуурх нөхцөлд муу тохируулгатай байдаг нь мэдэгдсэн. Манай сургалтын багц дахь текстээс маш өөр оролтод ангилагч заримдаа буруу таамаглалд туйлын өндөр итгэлтэй байдаг.

Манай ангилагч нь ижил сэдвээрх хүний бичсэн текст болон AI-гийн бичсэн текстийн хосуудаас бүрдсэн өгөгдлийн багц дээр нарийн тохируулсан хэлний загвар юм. Бид энэ өгөгдлийн багцыг сургалтын өмнөх өгөгдөл болон InstructGPT⁠-д илгээсэн өгөгдөл дээрх хүний жишээ үзүүлэлтүүд зэрэг хүн бичсэн гэж үзсэн олон төрлийн эх сурвалжаас цуглуулсан. Бид текст бүрийг өгөгдөл болон хариулт гэж хуваасан. Эдгээр өгөгдөл дээр бид өөрсдөө болон бусад байгууллагын сургаж бүтээсэн янз бүрийн хэлний загваруудаас хариулт үүсгэсэн. Манай вэб аппын хувьд бид худал эерэгийн түвшнийг бага байлгахын тулд итгэлцлийн босгыг тохируулдаг; өөрөөр хэлбэл, ангилагч маш өндөр итгэлтэй үед л текстийг AI-гаар бичигдсэн байх магадлалтай гэж тэмдэглэдэг.

AI-гаар бичигдсэн текстийг таних асуудал нь багш нарын дунд чухал хэлэлцүүлгийн сэдэв болсныг бид ойлгож байна. Үүнтэй адил чухал зүйл нь ангид AI-гаар үүсгэсэн текстийг ангилах хэрэгслүүдийн хязгаар болон нөлөөг ойлгох явдал юм. Бид багш нарт зориулсан ChatGPT‑ийн хэрэглээний талаар урьдчилсан материал⁠(шинэ цонхонд нээгдэнэ) боловсруулсан бөгөөд үүнд зарим хэрэглээ, түүнтэй холбоотой хязгаарлалт болон анхаарах зүйлсийг тайлбарласан. Энэ материал багш нарт төвлөрсөн хэдий ч манай ангилагч болон түүнтэй холбоотой хэрэгслүүд нь сэтгүүлчид, ташаа/худал мэдээлэл судлаачид болон бусад бүлгүүдэд нөлөөлнө гэж бид үзэж байна.

Бид АНУ-ын багш нартай хамтран тэд ангидаа юу ажиглаж байгааг мэдэж авах, мөн ChatGPT‑ийн чадвар ба хязгаарын талаар ярилцаж байна. Бид суралцахын хэрээр хамрах хүрээгээ үргэлжлүүлэн тэлэх болно. Том хэлний загваруудыг аюулгүй нэвтрүүлэх нь манай эрхэм зорилгын нэг хэсэг учраас нөлөөлөлд өртсөн хамтын нийгэмлэгүүдтэй шууд харилцан ийм яриа өрнүүлэх нь чухал юм.

Хэрэв та эдгээр асуудалд шууд өртөж байгаа бол (үүнд багш, администратор, эцэг эх, сурагч, боловсролын үйлчилгээ үзүүлэгчид багтана, гэхдээ үүгээр хязгаарлагдахгүй) энэ маягтаар⁠(шинэ цонхонд нээгдэнэ) бидэнд санал хүсэлт өгнө үү. урьдчилсан материал⁠(шинэ цонхонд нээгдэнэ)-ын талаарх шууд санал маш хэрэгтэй бөгөөд багш нарын боловсруулж буй эсвэл хэрэгтэй гэж үзсэн аливаа материалыг ч бид мөн талархан хүлээн авна (жишээ нь, хичээлийн заавар, нэр төрийн дүрэм ба бодлогын шинэчлэл, интерактив хэрэгслүүд, AI мэдлэгийн хөтөлбөрүүд).