Претставување на OpenAI Privacy Filter

Денес го објавуваме OpenAI Privacy Filter, модел со отворени параметри за откривање и редактирање на личните податоци (PII) во текст. Ова издание е дел од нашиот поширок напор за поддршка на поотпорен софтверски екосистем преку обезбедување практична инфраструктура за програмерите за безбедно градење со вештачка интелигенција, вклучувајќи алатки⁠ и модели⁠ што ја олеснуваат имплементацијата на силна заштита на приватноста и безбедноста уште од самиот почеток.

Privacy Filter е мал модел со гранична способност за откривање лични податоци. Дизајниран е за работни текови за приватност со висок капацитет и може да врши контекстуално откривање лични податоци (PII) во неструктуриран текст. Може да работи локално, што значи дека личните податоци може да се маскираат или редактираат без да го напуштат вашиот уред. Ефикасно обработува долги влезни текстови, носејќи одлуки за редакција во еден брз обид.

Во OpenAI, користиме прецизно прилагодена верзија на Privacy Filter во нашите работни процеси за зачувување на приватноста. Го развивме Privacy Filter затоа што веруваме дека со најновите можности на вештачката интелигенција можеме да го подигнеме стандардот за приватност над она што е достапно на пазарот. Верзијата на Privacy Filter што ја објавуваме денес постигнува врвни перформанси на реперот PII-Masking-300k, со корекции за проблемите со анотацијата што ги идентификувавме за време на евалуацијата.

Со ова издание, програмерите можат да го извршуваат Privacy Filter во своите сопствени средини, да го прецизираат за своите случаи на употреба и да вградат посилни заштити на приватноста во процесите за тренирање, индексирање, евидентирање и преглед.

Заштитата на приватноста во современите системи за вештачка интелигенција зависи од повеќе од обично совпаѓање на обрасци. Традиционалните алатки за откривање лични податоци честопати се потпираат на детерминистички правила за формати како телефонски броеви и адреси на е-пошта. Тие можат да функционираат добро за тесно ограничени случаи, но често пропуштаат посуптилни лични информации и се соочуваат со потешкотии во контекстот.

Privacy Filter е создаден со подлабока свесност за јазикот и контекстот за понијансирани перформанси. Со комбинирање на силно јазично разбирање со систем за означување специфичен за приватноста, може да открие поширок опсег на лични податоци во неструктуриран текст, вклучително и случаи каде што правилната одлука зависи од контекстот. Може подобро да прави разлика меѓу информациите што треба да се зачуваат затоа што се јавни и информациите што треба да се маскираат или редактираат затоа што се однесуваат на приватно лице.

Резултатот е модел што е доволно силен за да испорача перформанси на филтрирање на приватноста на гранично ниво. Во исто време, моделот е доволно мал за да се извршува локално, што значи дека податоците што сè уште не се филтрирани може да останат на уредот, со помал ризик од изложување, наместо да треба да се испраќаат на сервер за деидентификација. 

Privacy Filter е двонасочен модел за класификација на токени со декодирање на распони. Започнува од претходно обучен авторегресивна точка на проверка, а потоа се адаптира во класификатор на токени врз фиксна таксономија на ознаки за приватност. Наместо да генерира текст токен по токен, тој означува влезна секвенца во еден премин, а потоа декодира кохерентни сегменти со ограничена Витербиева постапка.

Оваа архитектура му дава на Privacy Filter неколку корисни својства за употреба во продукција:

• Брзо и ефикасно: сите токени се означуваат во едно единствено поминување нанапред.
• Свесен за контекст: јазичниот модел овозможува откривање на опсези на лични податоци врз основа на околниот контекст.
• Долг контекст: објавениот модел поддржува до 128.000 токени во контекст.
• Прилагодлив: програмерите можат да ги прилагодуваат оперативните точки за да избалансираат меѓу сеопфатноста и прецизноста во зависност од нивниот работен тек.

Објавениот модел има вкупно 1,5 милијарди параметри, од кои 50 милиони се активни параметри.

Privacy Filter предвидува опсези во осум категории:

• приватно_лице
• приватна_адреса
• приватна_е-пошта
• приватен_телефон
• приватна_url-адреса
• приватен_датум
• број_на_сметка
• тајна

Категоријата број_на_сметка помага да се маскираат широк спектар на броеви на сметки, вклучувајќи банкарски информации како броеви на кредитни картички и броеви на банкарски сметки, додека тајна помага да се маскираат податоци како лозинки и API-клучеви.

Овие ознаки се декодираат со BIOES-ознаки за распони, што помага да се добијат почисти и покохерентни граници на маскирање.

Го развивме филтерот за приватност во неколку фази.

Прво, изградивме таксономија за приватност што ги дефинира типовите опсези што моделот треба да ги открива. Ова вклучува лични идентификатори, податоци за контакт, адреси, приватни датуми, многу различни видови броеви на сметки, како што се податоци за кредитни картички и банкарски податоци, и тајни податоци, како што се API-клучеви и лозинки.

Второ, претходно обучениот јазичен модел го претворивме во двонасочен класификатор на токени така што ја заменивме главата за моделирање на јазик со глава за класификација на токени. Потоа, дополнително го дообучивме со надгледувана цел за класификација. 

Трето, обучувавме на комбинација од јавно достапни и синтетички податоци, создадени за да опфатат реалистичен текст и сложени обрасци на приватност. Во делови од јавните податоци каде ознаките беа нецелосни, користевме анотација и преглед со помош на модел за подобрување на опфатот. Генериравме и синтетички примери за зголемување на разновидноста во формати, контексти и поттипови на приватност.

Во фазата на инференција, предвидувањата на моделот на ниво на токен се декодираат во кохерентни сегменти со користење на ограничено декодирање на секвенции. Овој пристап го зачувува широкото јазично разбирање на претходно обучениот модел, истовремено специјализирајќи го за детекција на приватност.

Го оценивме Privacy Filter според стандардни репери и според дополнителни синтетички евалуации и евалуации во стил на разговор, осмислени за тестирање на потешки случаи, почувствителни на контекст.

На реперот PII-Masking-300k⁠(се отвора во нов прозорец), Privacy Filter постигнува F1 резултат од 96 % (94,04 % прецизност и 98,04 % одзив). Кај коригирана верзија на реперот што ги зема предвид проблемите со анотацијата на податочното множество идентификувани при проверката, F1 резултатот е 97.43% (96.79% прецизност и 98.08% одзив).

Исто така откривме дека моделот може ефикасно да се приспособи. Прецизното приспособување дури и на мала количина податоци брзо ја подобрува точноста кај задачи специфични за одредена област, зголемувајќи го F1 резултатот од 54% на 96%, и се приближува до заситување на реперот за приспособување кон областа што го евалуиравме.

Покрај перформансите на реперите, Privacy Filter е дизајниран за практично филтрирање на приватноста во реален текст со голем шум. Тоа вклучува долги документи, нејасни референци, низи со мешан формат и тајни поврзани со софтвер. Картичката на моделот ⁠(се отвора во нов прозорец)исто така известува за насочена евалуација на откривање тајни во кодни бази и стрес-тестови низ повеќејазични, адверзаријални и контекстуално зависни примери.

Privacy Filter не е алатка за анонимизација, сертификат за усогласеност или замена за преглед на политики во средини со висок ризик. Тоа е дел од поширок систем за приватност вградена во дизајнот.

Неговото однесување ја одразува таксономијата на ознаките и границите на одлучување врз кои бил обучен. Различни организации може да сакаат различни политики за откривање или маскирање, а тие политики може да бараат евалуација во доменот или дополнително фино прилагодување. Перформансите исто така може да варираат во различни јазици, писма, конвенции за именување и домени што се разликуваат од дистрибуцијата на обучување.

Како сите модели, Privacy Filter може да прави грешки. Може да пропушти невообичаени идентификатори или двосмислени приватни референци, и може прекумерно или недоволно да редактира субјекти кога контекстот е ограничен, особено во кратки секвенци. Во високочувствителни домени како што се правните, медицинските и финансиските работни текови, човечката проверка и евалуацијата специфична за доменот и прецизното подесување остануваат важни.

Го објавуваме OpenAI Privacy Filter за да поддржиме посилна заштита на приватноста низ целиот екосистем.

Моделот е достапен од денес под лиценцата Apache 2.0 на Hugging Face⁠(се отвора во нов прозорец) и Github⁠(се отвора во нов прозорец). Наменет е за експериментирање, приспособување и комерцијално распоредување, и може фино да се приспособува за различни распределби на податоци и политики на приватност.

Покрај моделот, споделуваме документација која ги опфаќа архитектурата на моделот, таксономијата на ознаки, контролите за декодирање, предвидените случаи на употреба, поставувањето на евалуацијата и познатите ограничувања, за тимовите да можат да разберат што моделот прави добро и каде треба да се користи внимателно.

Заштитата на приватноста кај системите за вештачка интелигенција е континуиран напор во истражувањето, дизајнот на производи, евалуацијата и примената.

Privacy Filter претставува една насока за која веруваме дека е важна: мали, ефикасни модели со гранични способности во тесно дефинирани задачи што се важни за системите за вештачка интелигенција од реалниот свет. Го објавуваме затоа што сметаме дека инфраструктурата што ја зачувува приватноста треба полесно да може да се проверува, извршува, приспособува и подобрува.

Нашата цел е моделите да учат за светот, а не за приватни лица. Филтерот за приватност помага да се овозможи тоа.

Го објавуваме овој преглед на Privacy Filter за да добиеме повратни информации од заедницата за истражување и приватност и дополнително да го подобриме перформансот на моделот.