Просування незалежних досліджень з донавчання ШІ

У міру того, як системи ШІ стають більш здатними та автономними, дослідження в галузі донавчання повинні не тільки йти в ногу з часом, але й розширювати різноманітність. В OpenAI ми вкладаємо значні кошти в дослідження в галузі передової узгодженості та безпеки, адже це є критично важливим для нашої місії. Ми також вважаємо, що забезпечення безпеки та користі AGI для всіх неможливе силами однієї організації, і ми хочемо підтримувати незалежні дослідження та концептуальні підходи, які можуть здійснюватися поза передовими лабораторіями. Ми впевнені, що майбутнє ШІ не буде розвиватися саме так, як хтось передбачає, і що у формуванні результату має брати участь набагато більше людей.

Сьогодні ми оголошуємо про грант у розмірі 7,5 млн дол. США для The Alignment Project⁠(відкривається у новому вікні), глобального фонду незалежних досліджень у галузі донавчання, створеного Інститутом безпеки ШІ Великобританії (UK AISI). Renaissance Philanthropy надає підтримку в адмініструванні гранту. Цей внесок дозволяє зробити The Alignment Project одним із найбільших цілеспрямованих проєктів із фінансування незалежних досліджень із донавчання на сьогоднішній день та зміцнює ширшу незалежну екосистему.

Передові лабораторії, у тому числі лабораторії OpenAI, знаходяться в унікальному положенні для проведення досліджень у галузі донавчання, які залежать від доступу до передових моделей та значних обчислювальних ресурсів — така робота часто недоступна для незалежних дослідників. Ми присвячуємо значну частину наших внутрішніх зусиль з доопрацювання розробки методів, що масштабуються, щоб прогрес у донавчанні відповідав прогресу в можливостях. Ми вважаємо, що ітеративне розгортання— поступове розширення можливостей при одночасному посиленні заходів захисту — допомагає виявляти проблеми на ранніх етапах і дає нам конкретні докази того, що працює на практиці, і що відповідальна розробка потребує масштабної роботи з узгодження та безпеки у тісній інтеграції зі створенням моделей та розгортанням.

Паралельно ця галузь виграє від стабільних інвестицій у незалежні дослідження, які можуть розширити простір ідей та відкрити нові напрямки. Незалежні дослідження, як і раніше, залишаються необхідними; у багатьох корисних дослідженнях лабораторії немає порівняльної переваги. Здорова екосистема узгодження залежить від перевірки незалежними командами різноманітних припущень, розробки альтернативних підходів та дослідження концептуальних, теоретичних, сміливих ідей, які можуть не відповідати дорожній карті жодної організації.

Рух у бік створення AGI в кінцевому підсумку може залежати від фундаментальних проривів, які змінять форму проблеми узгодження та визначать, які підходи будуть найбільш корисними, і тому важливо підтримувати дійсно значущі дослідження, навіть якщо методи, що використовуються сьогодні, не виправдають наших очікувань у плані масштабованості. У таких випадках особливо важливо мати сильну зовнішню екосистему, яка займається фундаментальною, концептуальною та некорельованою роботою. Проблема донавчання та безпеки ШІ має безпрецедентне значення, і нам знадобляться будь-які ресурси — адже ми поки що не знаємо, які підходи з розвитком можливостей виявляться найбільш надійними.

Наш грант — приблизно 5,6 млн фунтів стерлінгів за поточним обмінним курсом — спільно фінансуватиме The Alignment Project⁠(відкривається у новому вікні) поряд з іншими державними, благодійними та галузевими спонсорами. Загальний обсяг фонду перевищує 27 млн. фунтів стерлінгів і призначений для підтримки широкого портфеля дослідницьких проєктів по всьому світу, що охоплює такі різноманітні теми, як теорія обчислювальної складності, економічна теорія і теорія ігор, когнітивна наука, а також теорія інформації та криптографія. Окремі проєкти зазвичай фінансуються на суми від 50 000 до 1 000 000 фунтів стерлінгів, і вони також можуть отримати додатковий доступ до обчислювальних ресурсів та експертну підтримку.

Наше фінансування не створює нової програми чи процесу відбору, і не впливає на існуючий процес; воно збільшує кількість перевірених, високоякісних проєктів⁠(відкривається у новому вікні), які можуть бути профінансовані в поточному раунді.

UK AISI має всі можливості для того, щоб направити фінансування на донавчання такого масштабу та діапазону. Це об'єднує сформовану міжсекторну коаліцію, що охоплює державні органи, академічні спільноти, філантропів та індустрії, а також запущений процес надання грантів і великий пул пропозицій, що пройшли експертну оцінку. Як дослідницька організація уряду Великобританії у складі Департаменту науки, інновацій та технологій (DSIT), вона також має мандат, зосереджений на серйозних ризиках ШІ, та має досвід у проведенні програм фінансування досліджень.

Майбутнє ШІ не буде розвиватися саме так, як будь-хто передбачає, але точно може розвиватися дуже швидко, і ми вважаємо, що демократизація, «стійкість ШІ» та ітеративне впровадження необхідні. Поки ми продовжуємо просувати наші передові дослідження в галузі узгодженості та безпеки в OpenAI, прогрес виграватиме від наявності стійкої, різноманітної та незалежної екосистеми, яка застосовуватиме взаємодоповнюючі підходи з розвитком можливостей. Цей грант — один із кроків на шляху до цієї мети. Ми з нетерпінням очікуємо на продовження співпраці з ширшою дослідницькою спільнотою в міру розвитку цієї галузі.