継続的な学習の力

汎用人工知能（AGI）は、最も経済的に重要な仕事で人間よりも高い成果を上げるでしょう。AGIが人間社会で役立つのを見るのが楽しみです。例えば、

1. 単調で創造性のない仕事を完全に自動化する、もしくは人間の手がほとんど必要ないようにする。言い換えると、AGIが人類の生産性を劇的に高める。
2. 科学的な進歩を遂げる発見や発明を促進するために、新しいい分析や情報を提供して人間が意思決定するプロセスを手助けするなど。
3. 効果的かつ安全に現実世界と意思疎通をして理解を深める。

OpenAIでのはじめの2年半はロボット工学部門で働いていました。ムーンショット構想ですが、人間の手に似たロボットハンドに、ルービックキューブを完成させるという試みです。非常に面白い、やりがいのある、感動的な体験でした。私たちチームは、深層強化学習（RL）と、途方もない回数のドメインランダマイゼーションと、現実の世界からではないトレーニングデータにより、この挑戦を克服しました⁠。なによりも重要なのは、チームとしてこの挑戦を克服したことです。

模擬体験とRLトレーニングからはじまり、視覚認識やファームウェア、ハードウェアに至るまで、共に団結し力を合わせました。実に素晴らしい実験でした。この間私はスティーブ・ジョブズの現実歪曲フィールド⁠（新しいウィンドウで開く）について考えていました。何かを強く信じ、諦めずに前進し続けるとき、人は不可能を可能に変えるのです。

2021年初頭から、応用型AIリサーチチームを率いるようになりました。チームを管理するということは、また違った挑戦であり、仕事のやり方も変える必要がありました。特に誇りに思う仕事は、応用型AIの言語モデルの安全性に関するいくつかのプロジェクトです。

1. 事前訓練済みの言語モデルがヘイトや性的または暴力的なコンテンツを生成する傾向を評価するために、評価データとタスクを設計し構築しました。
2. 私たちは詳細なタクソノミーを作成し、強固な分類ツールを構築して望ましくないコンテンツを特定⁠するとともに、なぜそのコンテンツが不適切なのかという理由も割り出しました。
3. さまざまな技術を使い、モデルが安全ではないアウトプットを生成しないように取り組んでいます。

応用型AIチームは最先端のAI技術を実用化するにあたり、最適な方法を実践しています。それには巨大な事前訓練済みの言語モデルが含まれ、現実世界の仕事に活用できる非常に影響力のあるものになっているのを目の当たりにしています。当社の憲章⁠でも強調されているように、私たちは技術の実用化を安全に進めていくことの重要性も理解しています。

現行のディープラーニングモデルは完璧ではありません。人類によって作られた膨大なデータ（インターネット上のもの、厳選されたもの、文学など）によって訓練され、必然的にこの社会に蔓延る欠陥や偏見も吸収してしまいました。例えば、 DALL·Eに看護師を描くように尋ねると、女性像だけを生成し、教授を描くように尋ねると、白人だけを生成します。このモデルは、現実世界の統計データと私たちの訓練データで傾向を読み取ります。

このような社会的偏見を軽減させる方法を設計し、どの程度その方法が効果的であるかを評価したいと思いました。チームと共に、そういった偏見を減らすためのパイプラインと、評価過程に人間が関与するワークフローを構築しました。社会的偏見を軽減させるというのは容易い課題ではありません。生活の各面で出現するものでありながら、偏見だと気づきにくい場合もあるからです。しかしDALL·Eチームはこの問題を深刻に受け止め、早い段階から対処してくれるので頼もしいです。この挑戦は始まったばかりであり、今後も進歩し続けていくことでしょう。この分野で働くことを誇りに思い、一歩一歩前進しながら現代のAIをより安全で、より高度なものにしていることを確信しています。

学習には可能性があり、始めるのに遅すぎるということはないと信じています。こういった学習への意欲を維持するため、個人でやっているブログを続けています。ディープラーニングのコミュニティで何が起こっているのかを知ることができます。チームの皆にも、作業中のプロジェクトに関係しているかにかかわらず、学習し続けるよう勧めています。まったく違う問題点や他分野から得たアイデアが、新しいアイデアを生み出し、問題の解決の余地を広げることがあります。

そして私は、チームワークの重要さを信じます。それぞれの強みを最大限に活かすことができれば、その強みを合わせた以上の力が出せる。皆がやりたくない仕事を任されることもありますが、私はこういった仕事を率先してやります。ただ「皆がやりたくない」という理由で嫌がられていたり、実際はプロジェクトの進展に重要な役割を持つ仕事であれば、嫌な仕事でも、些細な仕事でもないのです。周囲の皆にもそうすることを勧めます。各自がチームプレイヤーとして一丸となれば、チーム全体の生産性が向上します。

個人で学習する時に取っていたメモから始まりました。ディープラーニングという分野ができてしばらく経ってから参入したので、いまだに自分は「新人」だと思っています。入ったばかりの頃は、たくさんの資料を掘り起こし、問題解決のためにアルゴリズムを設計するするのではなく、問題を解くアルゴリズムを学習するようにモデルを訓練するという概念に驚きました。読めば読むほど好奇心が湧きました。このような新しいコンセプトを学んだあと、その膨大な資料を整理するのが大変になりました。そこで学習したメモを文書化し整理するためにブログを開始することに決めました。いちばんの勉強法は、他の人にその習った知識を正確、また明確に教えることだと思っています。私にとってそれを実現させる手段は、文章を書くことです。

機械学習のコミュニティで有名になるとは思ってもいませんでしたが、感謝のメールをもらったり、実際に会った人に私のブログから多くを学んだと言ってくれる人もいて、大変光栄で嬉しく思います。2017年から始めて6年近くになりますが、これからもできる限り長く続けたいと思っています。

AIコミュニティはここ数年で目覚ましい発展を遂げました。ハードウェア、モデルアーキテクチャ、そしてデータの向上により、膨大なモデルを訓練できるようになりました。開発容量が日々拡大しているのが現状です。AGIに関しても、順調に進んでいると思います。しかしスケーリングですべてを語ることはできません。現在最も克服すべき課題は、アライメントと安全性でしょう。これらは言ってみれば、制御可能性または操縦可能性と同義の問題です。

まず、既に非常に強力なAIシステムを持っていたとしても、目標に関して効果的なコミュニケーションをとり、私たちが求めているものと同一ラインにあると確証できない限り、それは必要に伴った価値を生み出してはくれないのです。現行の最も強力なモデルは膨大なデータを基に学習しますが、そのデータセットは現実世界の欠陥や偏見までも取り込んでしまう。正しくアライメントされていないモデルは安全面での懸念が伴います。何を避けるべきか解っていないからです。

誰かから受けたアドバイスというわけではないのですが、OpenAIで体験したことに基づきます。それは、「視野を広く持つ」ということ。私たちはまったく新しいものを創ろうとしている。目標を高く持ち、恐れることなく、粘り強く尽力することです。

本です。私は普段ディープラーニングの分野以外の本を読みます。さまざまな分野からアイデアを得るために。例えば、ライターにとって50年後も仕事を維持すること、外科医にとって完璧に細部まで神経を使うこと、起業家にとって「驚くようなアイデア」をもつこと、これらがどの程度重要なのか、というような。

周囲の人々もそうです。たくさんの非常に優秀なOpenAIの同僚たちと共に仕事ができることを、とても名誉に思います。発想の基となり、刺激となり、配慮してくれる。そんな人々から学べることは大きな喜びです。