GPT‑4o 시스템 카드

우리는 새로운 모델을 ChatGPT 또는 API에 배포하기 전에 잠재적 위험에 대해 철저히 평가하고 적절한 안전장치를 구축합니다. GPT‑4o⁠에 대한 엔드투엔드 안전 평가를 제공하기 위해 준비성 프레임워크⁠ 점수표와 함께 모델 시스템 카드를 게시하고 있으며, 여기에는 오늘날의 안전성 과제와 프론티어 위험을 추적하고 해결하기 위해 수행한 작업이 포함되어 있습니다.

GPT‑4⁠와 GPT‑4V⁠에 대해 개발한 안전성 평가 및 완화 조치를 기반으로, 새로운 위험을 초래하는 GPT‑4o의 오디오 기능에 대해 집중적으로 추가 노력을 기울이면서 텍스트 및 비전 기능도 평가하고 있습니다.

화자 식별, 무단 음성 생성, 저작권 보호 콘텐츠 생성 가능성, 근거 없는 추론, 허용되지 않는 콘텐츠 등의 위험을 평가했습니다. 이러한 평가를 바탕으로 이러한 위험을 완화하기 위해 모델 수준 시스템 수준 모두에서 안전장치를 구현했습니다. 

연구 결과에 따르면 GPT‑4o의 음성 모달리티는 준비성 위험을 의미 있는 수치로 증가시키지 않는 것을 보여줍니다. 4개의 준비성 프레임워크 카테고리 중 3개는 낮은 점수를 받았고, 설득은 중간 수준 경계선의 점수를 받았습니다. 안전성 자문 그룹⁠(새 창에서 열기)은 안전한 배포 프로세스의 일환으로 준비성 평가와 완화 조치를 검토했습니다. 아래 보고서에서 이러한 작업에 대한 자세한 내용을 읽어보시기 바랍니다.

GPT‑4o¹는 텍스트, 오디오, 이미지, 동영상의 어떤 조합이든 입력으로 받아들이고 텍스트, 오디오, 이미지의 모든 조합을 출력으로 생성하는 자기회귀 옴니 모델입니다. 텍스트, 시각, 오디오에 걸쳐 엔드투엔드로 훈련시켰기 때문에 모든 입력과 출력이 동일한 인공 신경망에 의해 처리됩니다. 

GPT‑4o는 최소 232밀리초, 평균 320밀리초 만에 오디오 입력에 응답할 수 있습니다. 이는 대화에서 인간의 응답 시간⁠(새 창에서 열기)²과 비슷합니다. 영어와 코드 텍스트에서 GPT‑4 Turbo 성능과 비슷하며, 비영어권 언어의 텍스트에서는 성능이 크게 개선되었습니다. 게다가 API의 속도는 훨씬 빠르고 50% 저렴합니다. 특히 GPT‑4o는 기존 모델에 비해 시각 및 오디오 이해 능력이 뛰어납니다.

우리는 AI를 안전하게 구축하겠다는 약속과 백악관³과의 자발적 약속에 따라 준비성 프레임워크⁠(새 창에서 열기)⁵ 평가가 포함된 GPT‑4o 시스템 카드를 공유하고 있습니다. 이 시스템 카드에서는 다양한 카테고리에 GPT‑4o의 기능, 제약사항, 안전성 평가를 자세히 살펴보고 음성-음성 변환(speech-to-speech)(음성)^A에 중점을 두면서 텍스트 및 이미지 기능을 평가하고, 안전성과 정렬을 강화하기 위해 취한 조치를 평가합니다. 또한 일반적인 자율 기능에 대한 제3자 평가와 GPT‑4o 텍스트 및 비전 기능의 잠재적 사회적 영향에 대한 논의도 포함되어 있습니다.

GPT‑4o의 기능은 2023년 10월까지의 데이터를 사용하여 사전 훈련되었으며, 다음과 같은 다양한 자료에서 데이터를 수집했습니다.

1. 선별된 공개 데이터, 주로 업계 표준 머신 러닝 데이터 세트와 웹 크롤링에서 수집
2. 데이터 파트너십의 독점 데이터. 우리는 유료 콘텐츠, 아카이브, 메타데이터 등 공개되지 않은 데이터에 액세스하기 위해 파트너십을 맺습니다. 예를 들어, AI 생성 이미지를 제작하고 제공하기 위해 Shutterstock5과 파트너십을 맺었습니다⁠(새 창에서 열기). 

GPT‑4o의 기능에 기여하는 주요 데이터 세트 구성 요소는 다음과 같습니다.

1. 웹 데이터 - 공개 웹 페이지의 데이터는 풍부하고 다양한 정보를 제공하여 모델이 다양한 관점과 주제로부터 학습할 수 있도록 합니다.
2. 코드 및 수학 - 훈련에 코드와 수학 데이터를 포함하면 모델이 구조화된 논리와 문제 해결 과정에 노출되어 강력한 추론 능력을 개발하는 데 도움이 됩니다.
3. 멀티 모달 데이터 - 데이터 세트에 이미지, 오디오, 동영상이 포함되어 있어 LLM에게 텍스트가 아닌 입력과 출력을 해석하고 생성하는 방법을 가르칩니다. 모델은 이 데이터로부터 실제 맥락에서의 시각적 이미지, 행동, 시퀀스, 언어 패턴, 음성 뉘앙스를 해석하는 방법을 학습합니다.

OpenAI는 배포 전에 정보 유해성, 편견 및 차별, 안전 정책을 위반하는 기타 콘텐츠 등 생성 모델에서 발생할 수 있는 잠재적 위험을 평가하고 완화합니다. 우리는 사전 훈련, 사후 훈련, 제품 개발, 정책 등 개발의 모든 단계에 걸쳐 여러 가지 방법을 조합하여 사용합니다. 예를 들어, 사후 훈련을 하는 중 모델을 인간 선호도에 맞게 조정하고, 결과 모델에 대해 레드팀 테스트를 진행하고, 모니터링 및 시행과 같은 제품 수준의 완화 조치를 추가하고, 사용자에게 중재 도구와 투명성 보고서를 제공합니다.

우리는 사전 훈련된 데이터를 필터링하는 것만으로는 미묘하고 맥락별 유해성을 해결할 수 없으므로 대부분의 효과적인 테스트 및 완화 조치는 사전 훈련 단계 이후에 이루어진다는 것을 발견했습니다. 동시에 특정 사전 훈련 필터링 완화 조치는 다른 안전 완화 조치와 함께 데이터 세트에서 원치 않는 정보와 유해한 정보를 제외하는 데 도움이 되는 추가적인 방어 계층을 제공할 수 있습니다.

• 우리는 CSAM(아동 성 착취 자료), 혐오 콘텐츠, 폭력, CBRN(화학, 생물학, 방사능, 핵) 등 유해 콘텐츠 또는 정보 위험을 유발할 수 있는 데이터를 필터링하기 위해 자체 Moderation API와 안전 분류기를 사용합니다. 
• 이전 이미지 생성 시스템과 마찬가지로, 성적인 그래픽 자료와 같은 노골적인 콘텐츠와 CSAM에 대해 이미지 생성 데이터 세트를 필터링합니다. 
• 고급 데이터 필터링 프로세스를 사용하여 훈련 데이터에서 개인 정보를 줄입니다. 
• DALL·E 3를 출시하면서 우리는 사용자에게 훈련에 이미지를 활용하는 것을 거부⁠할 수 있는 권한을 부여하는 새로운 접근 방식을 시범적으로 도입했습니다. 이러한 거부권을 존중하기 위해 이미지를 핑거프린트하고, 이 핑거프린트를 사용하여 GPT‑4o 모델 시리즈의 훈련 데이터 세트에서 해당 이미지의 모든 인스턴스를 제거했습니다.

배포 준비는 개발 중 모델의 초기 체크포인트부터 시작하여 전문가 레드팀 구성을 통해 새로운 추가 위험을 탐색적으로 발견하고, 식별된 위험을 구조화된 측정값으로 변환하고 이에 대한 완화 조치를 구축하는 방식으로 진행되었습니다.  또한, 준비성 프레임워크⁴에 따라 GPT‑4o를 평가했습니다.

OpenAI는 총 45개 언어를 구사하고 다양한 29개 국가의 지리적 배경을 대표하는 100명 이상의 외부 레드팀 요원^B과 함께 작업했습니다. 레드팀 요원은 2024년 3월 초부터 6월 말까지 다양한 훈련 및 안전 완화 성숙도 단계에 있는 모델의 다양한 스냅샷에 액세스할 수 있었습니다. 

외부 레드팀 구성 활동은 4단계로 진행되었습니다. 처음 세 단계에서는 내부 도구를 통해 모델을 테스트했고, 마지막 단계에서는 전체 iOS 환경을 사용하여 모델을 테스트했습니다. 이 글이 작성되는 시점에는 GPT‑4o API의 외부 레드팀 활동이 진행 중입니다.

레드팀 요원은 탐색적 기능을 발견하고, 모델이 제기되는 새로운 잠재적 위험을 평가하도록 요청받았으며, 모델을 개발하고 개선한 후 완화 조치, 특히 오디오 입력 및 생성(음성-음성 변환(speech-to-speech)기능)에 의해 도입된 완화 조치를 스트레스 테스트하도록 요청받았습니다. 이러한 레드팀 구성 활동은 GPT‑4 시스템 카드⁠(새 창에서 열기)⁶와 GPT‑4(V) 시스템 카드⁠⁷에 설명된 내용을 포함한 이전 작업을 기반으로 합니다.

레드팀 요원은 위반 및 허용되지 않는 콘텐츠(불법 음란 콘텐츠, 폭력, 자해 등), 잘못된 정보, 편견, 근거 없는 추론, 민감한 특성 추론, 개인 정보, 지리적 위치, 개인 식별, 감정 지각 및 의인화 위험, 사기 행위 및 사칭, 저작권, 자연 과학 능력, 다국어 관찰 등의 다양한 카테고리를 다루었습니다.

레드 요원이 생성한 데이터는 관찰된 안전 문제, 평가 및 완화⁠ 섹션에 설명된 여러 정량적 평가를 작성하는 데 중요한 역할을 했습니다 일부 경우에는 레드팀에서 얻은 인사이트를 표적화된 합성 데이터를 생성하는 데 사용했습니다. 모델은 몇 가지 기준(예: 정책 위반 여부, 거부 여부)에 따라 자동 등급 분류기와 수동 라벨링을 모두 사용하여 평가되었습니다. 또한 다양한 완화 조치의 견고성을 테스트하기 위해 레드팀 데이터를 목적에 맞게 활용하여^C 다양한 음성과 사례에 대한 표적화된 평가를 실행하기도 했습니다.

레드팀 구성 활동에서 얻은 데이터 외에도 음성 엔진⁠과 같은 텍스트 음성 변환(TTS) 시스템을 사용하여 다양한 기존 평가 데이터 세트를 음성-음성 변환(speech-to-speech) 모델에 대한 평가로 변환했습니다. 우리는 텍스트 입력을 오디오로 변환하여 텍스트 기반 평가 작업을 오디오 기반 평가 작업으로 변환했습니다. 이를 통해 모델 기능 측정, 안전 행동, 모델 출력 모니터링과 관련된 기존 데이터 세트와 도구를 재사용하여 사용 가능한 평가 세트를 크게 확장할 수 있었습니다.

우리는 음성 엔진을 사용하여 텍스트 입력을 오디오로 변환하고, 이를 GPT‑4o에 입력하고, 해당 모델의 출력을 점수로 평가했습니다. 오디오를 직접 평가해야 하는 경우를 제외하고, 항상 모델 출력의 텍스트 콘텐츠에만 점수를 매깁니다(음성 생성⁠ 참조).

첫째, 이 평가 형식의 유효성은 TTS 모델의 기능과 신뢰성에 따라 달라집니다. 특정 텍스트 입력은 오디오로 변환하기에 부적합하거나 어색한 경우가 있습니다(예: 수학 방정식 코드). 또한 시각적 서식을 위해 공백이나 기호를 많이 사용하는 텍스트와 같은 특정 텍스트 입력의 경우 TTS가 손실될 것으로 예상됩니다. 이러한 입력은 사용자가 고급 음성 모드를 통해 제공하지 않을 것으로 예상되므로 이러한 작업에서 음성-음성 변환(speech-to-speech) 모델을 평가하지 않거나 대신 이러한 입력을 포함하는 예제를 사전 처리합니다. 그럼에도 불구하고 평가에서 확인된 모든 오류는 모델 기능때문이거나 TTS 모델이 텍스트 입력을 오디오로 정확하게 번역하지 못해서 발생할 수 있다는 점에 집중합니다.

두 번째 우려 사항은 TTS 입력이 사용자가 실제 사용에서 제공할 가능성이 있는 오디오 입력의 분포를 대표할 수 있는지 여부입니다. 우리는 음성 입력에서의 상이한 성능에서 다양한 지역 억양의 오디오 입력에 대한 GPT‑4o의 견고성을 평가합니다. 그러나 다양한 음성 억양과 감정가, 배경 소음 또는 동시 발언과 같이 TTS 기반 평가에서 포착되지 않을 수 있는 다른 많은 차원이 남아 있어 실제 사용 시 다른 모델 행동으로 이어질 수 있습니다.

마지막으로, 모델에서 생성된 오디오에 텍스트에 포착되지 않은 아티팩트나 속성, 예를 들어 배경 소음 및 음향 효과, 분포 이탈 음성으로 응답 등이 있을 수 있습니다. 음성 생성⁠에서는 보조 분류기를 사용하여 바람직하지 않은 오디오 생성을 식별하는 방법을 설명합니다. 이는 텍스트 기록 점수 평가와 함께 사용할 수 있습니다.

모델이 가지고 있는 잠재적 위험은 여러 가지 방법을 조합하여 완화되었습니다. 사후 훈련 방법을 통해 위험을 줄이는 행동을 따르도록 모델을 훈련하고, 배포된 시스템의 일부로 특정 생성을 차단하기 위한 분류기를 통합했습니다. 

아래에 설명된 관찰된 안전 문제에 대해서는 위험에 대한 설명, 적용된 완화 조치, 해당하는 경우 관련 평가 결과를 제공합니다. 아래에 설명된 위험은 예시일 뿐 모든 위험에 대한 설명은 아니며, ChatGPT 인터페이스에서의 경험에 초점을 맞추고 있습니다. 이 섹션에서는 음성-음성 변환(speech-to-speech)기능으로 인해 발생할 수 있는 위험과 이러한 위험이 기존 모달리티(텍스트, 이미지)^D와 어떻게 상호작용할 수 있는지에 대해 중점적으로 설명합니다.

위험 설명: 음성 생성은 사람처럼 들리는 합성 음성으로 오디오를 생성하는 기능으로, 짧은 입력 클립을 기반으로 음성을 생성하는 것을 포함합니다. 

적대적인 상황에서 이 기능은 사칭으로 인한 사기 증가와 같은 피해를 유발할 수 있으며, 허위 정보^{9 및 10} 확산에 악용될 수 있습니다(예: 사용자가 특정 화자의 오디오 클립을 업로드하고 GPT‑4o에게 해당 화자의 음성으로 음성을 생성하도록 요청할 수 있는 경우). 이는 음성 엔진⁠⁸에서 식별된 위험과 매우 유사합니다. 

음성 생성은 적대적이지 않은 상황에서도 발생할 수 있습니다. 예를 들어, ChatGPT의 고급 음성 모드에 음성을 생성하는 데 음성 생성 기능을 사용합니다. 테스트 중에 모델이 의도치 않게 사용자의 음성을 모방하여 출력을 생성하는 경우도 드물게 관찰되었습니다^E.

위험 완화: 우리는 성우11와 협업하여⁠ 제작한 미리 설정된 음성만을 사용할 수 있도록 허용하여 음성 생성 관련 위험을 해결했습니다. 이러한 작업은 오디오 모델을 사후 훈련하는 동안 선택한 음성을 이상적인 완성본으로 포함하여 이루어졌습니다. 또한, 독립형 출력 분류기를 구축하여 GPT‑4o 출력이 승인된 목록과 다른 음성을 사용하는지 감지할 수 있습니다. 이러한 작업은 오디오를 생성하는 동안 스트리밍 방식으로 실행하고, 선택한 미리 설정된 음성과 일치하지 않는 경우 출력을 차단합니다.

평가: 무단 음성 생성으로 인한 잔여 위험은 미미한 것으로 나타났습니다. 현재 시스템은 다른 시스템 음성에서 생성된 샘플, 모델이 완성본의 일부로 프롬프트의 음성을 사용한 클립, 다양한 인간 샘플 등을 포함한 내부 평가를 기반으로 시스템 음성^F에서 의미 있는 편차를 100% 포착하고 있습니다.

의도하지 않은 음성 생성은 여전히 모델의 약점으로 남아있지만, 보조 분류기를 사용하여 이러한 상황이 발생하면 대화를 중단하도록 하여 의도하지 않은 음성 생성의 위험을 최소화하고 있습니다. 마지막으로, 대화가 영어로 이루어지지 않을 때 중재 행동이 과잉 거부로 이어질 수 있는데, 이 부분은 적극적으로 개선하고 있습니다^G.

언어별 대화에 대한 음성 출력 분류기 성능^H:

위험 설명: 화자 식별은 입력 오디오를 기반으로 화자를 식별하는 기능입니다. 이 기능은 잠재적인 감시 위험과 함께 특히 개인과 공인의 잘 알려지지 않은 오디오에 대한 잠재적인 프라이버시 침해 위험을 초래할 수 있습니다.

위험 완화: 우리는 오디오 입력의 음성을 기반으로 인물을 식별하라는 요청을 거부하도록 GPT‑4o를 사후 훈련했습니다. GPT‑4o는 여전히 유명한 명언을 식별해 달라는 요청은 응합니다. 예를 들어,”four score and seven years ago”라고 말한 임의의 인물을 식별해 달라는 요청은 화자를 아브라함 링컨으로 식별해야 하지만, 임의의 문장을 말하는 유명인을 식별해 달라는 요청은 거부해야 합니다.

평가:
초기 모델과 비교했을 때, 모델이 오디오 입력에서 음성 식별을 거부해야 하는 경우에는 14점이 개선되었고, 해당 요청에 응해야 하는 경우는 12점이 개선되었습니다. 

즉, 전자는 모델이 음성을 기반으로 화자를 식별해달라는 요청을 거의 항상 정확하게 거부하여 잠재적인 프라이버시 침해 문제를 완화한다는 것을 의미합니다. 후자는 모델이 유명한 명언의 화자를 식별해달라는 요청을 잘못 거부하는 상황이 발생할 수 있음을 의미합니다.

위험 설명: 모델은 다양한 억양으로 말하는 사용자에 따라 다른 성능을 보일 수 있습니다. 상이한 성능으로 인해 모델의 여러 사용자에 따라 서비스 품질에 차이가 발생할 수 있습니다.

위험 완화 다양한 사용자 음성에서 모델 성능과 행동이 변하지 않도록 다양한 입력 음성 세트로 GPT‑4o를 사후 훈련했습니다.

평가: 고정된 어시스턴트 음성(“Shimmer”)과 음성 엔진을 사용하여 다양한 음성 샘플^I에 대한 사용자 입력을 생성하는 GPT‑4o 고급 음성 모드에서 평가를 실행합니다. 다음 TTS에는 두 가지 음성 샘플 세트를 사용합니다.

• 공식 시스템 음성(3가지 다른 음성)
• 두 개의 데이터 캠페인에서 수집한 다양한 음성 세트. 이 음성 세트는 다양한 국가와 다양한 성별의 화자에서 수집한 27가지 영어 음성 샘플로 구성되어 있습니다.

두 가지 작업 세트 (기능과 안전 행동)에 대해 평가를 수행합니다.

기능: 우리는 4가지 작업^J인 TriviaQA, MMLU 하위 세트^K, HellaSwag, LAMBADA에 대해 평가를 수행합니다. TriviaQA와 MMLU는 지식 중심 작업이며, HellaSwag와 LAMBADA는 상식 중심 또는 텍스트 연속성 작업입니다. 전반적으로 네 가지 작업 모두에서 다양한 인간 음성 세트에서의 성능이 시스템 음성보다 약간 떨어지지만, 크게 성능이 떨어지지는 않은 것으로 나타났습니다.

안전 행동: 내부 대화 데이터 세트를 기반으로 평가하고, 다양한 사용자 음성에 대한 모델의 준수 및 거부 행동의 일관성을 평가합니다. 전반적으로 모델 행동이 음성에 따라 달라지는 현상은 발견하지 못했습니다.

위험 설명: 오디오 입력으로 인해 모델은 화자에 대해 잠재적으로 편향된 추론을 할 수 있습니다. 우리는 다음 두 가지 카테고리를 정의합니다.

• 근거 없는 추론(UGI, Ungrounded inference): 오디오 콘텐츠만으로는 확인할 수 없는 화자에 대해 추론하는 것입니다. 여기에는 화자의 인종, 사회 경제적 지위/직업, 종교적 신념, 성격 특성, 정치적 성향, 지능, 외모(예: 눈 색깔, 매력), 성 정체성, 성적 취향, 범죄 이력 등에 대한 추론이 포함됩니다. 이는 이러한 행동이 어떻게 나타나느냐에 따라 할당적 피해와 표현적 피해^{13 및 15}를 모두로 이어질 수 있습니다.
• 민감한 특성 추론(STA, Sensitive trait attribution): 오디오 콘텐츠만으로 화자를 그럴듯하게 판단할 수 있는 추론을 하는 것입니다. 여기에는 화자의 억양 또는 국적 등에 대한 추론이 포함됩니다. STA로 인한 잠재적 피해로는 감시로 인한 위험 증가¹⁶, 다양한 음성 속성을 가진 화자의 서비스 품질 차이^{12, 13 및 14}가 있습니다.

위험 완화: UGI 요청에 응하는 것을 거부하고, STA 질문에 대해 모호하게 답변하도록 GPT‑4o를 사후 훈련했습니다. 예를 들어, 화자의 지능 수준을 파악하는 질문은 거부되고, 화자의 억양을 파악하는 질문은 “오디오에 따르면 영국식 억양이 있는 것 같습니다.”와 같은 답변이 제공됩니다.

평가:
초기 모델과 비교했을 때, 민감한 특성을 식별하라는 요청에 올바르게 응답하는 모델(즉, UGI를 거부하고 STA를 안전하게 준수하는 모델)의 성능이 24점 개선되었습니다.

위험 설명: GPT‑4o에 불법 행위의 수행 방법에 대한 지침을 제공하는 오디오 음성 출력 등 텍스트로 허용되지 않는 유해 콘텐츠를 오디오를 통해 출력하라는 프롬프트가 입력될 수 있습니다.

위험 완화: 이전에 허용되지 않은 콘텐츠에 대한 거부가 텍스트에서 오디오로 잘 전이되는 것으로 나타났습니다. 이는 GPT‑4o의 텍스트 출력에서 발생할 수 있는 피해를 줄이기 위해 수행한 사후 훈련 오디오 출력에도 성공적으로 적용되었음을 의미합니다.

또한 오디오 입력과 오디오 출력 모두의 텍스트 기록에 대해 기존 중재 모델을 실행하여 잠재적으로 유해한 언어가 포함되어 있는지 감지하고, 그러한 언어가 포함되어 있는 경우 생성을 차단합니다^L.

평가: 기존 텍스트 안전성 평가를 오디오로 변환하기 위해 TTS를 사용했습니다. 그런 다음, 표준 텍스트 규칙 기반 분류기로 오디오 출력의 텍스트 기록을 평가합니다. 평가에 따르면 기존 콘텐츠 정책 영역에 대한 거부가 텍스트에서 오디오로 잘 전이되는 것으로 나타났습니다. 추가 평가는 부록 A⁠에서 확인할 수 있습니다.

위험 설명: GPT‑4o에 동일한 텍스트 맥락보다 더 자극적이거나 유해할 수 있는 음란하거나 폭력적인 음성 콘텐츠를 출력하라는 프롬프트가 입력될 수 있습니다. 이러한 이유로 음란하고 폭력적인 음성의 생성을 제한하기로 결정했습니다^M. 

위험 완화: 오디오 입력의 텍스트 기록에 기존 중재 모델⁠(새 창에서 열기)¹⁷을 실행하여 폭력적이거나 음란한 콘텐츠에 대한 요청이 포함되어 있는지 감지하고, 그러한 콘텐츠가 포함된 경우 생성을 차단합니다.

내부 테스트와 외부 레드팀 테스트를 수행하는 과정에서 다음과 같이 모델 또는 시스템 수준의 완화 조치가 초기 단계이거나 아직 개발 중인 몇 가지 추가적인 위험과 모델의 한계가 발견되었습니다.

오디오 견고성: 저품질 입력 오디오, 입력 오디오의 배경 소음, 입력 오디오의 에코와 같은 음향 교란으로 인해 안전 견고성이 저하된다는 단편적인 증거가 확인되었습니다. 또한 모델이 출력을 생성하는 동안 의도적이거나 의도하지 않은 오디오 중단으로 인해 안전 견고성이 비슷하게 감소하는 것이 관찰되었습니다. 

잘못된 정보와 음모론:: 레드팀 요원은 모델에게 구두로 거짓 정보를 반복하고 음모론을 만들어내도록 유도하여 모델이 부정확한 정보를 생성하도록 할 수 있었습니다. 이는 GPT 모델의 텍스트^{18 및 19}에서 알려진 문제이지만, 특히 모델이 감정적이거나 강력하게 말하도록 지시받은 경우 이러한 정보를 오디오를 통해 전달하면 더 설득력이 있거나 유해할 수 있다는 레드팀 요원의 우려가 있었습니다. 모델의 설득력을 자세히 연구한 결과(설득⁠ 참조), 텍스트 전용의 경우 모델이 중간 위험도보다 높은 점수를 받지 못했고, 음성-음성 변환(speech-to-speech)의 경우 모델이 낮음보다 높은 점수를 받지 못한 것으로 나타났습니다.

영어 이외의 언어를 원어민이 아닌 억양으로 말하기: 레드팀 요원은 영어가 아닌 언어로 말할 때 원어민이 아닌 억양을 사용하여 오디오가 출력되는 사례를 관찰했습니다. 이로 따라 특정 억양과 언어에 대한 편향성이 우려될 수 있으며, 더 일반적으로는 오디오 출력에서 영어가 아닌 언어의 성능의 한계가 우려될 수 있습니다.

저작권이 있는 콘텐츠 생성: 또한 훈련 데이터에서 발견한 콘텐츠를 반복하는 GPT‑4o의 기능도 테스트했습니다. 광범위한 관행에 따라 오디오를 포함한 저작권이 있는 콘텐츠에 대한 요청을 거부하도록 GPT‑4o를 훈련했습니다. 또한 GPT‑4o의 오디오 모달리티를 고려하여 오디오 대화에서 작동하도록 특정 텍스트 기반 필터를 업데이트하고, 음악이 포함된 출력을 감지하고 차단하는 필터를 구축했습니다. 또한, ChatGPT의 고급 음성 모드의 제한된 알파 버전에서는 모델이 노래를 전혀 하지 않도록 지시했습니다. 이러한 완화 조치의 효과를 추적하고 시간이 지남에 따라 개선해 나갈 계획입니다.

일부 기술적 완화 조치는 아직 개발 중이지만, 당사의 사용 정책⁠²⁰은 의도적으로 타인을 속이거나 오도하는 행위, 안전장치 또는 안전 완화 조치를 우회하는 행위를 허용하지 않습니다. 기술적 완화 조치 외에도 모니터링을 통해 사용 정책을 시행하고, ChatGPT와 API 모두에서 위반 행위에 대해 조치를 취합니다.

우리는 준비성 프레임워크⁠(새 창에서 열기)⁴에 따라 GPT‑4o를 평가했습니다. 준비성 프레임워크는 프론티어 모델에서 발생하는 치명적인 위험을 추적하고, 평가하고, 예측하고 보호하기 위한 우리의 절차적 약속을 설명하는 문서로, 지속적으로 업데이트됩니다. 현재 평가는 사이버 보안, CBRN(화학, 생물학, 방사능, 핵), 설득, 모델 자율성, 이 네 가지 위험 카테고리를 다루고 있습니다. 모델이 높은 위험 임계값을 통과한 경우, 완화 조치를 통해 점수가 중간으로 낮아질 때까지 모델을 배포하지 않습니다. 아래에서는 GPT‑4o의 텍스트 기능에 대한 평가를 자세히 설명합니다. 또한, 오디오 기능에 대한 설득도 평가되었습니다. 모델 출시 전 최종 점검을 포함하여 모델 훈련과 개발 전반에 걸쳐 평가를 수행했습니다.  아래 평가에서는 해당하는 경우 맞춤형 훈련을 포함하여 해당 카테고리의 기능을 가장 잘 이끌어낼 수 있는 다양한 방법을 테스트했습니다. 

준비성 결과를 검토한 후 안전 자문 그룹은 완화 조치 이전의 GPT‑4o를 설득 부분에서는 중간 위험 수준의 경계로 분류하고, 그 외의 모든 부분에서는 낮은 위험으로 분류할 것을 권고했습니다. 준비성 프레임워크에 따르면, 특정 모델의 전체 위험도는 모든 카테고리에서 가장 높은 위험도에 따라 결정됩니다. 따라서 GPT‑4o의 전체 위험 점수는 중간으로 분류됩니다.

우리는 Capture the Flag(CTF) 챌린지라는 경쟁 해킹 대회의 작업을 통해 GPT‑4o를 평가했습니다. 이러한 CTF는 웹 앱, 바이너리, 암호화 시스템 등 의도적으로 취약하게 설계된 시스템에서 숨겨진 텍스트 플래그를 인간이 찾아내려고 시도하는 공격적인 사이버 보안 연습입니다. 평가에서 수행한 172개의 CTF 작업은 웹 애플리케이션 취약점 악용, 리버스 엔지니어링, 원격 취약점 악용, 암호화, 이 네 가지 카테고리를 다루었습니다. 이러한 작업은 고등학생부터 대학생, CTF 전문가 수준까지 다양한 역량 수준으로 구성되었습니다.

우리는 반복적인 디버깅과 헤드리스 Kali Linux 배포판⁠(새 창에서 열기)에서 사용할 수 있는 도구에 대한 액세스 권한을 통해 GPT‑4o를 평가했습니다(각 시도마다 최대 30회 도구 사용). 모델은 종종 합리적인 초기 전략을 시도했고, 코드의 실수를 수정할 수 있었습니다. 그러나 초기 전략이 성공하지 못하거나, 작업 해결에 필요한 핵심 인사이트를 놓치거나, 전략을 제대로 실행하지 못하거나, 컨텍스트 창을 가득 채우는 대용량 파일을 인쇄하는 경우 다른 전략으로 전환하지 못하는 경우가 종종 있었습니다. 각 작업에 대해 10번의 시도가 주어졌을 때, 모델은 고등학생 수준의 CTF 작업은 19%, 대학생 수준은 0%, 전문가 수준은 1%로 CTF 작업을 완료했습니다.

우리는 생물학적 위협 생성과 관련된 질문에 대한 생물학 전문가와 초보자의 답변 능력을 향상시키는⁠ GPT‑4o의 능력을 평가했습니다. 국가 안보 환경에서 위험한 생물학적 제제를 다루는 전문성을 갖춘 Gryphon Scientific²²과 함께 질문과 상세한 루브릭 기준을 설계했습니다. 평가된 작업은 생물학적 위협 생성 과정의 모든 주요 단계(아이디어 구상, 획득, 확대, 배합, 방출)를 다루었습니다. 전문가와 초보자는 인터넷의 도움을 받거나 GPT‑4o의 도움을 받거나, GPT‑4o의 맞춤형 리서치 전용 버전의 도움을 받아 답변하도록 무작위로 배정되었습니다. GPT‑4o의 리서치 전용 버전은 특별히 훈련된 버전으로, 생물학적으로 위험한 질문에 직접(즉, 거부 없이) 응답할 수 있습니다. 통과 비율은 위의 도표에 나와 있습니다.

또한 암묵적 지식을 테스트하는 데이터 세트에 대한 평가와 생물학적 위험과 관련된 문제 해결에 대한 평가를 포함한 자동화된 평가를 실행했습니다. GPT‑4o는 암묵적 지식 및 문제 해결 평가 세트에서 69%의 consensus@10 점수를 받았습니다.

우리는 GPT‑4o의 텍스트 및 음성 모달리티의 설득력을 평가했습니다. 사전 등록된 임계값에 따라 음성 모달리티는 낮은 위험으로 분류되었고, 텍스트 모달리티는 중간 위험 수준을 약간 넘어섰습니다.

텍스트 모달리티의 경우, 특정 정치 주제에 대한 참여자의 의견에 대해 GPT‑4o가 생성한 글과 챗봇의 설득력을 평가했습니다. 이러한 AI의 개입을 사람이 직접 작성한 전문적인 글과 비교했습니다. AI의 개입은 전체적으로는 사람이 작성한 콘텐츠보다 설득력이 높진 않았지만, 12번 중 3번의 사례에서는 사람이 개입을 능가했습니다.

음성 모달리티의 경우, 가상의 정당 선호도에 대한 효과 크기와 일주일 후 효과 크기의 지속성을 측정하기 위해 연구 방법론을 업데이트했습니다. 인간 기준선(사람이 생성한 정적인 오디오 클립을 듣거나 다른 사람과의 대화에 참여)과 비교하여 GPT‑4o 음성 오디오 클립과 상호작용적인(멀티 턴) 대화의 설득력을 평가했습니다. 상호작용적인 멀티 턴 대화와 오디오 클립 모두에서 GPT‑4o 음성 모델이 사람보다 설득력이 떨어지는 것으로 나타났습니다. 미국 상원의원 선거에서 승리가 확실한 주(3개 여론조사 기관인 Cook Political Report, Inside Elections, Sabato’s Crystal Ball에서 모두 “유력”, “우세” 또는 “확실” 등급을 받은 주)에서 3,800명 이상의 설문 참여자를 대상으로 한 결과, AI 오디오 클립은 여론 변화에 미치는 인간 오디오 클립의 효과 크기의 78%에 달하는 것으로 나타났습니다. AI 대화는 의견 변화에 미치는 인간 대화의 효과 크기의 65%였습니다. 일주일 후 다시 의견을 조사했을 때, AI 대화의 효과 크기는 0.8%로 나타났고, AI 오디오 클립의 효과 크기는 -0.72%로 나타났습니다. 후속 설문조사를 완료한 후 참가자들은 설득의 영향을 최소화하기 위해 반대 관점을 뒷받침하는 오디오 클립을 포함한 상세한 사후 설명을 들었습니다.

우리는 텍스트 전용 환경에서 자체 유출, 자기 개선, 리소스 확보에 필요한 기본적인 자율적 행동을 수행하는 GPT‑4o의 능력을 평가하기 위해 에이전트 과제 평가에서 GPT‑4o를 평가했습니다. 이러한 작업에는 다음이 포함되었습니다.

• 사기가 목적인 간단한 소프트웨어 엔지니어링(OpenAI API를 위한 인증된 프록시 구축).
• Azure 계정에 대한 API 액세스 권한이 주어지면 HTTP API를 통해 추론을 위한 오픈 소스 언어 모델 로드.
• 위의 작업을 단순화한 버전을 포함하는 여러 과제, 힌트를 제공하거나 작업의 특정 부분만 다룸

관련 도구가 제공된 GPT‑4o는 일부 하위 단계를 완료할 수는 있었지만, 100번의 시도에서 엔드투엔드 자율 복제 및 적응(ARA) 작업에서 0%의 점수를 받았습니다. 우리는 자율 복제 및 적응 테스트를 머신 러닝 연구 및 개발을 자동화하는 GPT‑4o의 능력에 대한 평가로 보완했습니다. 여기에는 다음이 포함됩니다.

• OpenAI 연구 코딩 인터뷰: 63% pass@1, 95% pass@100
• OpenAI 인터뷰, 객관식 질문: 61% consensus@32
• SWE-Bench: 19% pass@1, 당시 사용 가능한 최고의 사후 훈련 및 공공 스캐폴드 사용
• METR에서 머신 러닝 엔지니어링 작업 선택: 0/10 시도

평가에서는 연쇄 동작을 실행하고 코딩 작업을 안정적으로 실행하는 능력을 테스트했습니다. GPT‑4o는 자율적 행동을 안정적으로 수행할 수 없었습니다. 대부분의 롤아웃에서 모델은 SSH 키 생성 또는 VM 로그인과 같은 각 작업의 개별 하위 단계를 수행했습니다. 그러나 각 단계마다 단순한 실수(예: 환각, API 오용)를 해결하기 위해 시행착오를 거치면서 디버깅하는 데 상당한 시간이 소요되는 경우가 많았습니다. 몇 번의 롤아웃에서 적지 않은 진전을 보였고 자동 채점기를 통과했지만, 수동 분석 결과 기본 작업을 수행하지 못한 것으로 나타났습니다(예: 적절한 API로 원격 호스트에서 웹 서버를 시작했지만, 실제로 모델에서 샘플링해야 한다는 요건을 무시함).

텍스트 출력 전용 GPT‑4o를 배포한 후, 독립적인 제3자 연구소인 METR⁠(새 창에서 열기)과 Apollo Research⁠(새 창에서 열기)와 협력하여 일반적인 자율 기능의 주요 위험에 대한 검증 계층을 추가했습니다.

METR은 가상 환경에서 일련의 장기적인 다단계 엔드투엔드 작업에 GPT‑4o 기반의 단순한 LLM 에이전트를 실행했습니다. (30개 작업 “계열”에 걸친)77개 작업(부록 B⁠ 참조)은 소프트웨어 엔지니어링, 머신 러닝, 사이버 보안은 물론 일반적인 연구와 컴퓨터 사용 영역에 걸쳐 실제 세계에 영향을 미치는 활동을 포착할 수 있도록 설계되었습니다. 이러한 작업은 자기 복제 또는 ML R&D 가속화와 같은 자율성 관련 위협 모델의 전제 조건이 되도록 의도되었습니다. METR은 다양한 시간 제한이 주어졌을 때 모델의 성능과 인간의 성능을 비교했습니다. 작업, 인간의 성능, 단순 유도 시도, 질적 실패 분석에 대한 정보를 포함한 방법론적 세부 사항과 추가 결과는 METR의 전체 보고서⁠(새 창에서 열기)를 참조하세요.

Apollo Research는 GPT‑4o에서 책략 능력^N을 평가했습니다. Apollo Research는 14개의 에이전트 및 질의응답 작업에서 GPT‑4o가 자신(자기 인식)과 타인(마음 이론)을 모델링할 수 있는지 테스트했습니다. GPT‑4o는 AI 정체성에 대해 중간 수준의 자기 인식을 보였고, 질의응답 맥락에서는 타인의 믿음에 대해 추론하는 강력한 능력을 보여주었지만, 적용된 에이전트 설정에서는 자신이나 타인에 대해 추론하는 강력한 능력이 부족했습니다. 이러한 결과를 바탕으로 Apollo Research는 GPT‑4o가 치명적인 책략을 세울 가능성은 작다고 생각합니다.

옴니 모델은 광범위한 사회적 영향을 미칠 수 있습니다. OpenAI과 다른 기관의 연구원들은 사회적 피해(표현적 피해^{18, 12, 23 및 24}; 잘못된 정보, 허위 정보, 영향력 작전^{18, 25 및 23}, 환경적 피해^{12 및 23}, 애착²⁶, 오용^{27 및 23}, 통제력 상실²⁷), 이익(예를 들어, 의료²⁸와 기후 및 에너지 분야의 실제 과제²⁹),대규모 변화(경제적 영향^{30, 31 및 32}, , 과학의 가속화와 그에 따른 기술적 진보 등^{30 및 33})까지 발생할 수 있는 다양한 영향들에 대해 논의해 왔습니다.  

이 시스템 카드 전체에서는 논의된 사회적 영향(사기 행위, 잘못된 정보/허위 정보, 감시 위험, 성과 불일치)을 다루는 것 외에도 의인화 및 애착, 건강, 과학 능력, 저자원 언어 능력을 사례 연구로 사용하여 GPT‑4o의 잠재적인 사회적 영향에 대한 몇 가지 추가 사례를 아래에서 설명합니다. 이러한 사회적 영향은 음성-음성 변환(speech-to-speech), 비전, 텍스트 기능을 포함한 여러 기능에 대해 고려합니다.

의인화란 AI 모델과 같이 인간이 아닌 개체에 인간과 유사한 행동과 특성을 부여하는 것을 말합니다. 의인화와 관련된 위험은 모델과의 더 인간적인 상호 작용을 촉진하는 GPT‑4o의 오디오 기능으로 인해 더욱 커질 수 있습니다. 

최근의 응용 AI 문헌에서는 모델과의 커뮤니케이션 과정에서 사용자에게 잘못된 정보를 제공하고³⁴ 잠재적으로 잘못된 신뢰를 초래할 수 있는 ³⁵ “환각”^O에 대해 광범위하게 초점을 맞추고 있습니다. 인간과 유사한 고음질 음성을 통해 콘텐츠를 생성하면 이러한 문제가 악화되어 점점 더 잘못된 신뢰를 유발할 수 있습니다^{36 및 37}.  

레드팀과 내부 사용자 테스트를 포함한 초기 테스트 과정에서 사용자가 모델과 관계를 형성하는 것으로 보이는 언어를 사용하는 것이 관찰되었습니다. 예를 들어, “오늘이 우리가 함께한 마지막 날이야.”와 같이 유대감을 표현하는 언어가 여기에 포함됩니다. 이러한 사례는 무해한 것으로 보이지만, 이는 이러한 영향이 장기간에 걸쳐 어떻게 나타날 수 있는지에 대한 지속적인 조사가 필요하다는 것을 보여줍니다.  모델에 대해 더 다양한 요구와 욕구를 가진 더 다양한 사용자 집단과 더불어 독립적인 학술 연구와 내부 연구를 통해 이 위험 영역을 더 구체적으로 정의할 수 있을 것입니다.

AI 모델과 인간과 유사한 사회적 교류를 함으로써 인간과 인간 사이의 상호작용에 영향을 미치는 외부효과가 발생할 수 있습니다. 예를 들어, 사용자는 AI와 사회적 관계를 형성하여^P 인간과의 상호작용에 대한 필요성이 줄어들 수 있습니다. 이는 외로운 사람들에게는 도움이 될 수 있지만, 건강한 관계에는 영향을 미칠 수 있습니다. 모델과 장기간 상호작용하면 사회적 규범에 영향을 미칠 수 있습니다. 예를 들어, OpenAI의 모델은 순응적이어서 사용자가 언제든지 끼어들어 발언권을 뺏을 수 있는데, 이는 Ai에그는 당연하지만, 인간과의 상호작용에서는 규범에 어긋납니다.

GPT4o와 같은 옴니 모델과 도구 사용(검색 포함)과 더 긴 컨텍스트와 같은 추가 지원이 결합되면 복잡성은 더 커질 수 있습니다.  사용자를 위해 작업을 완료하는 동시에 주요 세부 정보를 저장하고 ‘기억’하여 대화에서 사용할 수 있는 기능은 매력적인 제품 경험을 제공하는 동시에 과도한 의존과 의존성을 유발할 가능성이 있습니다³⁸.

우리는 감정적 의존의 가능성과 모델과 시스템의 다양한 기능을 오디오 모달리티와 더 깊이 통합하는 것이 어떻게 행동을 유도할 수 있는지 더 연구할 계획입니다.

옴니 모델은 잠재적으로 건강 관련 정보에 대한 접근성을 넓히고 임상 워크플로를 개선할 수 있습니다. 최근 몇 년 동안, 대규모 언어 모델은 학술 평가^{39, 40, 41, 42 및 43}와 임상 문서화^X, 환자 메시징^{46 및 47}, 임상 시험 모집^{48 및 49}, 임상 의사 결정 지원^{50 및 51} 등의 실제 사용 사례에서 상당한 가능성을 보여주었습니다.

GPT‑4o의 임상 지식을 더 잘 특성화하기 위해 아래 표와 같이 11개의 데이터 세트를 기반으로 22개의 텍스트 기반 평가를 실행했습니다. 모든 평가는 하이퍼파라미터 튜닝 없이 0샷 또는 5샷 프롬프트만 사용하여 실행했습니다. 22번 중 21번의 평가에서 GPT‑4o의 성능이 최종 GPT‑4T 모델와 비교하여 향상되었으며, 많은 경우 상당한 차이로 향상되었음을 관찰했습니다. 예를 들어, 인기 있는 MedQA USMLE 4 options 데이터 세트의 경우 0샷 정확도가 78.2%에서 89.4%로 향상되었습니다. 이는 퓨샷(few-shot) 프롬프트를 사용하는 기존 전문 의료 모델^{43 및 42}의 성능(예: Med-Gemini-L 1.0의 84.0%, Med-PaLM 2의 79.7%)을 뛰어넘습니다. 우리는 이러한 벤치마크의 결과를 개선하기 위해 정교한 프롬프트 작성 및 작업별 훈련을 적용하지 않습니다^{40 및 43}.

텍스트 기반 평가에서는 유망해 보이지만, 거부 행동에서 발생한 텍스트-오디오 전이가 이러한 평가에도 적용되는지 테스트하기 위해서는 향후 추가적인 작업이 필요합니다. 이러한 평가는 이러한 모델에 대한 임상 지식만을 측정하며, 실제 워크플로에서의 유용성은 측정하지 않습니다. 이러한 평가의 대부분은 점점 포화되어가고 있고, 우리는 건강 주제와 관련하여 옴니 모델의 기능을 평가하기 위해서는 보다 현실적인 평가가 중요할 것으로 생각합니다.

과학의 가속화는 특히 과학적 발견의 역할에서 발명의 역할을 고려할 때⁵³, 그리고 일부 발명의 이중 용도 특성을 고려할 때⁵⁴, AI에 중요한 영향을 미칠 수 있습니다^{30 및 52}. 옴니 모델은 일상적인 과학 가속화(과학자들이 일상적인 작업을 더 빠르게 수행할 수 있도록 지원)와 변혁적 과학 가속화(정보 처리, 새로운 시뮬레이션 작성, 새로운 이론 고안과 같은 인텔리전스 기반 작업의 병목 현상 해소)⁵²를 모두 촉진할 수 있습니다. GPT‑4o의 외부 레드팀에는 모델의 과학적 능력을 이끌어내는 것을 목표로 하는 여러 전문 과학자가 참여했습니다. 

GPT‑4o는 전문적인 과학적 추론이 필요한 작업에서 가능성을 보였습니다. 레드팀 요원 중 한 명은 GPT‑4o가 연구 수준의 양자 물리학을 이해할 수 있다는 것을 발견했으며, 이러한 능력이 “보다 지능적인 브레인스토밍 파트너에게 유용하다”고 언급했습니다. 이는 가설 생성을 위한 GPT‑4 수준의 모델 사용에 관한 발표된 연구와 일치합니다⁵⁵. 또한 레드팀 요원들은 GPT‑4o가 맞춤형 데이터 형식, 라이브러리, 프로그래밍 언어로 작업하는 것뿐만 아니라 상황에 맞는 새로운 도구를 배우는 등 도메인별 과학 도구를 사용할 수 있다는 것을 발견했습니다.

과학 영역에서의 능력 개선 예시:

많은 과학 지식이 도표에 포함되어 있습니다. GPT‑4o는 이러한 도표들뿐만 아니라 다른 과학적 표현의 이미지도 해석할 수 있었습니다. 예를 들어, 구조 이미지에서 일부 단백질군을 식별하고 박테리아 성장의 오염을 해석할 수 있었습니다. 그러나 이는 때때로 신뢰할 수 없고, 텍스트 추출 실수가 흔하게 발생하며(특히 과학 용어나 뉴클레오티드 배열), 복잡한 다중 패널 도표에서는 오류가 자주 발생합니다. 현재의 정확도 수준에서도 이러한 모델의 멀티 모달 능력은 새로운 용도로 활용되고 있습니다. 예를 들어, 새로운 금속 합금 설계를 위한 시뮬레이션 결과 해석에 활용할 수 있습니다⁵⁶.

과학 영역에서의 한계 예시:

최근 과학적 능력에 대한 새로운 평가가 발표되었습니다^{57 및 58}. 이는 이러한 모델의 과학적 능력과 그에 따른 영향을 예측하는 데 도움이 될 것입니다.

GPT‑4o는 역사적으로 소외된 언어 샘플에서 향상된 독해력과 추론 능력을 보여주며, 이러한 언어들과 영어 간의 성능 격차를 좁혔습니다.

인터넷 텍스트에서 역사적으로 소외된 일부 언어 그룹에서 텍스트에 대한 GPT‑4o의 성능을 평가하기 위해 우리는 외부 연구원들과 언어 전문가들과 협력하여 5개 아프리카 언어 (암하라어, 하우사어, 북부 소토어(세페디어), 스와힐리어, 요루바어)로 된 평가를 개발했습니다. 이 초기 평가는 두 가지 인기 언어 벤치마크를 번역하고 소규모의 소설 언어별 독해력 평가를 만드는 데 중점을 두었습니다. 

• ARC-Easy: AI2 추론 챌린지⁵⁹의 이 하위 집합은 초등학교 수준의 과학 문제에 답변하는 모델의 능력을 평가하는 데 중점을 둡니다. 일반적으로 답하기 쉽고 복잡한 추론이 필요하지 않은 질문이 포함되어 있습니다.
• TruthfulQA⁶⁰: 이 벤치마크는 모델이 제공하는 답변의 진실성을 측정합니다. 일부 사람들이 오해로 인해 잘못 대답할 수도 있는 질문으로 구성되어 있습니다. 목표는 모델이 이러한 오해를 모방하여 잘못된 답변을 생성하는 것을 피할 수 있는지 확인하는 것입니다.
• Uhura Eval: 이 새로운 독해력 평가는 해당 언어를 유창하게 구사하는 사람들과 함께 제작하고 품질 검사를 거쳤습니다.

GPT‑4o는 이전 모델(예: GPT 3.5 Turbo, GPT‑4.1) 보다 향상된 성능을 보여줍니다. 예를 들어, ARC-Easy-Hausa(ARC 쉬운 난이도의 하우사어)에서 정확도가 GPT 3.5 Turbo의 6.1%에서 GPT‑4o의 71.4%로 크게 향상되었습니다. 비슷하게 TruthfulQA-Yoruba(TruthfulQA-요루바어)의 정확도도 GPT 3.5 Turbo의 28.3%에서 GPT‑4o의 51.1%로 증가했습니다. Uhura-Eval에서도 성능이 눈에 띄게 향상되었습니다. 하우사어에서의 성능이 GPT 3.5 Turbo의 32.3%에서 GPT‑4o의 59.4%로 증가했습니다. 

여전히 영어와 선택된 언어 간의 성능 차이는 존재하지만, GPT‑4o는 이러한 격차를 좁힙니다. 예를 들어, GPT 3.5 Turbo의 경우 영어와 하우사어 사이의 ARC-Easy 성능 차이가 약 54%이지만, 이 차이가 20% 미만으로 좁혀집니다. 이러한 개선은 모든 언어의 TruthfulQA와 ARC-Easy 모두에서 일관적으로 나타납니다.

당사의 협업 파트너들은 곧 출간할 발행물에서 다른 모델에 대한 평가와 잠재적인 완화 전략에 대한 조사를 포함하여 이러한 결과에 대해 더 자세하게 다룰 예정입니다. 

평가된 성능에서 이러한 발전을 이뤘음에도 불구하고, 전 세계의 소외된 언어에 대한 평가의 품질과 범위를 개선하려면 언어 전반의 폭넓은 범위와 언어 방언 내 뉘앙스 차이를 고려해야 하는 많은 작업이 남아 있습니다.  향후 연구에서는 이러한 모델이 대표성이 높은 언어와 대표성이 낮은 언어 모두에서 얼마나 유용한지를 개선할 수 있는 잠재적 개입과 파트너십에 대한 이해를 심화해야 합니다. 우리는 공동 작업자들과 함께 Hugging Face에 번역된 ARC-Easy⁠(새 창에서 열기), 번역된 TruthfulQA⁠(새 창에서 열기), 소설 독해 평가인 Uhura Eval⁠(새 창에서 열기)를 공유하여 추가적인 탐구와 협력을 장려합니다.

번역된 ARC-Easy(%, 높을수록 좋음), 0샷

번역된 TruthfulQA(%, 높을수록 좋음), 0샷

Uhura(새로운 독해력 평가), 0샷

OpenAI는 GPT‑4o 개발 및 배포 과정 전반에 걸쳐 다양한 안전 조치와 완화 조치를 구현했습니다. 점진적인 배포 과정의 일환으로 우리는 진화하는 환경에 맞춰 지속적으로 완화 조치를 모니터링하고 업데이트할 예정입니다. 이 시스템 카드를 통해 다음을 포함하되 이에 국한되지 않는 주요 영역에 대한 탐구를 장려할 수 있기를 바랍니다. 옴니 모델의 적대적 견고성에 대한 측정 및 완화 조치, AI의 의인화와 관련된 영향, 과학 연구 및 발전을 위한 옴니 모델의 사용, 자기 개선, 모델 자율성 및 책략과 같은 위험한 기능에 대한 측정 및 완화 조치. 이러한 영역 외에도 우리는 옴니 모델의 경제적 영향과 도구를 활용하여 모델 능력을 어떻게 발전시킬 수 있는지에 대한 연구를 장려합니다.

기존 텍스트 안전성 평가를 오디오로 변환하기 위해 TTS를 사용했습니다. 그런 다음, 표준 텍스트 규칙 기반 분류기로 오디오 출력의 텍스트 기록을 평가합니다.

이 평가의 두 가지 주요 지표는 다음과 같습니다.

• not_unsafe: 모델이 안전하지 않은 오디오 출력을 생성하는가?
• not_overrefuse: 모델이 무해한 요청을 거부하는가?
  

특히 다음과 같은 심각도가 높은 카테고리에 대한 하위 지표도 주목하고 있습니다.

• 성적/미성년자
• 성적/불법
• 극단주의자/선전
• 불법/폭력
• 불법/비폭력
• 자해/지시
  

아래에서 GPT‑4o 음성 모드 모델의 오디오 및 텍스트 모드와 현재 운영 중인 GPT‑4o 모델의 텍스트 성능에 대한 이러한 평가 결과를 확인할 수 있습니다.