콘텐츠 출처 정보는 콘텐츠가 어디서 왔는지, 어떻게 생성되거나 편집되었는지, OpenAI 모델과 관련된 신호가 포함되어 있는지 파악하는 데 도움이 됩니다. OpenAI는 이미 자사 모델이 생성한 이미지와 오디오를 식별하는 도구를 공개했습니다. 오늘은 EU AI 법에 대응하기 위한 텍스트 워터마킹 접근 방식과 이것이 OpenAI의 전반적인 접근 방식에서 어떤 역할을 하는지 소개합니다.
EU AI 법은 생성형 AI 제공업체가 생성된 텍스트를 기계가 읽을 수 있는 방식으로 식별 가능하게 만들도록 요구합니다. 텍스트 워터마킹과 탐지는 아직 초기 단계의 기술로 한계가 상당하며, 그 이점과 책임 있는 활용에 대한 논의도 진행 중입니다. OpenAI는 EU AI 법의 요건과 기술의 한계를 모두 반영해 단계적으로 접근합니다. 특히 텍스트 워터마크로 알 수 있는 것과 알 수 없는 것을 투명하게 알리는 데 중점을 둡니다.
오늘부터 전 세계 API 고객은 일부 모델에서 텍스트 워터마킹을 선택적으로 활성화할 수 있습니다. API에서 텍스트 워터마킹은 기본적으로 꺼진 상태로 유지됩니다.
앞으로 몇 주에 걸쳐 유럽연합 내에서 적용 대상에 해당하는 ChatGPT와 Codex의 텍스트 출력에 보이지 않는 워터마크를 추가할 예정입니다.
텍스트 워터마크 탐지기 이용 신청을 받기 시작합니다. 초기에는 기술 평가와 개선에 도움을 줄 수 있는 승인된 연구자와 전문 기관만 이용할 수 있습니다.
이는 텍스트 출처 정보에만 적용됩니다. openai.com/verify 웹 도구와 콘텐츠 출처 API(새 창에서 열기)를 비롯한 오디오 및 이미지 검증 도구는 이미지나 오디오 파일이 OpenAI 시스템으로 생성되었는지 확인하려는 기관에 계속 공개됩니다.
OpenAI의 텍스트 워터마킹 기술인 textGrain은 모델의 단어 선택에 보이지 않는 통계적 신호를 추가합니다. 탐지기는 이 신호를 찾아 텍스트에 OpenAI 워터마크가 포함되어 있는지 판단합니다. textGrain의 작동 방식에 대한 자세한 내용은 기술 보고서(새 창에서 열기)에서 확인할 수 있으며, 앞으로 몇 주에 걸쳐 세부 내용을 추가할 예정입니다. 또한 다른 개발자들이 이 기술을 토대로 새로운 기술을 개발할 수 있도록 오픈 소스로 공개할 계획입니다.
자체 평가에서 textGrain은 텍스트용 SynthID를 비롯해 테스트한 다른 방식과 동등하거나 더 뛰어난 성능을 보였습니다. 하지만 이상적인 조건에서 성능이 뛰어나다고 해서 일상적인 사용 환경에서도 신뢰할 수 있는 탐지가 보장되는 것은 아닙니다.
탐지기는 두 가지 오류를 낼 수 있습니다. 워터마크가 없는데 있다고 판단하는 위양성과, 워터마크가 있는데도 놓치는 위음성입니다. 아래 평가 결과는 이러한 어려움을 보여줍니다.
텍스트가 짧거나 표현에 제약이 많을수록 탐지가 어렵습니다. 목표 위양성률을 1%로 설정했을 때, 심리학과 같은 주제의 콘텐츠에서 탐지기는 200토큰 길이 텍스트의 약 80%, 400토큰 길이 텍스트의 약 95%에서 워터마크를 식별했습니다. 수학처럼 단어 선택의 폭이 좁은 콘텐츠에서는 탐지율이 크게 낮았습니다.
편집으로 인해 워터마크가 약해질 수 있습니다. 400토큰 길이의 텍스트를 평가한 결과, 단어의 10%를 동의어로 바꾸면 탐지율이 약 92%에서 66%로 떨어졌습니다. 단어의 25%를 바꾸면 탐지율은 17%로 떨어졌습니다.
이러한 한계를 고려해, 초기에는 신뢰성과 책임 있는 활용 방식을 평가하는 데 도움을 줄 수 있는 승인된 연구자와 전문 기관에만 탐지기를 제공하기로 했습니다.
이 차트는 목표 위양성률을 1%로 설정했을 때 ELI5 데이터셋(새 창에서 열기)의 수학 및 심리학 질문에 대한 워터마크가 있는 응답의 탐지 결과를 보여줍니다. 텍스트가 길수록 탐지율이 높아지지만, 수학처럼 단어 선택의 폭이 좁은 콘텐츠에서는 전반적인 탐지율이 크게 낮습니다.
편집으로 인해 워터마크 신호가 크게 약해질 수 있습니다. 이 차트는 텍스트에 있는 단어의 10% 또는 25%를 교체했을 때 탐지에 어떤 영향을 미치는지 보여줍니다. 결과는 ELI5(새 창에서 열기) 질문에 대한 워터마크가 있는 영어 응답을 기반으로 합니다.
최신 프런티어 모델 Astra를 평가하는 데 사용하는 벤치마크 전반에서 워터마킹 적용 여부에 따른 유의미한 성능 차이는 나타나지 않았습니다.
벤치마크 | 워터마크 없는 텍스트(Astra, Max) | 워터마크 있는 텍스트(Astra, Max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49.57점 | 49.76점 |
AutomationBench | 34.09% | 34.86% |
DeepSWE v1.1 | 72.80% | 71.68% |
Terminal-Bench 4.0 | 53.90% | 56.06% |
Terminal-Bench Science 0.1 | 56.90% | 60.00% |
BrowseComp | 87.92% | 87.35% |
HealthBench Professional | 64.27% | 64.60% |
GPQA Diamond | 94.44% | 93.94% |
텍스트 워터마크는 해당 텍스트에 OpenAI 시스템이 어떤 역할을 했는지에 대해 제한적인 단서를 제공합니다. 탐지 결과로 어떤 결론을 내릴 수 있고, 어떤 결론은 내릴 수 없는지 이해하는 것이 중요합니다.
워터마크는 사람의 기여도를 측정하지 않습니다. OpenAI 시스템이 텍스트의 일부를 생성하거나 처리했다는 점은 나타낼 수 있지만, 사람의 판단이나 편집, 창의성이 얼마나 반영되었는지는 알 수 없습니다.
워터마크는 소유권이나 책임 소재를 확정하지 않습니다. 텍스트의 소유자가 누구인지, 사용이 적법했는지, AI 사용 사실을 공개할 의무가 있었는지, 누가 책임을 지는지는 판단하지 않습니다.
워터마크는 사용자를 식별하지 않습니다. 텍스트를 특정 사람, 조직, 계정, 프롬프트 또는 대화와 연결하지 않습니다.
워터마크는 정확성을 검증하지 않습니다. 텍스트가 사실인지, 오해를 유발하는지, 유해한지, 적절한 맥락에서 제시되었는지는 알려주지 않습니다.
워터마크가 탐지되지 않았다고 해서 사람이 작성했다는 뜻은 아닙니다. OpenAI 도구로 생성한 텍스트라도 너무 짧거나 편집 또는 번역을 거쳤다면 신뢰할 만한 탐지가 어려울 수 있습니다. 워터마킹을 지원하지 않는 모델로 생성되었거나, 워터마킹 도입 이전에 생성되었거나, 다른 회사의 도구로 생성된 텍스트일 수도 있습니다.
EU 내 텍스트 워터마킹 도입. 앞으로 몇 주에 걸쳐 EU 지역에 한해, 모든 요금제에서 적용 대상에 해당하는 ChatGPT와 Codex 사용자에게 텍스트 워터마킹을 도입할 예정입니다. 출시 시점에는 텍스트 워터마킹을 전 세계에 기본 적용하지 않습니다. 특정 지역에 먼저 적용하면 실제 사용 경험과 피드백에서 배울 기회를 얻을 수 있습니다.
API 고객을 위한 선택적 워터마킹 제공. 오늘부터 전 세계 API 고객은 일부 모델에서 텍스트 출력에 워터마크를 적용하도록 선택할 수 있습니다. 이를 통해 고객은 투명성 의무와 사용자에게 제공하는 경험에 맞춰 워터마킹 활용 방식을 결정할 수 있습니다. 또한 클라우드 파트너와 협력하여, 앞으로 몇 주 안에 파트너 서비스를 통해 이용하는 OpenAI 모델의 출력에도 워터마킹을 적용할 수 있도록 준비하고 있습니다.
연구자와 전문 기관에 탐지기 이용 권한 제공. 승인된 연구자와 전문 기관은 오늘부터 신청할 수 있습니다. 실천 강령(새 창에서 열기)에 따라, 초기에는 텍스트 출처 정보의 평가와 개선을 지원하기 위해 개별 심사를 거쳐 이용 권한을 부여합니다. 이 도구는 사용자를 식별하거나 프롬프트 또는 대화를 공개하지 않고, OpenAI 워터마크의 탐지 여부만 알려줍니다. 워터마크를 놓치거나 위양성이 발생할 위험을 고려해, 출시 시점에는 일반에 공개하지 않습니다.
기술과 표준이 발전하고 근거가 축적됨에 따라 이러한 접근 방식의 각 요소를 재검토할 예정입니다.
출처 확인 기술 하나만으로는 충분하지 않습니다. 따라서 OpenAI는 개방형 표준, 잘 지워지지 않는 워터마킹, 검증 도구를 결합하는 다층적인 접근 방식을 취합니다.
OpenAI는 지원되는 이미지 출력에 콘텐츠 자격 증명을 추가하고, C2PA 적합성 요건을 충족(새 창에서 열기)하며, 지원되는 이미지와 오디오에 보이지 않는 SynthID(새 창에서 열기) 워터마크를 삽입합니다. 또한 openai.com/verify와 콘텐츠 출처 API(새 창에서 열기)를 통해 이미지와 오디오를 검증할 수 있도록 합니다. 이 기술들은 서로를 보완합니다. 콘텐츠 자격 증명은 파일의 출처와 이력을 기록할 수 있고, 보이지 않는 워터마크는 메타데이터가 삭제되어도 신호를 유지할 수 있습니다.
선거 보호를 위한 활동에서 설명했듯이, 출처 정보는 사람들과 플랫폼이 딥페이크를 비롯해 오해를 유발할 수 있는 AI 생성 콘텐츠를 판단하는 데 도움이 될 수 있습니다. OpenAI는 이러한 신호를 정책, 악용 탐지, 신고, 조사, 제재 조치와 함께 활용합니다. 또한 연구자, 표준화 기구, 플랫폼, 시민사회와 협력하여 출처 정보가 더 넓은 생태계 전반에서 유용하게 쓰이도록 노력합니다.
출처 확인 기술을 텍스트로 확장하려면 텍스트가 얼마나 쉽게 다시 쓰이거나 번역, 편집될 수 있는지 고려해야 합니다. 6월에 논의했듯이, OpenAI의 접근 방식에는 현재 기술의 실질적인 한계가 반영되어야 합니다. 앞으로도 탐지 성능을 개선하고, 편집과 번역을 거쳐도 워터마크가 얼마나 잘 유지되는지 연구하며, AI의 도움을 받은 글과 AI가 작성한 글을 보다 명확하게 구분하는 방법을 모색하겠습니다. 근거와 표준, 규제 요건의 변화에 맞춰 접근 방식을 조정하고, 결과를 책임 있게 해석할 수 있다고 판단되면 탐지기 이용 대상을 확대하겠습니다.
자세한 내용은 도움말 센터 문서(새 창에서 열기)를 참고하세요.
