파인 튜닝 API 개선 및 맞춤형 모델 프로그램 확대

개발자가 레이턴시를 줄이고, 정확도를 높이고, 비용을 절감하기 위해 모델 성능을 높이는 데 사용할 수 있는 다양한 기법⁠(새 창에서 열기)이 있습니다. 검색 증강 생성(RAG)을 사용해 모델 지식을 확장할 수도 있고, 파인 튜닝으로 모델의 동작을 맞춤화할 수도 있고, 도메인에 특화된 새로운 지식으로 맞춤 훈련된 모델을 만들 수도 있습니다. 어떤 기법을 사용하든 OpenAI는 고객의 AI 구현에 도움이 되는 다양한 옵션을 개발했습니다. 개발자가 API를 사용해 파인 튜닝을 더 세밀하게 제어할 수 있도록, 오늘 새로운 기능을 출시합니다. 그리고 OpenAI의 AI 전문가 및 연구자 팀과 협력하여 맞춤형 모델을 만들 수 있는 더 다양한 방법도 공개합니다.

2023년 8월, GPT‑3.5에 셀프 서비스 방식의 파인 튜닝 API⁠(새 창에서 열기)를 출시했습니다. 그 후로 수천 곳의 조직이 이 API를 사용해 수십만 개의 모델을 훈련했습니다. 파인 튜닝을 하면 모델이 콘텐츠를 깊이 있게 이해하고 특정 작업에서 모델의 기존 지식과 능력을 증강할 수 있습니다. 파인 튜닝 API는 하나의 프롬프트에 들어갈 수 있는 더 많은 예시를 지원하여 비용과 레이턴시는 줄이면서 결과의 품질을 더 높입니다. 파인 튜닝의 일반적인 사용 사례로는 특정 프로그래밍 언어에서 더 나은 코드를 생성하거나, 특정 형식으로 텍스트를 요약하거나, 사용자의 동작에 따라 개인 맞춤 설정된 콘텐츠를 작성하도록 모델을 훈련하는 것이 있습니다.

예를 들어, 일자리 연결 및 채용 글로벌 플랫폼인 Indeed⁠(새 창에서 열기)에서는 채용 프로세스를 간소화하고 싶어 합니다. 그래서 Indeed는 구직자들에게 스킬, 경력, 선호도에 따라 관련성 있는 일자리를 강조하여 개인 맞춤 설정된 추천을 전송하는 기능을 출시했고, 생성되는 설명의 품질과 정확도를 높이기 위해 GPT‑3.5 Turbo를 파인 튜닝했습니다. 그 결과, Indeed는 프롬프트 토큰의 수를 80% 줄여 비용과 레이턴시를 개선할 수 있었습니다. 이에 따라 구직자에게 보내는 메시지가 월간 100만 개 미만에서 약 2,000만 개로 증가했습니다.

오늘 OpenAI는 개발자에게 파인 튜닝 작업에서 더 많은 제어 권한을 제공하는 다음과 같은 새로운 기능⁠(새 창에서 열기)을 소개합니다.

• 에포크 기반 체크포인트 생성: 각 훈련 에포크 중에 전체 파인 튜닝된 하나의 모델 체크포인트를 자동으로 생성하므로 특히 과적합의 경우 후속 재훈련을 할 필요가 없습니다.
• 비교 Playground: 모델 품질과 성능을 나란히 비교할 수 있도록 표시하는 Playground UI에서 여러 모델의 출력을 사람이 평가하거나 단일 프롬프트에 대한 스냅샷을 파인 튜닝할 수 있습니다.
• 서드파티 통합: 이번 주 Weights and Biases⁠(새 창에서 열기)를 시작으로 서드파티 플랫폼과의 통합을 지원하므로 개발자가 파인 튜닝 데이터를 나머지 스택에 공유할 수 있습니다.
• 포괄적 검증 지표: 샘플링된 배치가 아닌 전체 검증 데이터세트에서 손실 및 정확도와 같은 지표를 컴퓨팅하는 기능으로, 모델 품질에 대해 더 정확한 인사이트를 제공합니다.
• 하이퍼파라미터 구성: API 또는 SDK에서뿐만 아니라 대시보드⁠(새 창에서 열기)에서 사용 가능한 하이퍼파라미터를 구성할 수 있는 기능입니다.
• 파인 튜닝 대시보드 개선: 하이퍼파라미터 구성, 더 상세한 훈련 지표 보기, 이전 구성에서 작업 재실행 등의 기능이 제공됩니다.

지난 11월에 있었던 DevDay에서 전담 OpenAI 연구자들과 파트너십을 통해 특정 도메인에 대해 모델을 훈련하고 최적화하도록 설계된 맞춤형 모델 프로그램을 발표⁠했습니다. 그 후로 수십 곳의 고객과 만나 맞춤형 모델에 대한 니즈를 평가하고, 성능을 한층 더 높이기 위해 프로그램을 발전시켰습니다.

오늘은 맞춤형 모델 프로그램의 일환으로 지원형 파인 튜닝을 공식적으로 공개합니다. 지원형 파인 튜닝은 기술 팀과 협력하는 작업으로, 파인 튜닝 API뿐만 아니라 추가 하이퍼파라미터, 파라미터 효율적인 파인 튜닝(Parameter Efficient Fine-Tuning, PEFT)의 다양한 방법론 등 다른 기법도 더 큰 규모로 활용하여 개발했습니다. 사용 사례나 작업에 맞게 모델 성과를 극대화하기 위해 효율적인 훈련 데이터 파이프라인, 평가 시스템, 비스포크 파라미터와 방법론을 설정하는 데 지원이 필요한 조직에 특히 유용합니다.

예를 들어, 한국에서 3,000만 명이 넘는 가입자에게 서비스를 제공하는 이동통신 사업자인 SK 텔레콤⁠(새 창에서 열기)은 고객 서비스를 초기 집중 영역으로 하여 모델이 이동통신 도메인의 전문가가 되도록 맞춤화하고자 했습니다. SK 텔레콤은 OpenAI와 협력하여 한국어로 이루어지는 이동통신 관련 대화에서 성능을 높이도록 GPT‑4를 파인 튜닝했습니다. 몇 주에 걸쳐 SKT와 OpenAI는 이동통신 고객 서비스 작업에서 의미 있는 성과 개선을 이루었습니다. 파인 튜닝한 모델을 GPT‑4와 비교했을 때 대화 요약 품질은 35% 증가했고, 의도 인식 정확도는 33% 높아졌으며, 만족도 점수는 5점 만점에 3.6에서 4.5점으로 증가했습니다.

경우에 따라서는 조직에서 해당 조직의 비즈니스, 산업 또는 도메인을 이해하는 특수 모델을 처음부터 훈련해야 합니다. 완전히 맞춤 훈련된 모델은 새로운 훈련 중 및 훈련 후 기법을 사용해 모델 훈련 프로세스의 주요 단계를 수정함으로써 특정 분야에 대한 새로운 지식을 채웁니다. 완전히 맞춤 훈련된 모델로 성과를 본 조직은 예시 수백만 개 또는 토큰 수십억 개 등 대량의 독점 데이터를 보유한 경우가 많으며 이 데이터를 사용해 모델에게 새로운 지식이나 매우 구체적인 사용 사례에 대해 복잡하고 고유한 동작을 가르치고자 합니다.

예를 들어, 변호사를 위한 AI 네이티브 법률 도구인 Harvey⁠(새 창에서 열기)는 OpenAI와 협력하여 판례법과 관련해 맞춤 훈련된 대규모 언어 모델을 만들었습니다⁠. 파운데이션 모델이 추론에 강점을 보이기는 했지만 법적 판례에 대한 광범위한 지식이나 법무에 필요한 다른 지식은 부족했습니다. Harvey는 프롬프트 엔지니어링, RAG, 파인 튜닝을 테스트해본 후 OpenAI의 팀과 협력하여 모델에 필요한 컨텍스트 깊이, 즉 100억 개 토큰에 상당하는 데이터를 추가했습니다. OpenAI 팀은 도메인에 특화된 훈련 중 프로세스, 훈련 후 프로세스 맞춤화, 전문 변호사의 피드백 반영 등 모델 훈련 프로세스의 모든 단계를 수정했습니다. 그 결과 얻은 모델은 사실 기반 응답에서 83% 더 높은 성과를 보였고, 변호사들은 맞춤형 모델의 출력을GPT‑4에 비해 97%의 경우에서 선호했습니다.

미래에는 대부분의 조직에서 각자의 산업, 비즈니스 또는 사용 사례에 개별 맞춤 설정된 모델을 개발할 것입니다. 맞춤형 모델을 만들 수 있는 기법이 다양하므로 규모와 관계없이 조직들은 개별 맞춤 설정된 모델을 개발하여 AI 구현으로부터 더 의미 있고 구체적인 영향을 실현할 수 있습니다. 중요한 것은 사용 사례, 설계, 구현 평가 시스템의 범위를 명확히 설정하고, 적절한 기법을 선택하며, 모델이 최적의 성능에 도달할 수 있도록 시간을 들여 반복 및 개선할 준비를 하는 것입니다.

OpenAI와 함께한다면 대부분의 조직이 셀프 서비스 형식의 파인 튜닝 API를 사용하여 의미 있는 결과를 신속하게 얻을 수 있습니다. 모델을 더 심층적으로 파인 튜닝해야 하거나 도메인에 특화된 새로운 지식을 모델에 추가해야 하는 조직에는 맞춤형 모델 프로그램이 도움이 될 수 있습니다.

OpenAI의 모델을 파인 튜닝하려면 파인 튜닝 API⁠(새 창에서 열기) 문서를 확인해 보세요.