Creating Agents that Co-Create — Karina Nguyen, OpenAI

함께 창조하는 에이전트 만들기 — OpenAI의 Karina Nguyen 핵심 요약

• AI 연구에서 지난 2~4년간의 두 가지 핵심 스케일링 패러다임(토큰 예측 기반 사전학습, 강화학습 기반 추론 능력 확장)에 대해 설명함
• 사전학습(Next Token Prediction)은 언어 및 세계의 다양한 지식을 습득할 수 있게 하여, 번역, 창의적 글쓰기, 논리적 추론 등 다양한 과제를 해결할 수 있게 함
• 포스트트레이닝(인간/AI 피드백 기반 강화학습)은 코딩 자동완성(GitHub Copilot) 등의 제품 개발에 활용되었으며, 복잡한 코드 작성 및 기능 확장에 기여함
• 최근에는 복잡한 추론이 필요한 작업과 장기적 문맥 처리를 강화하기 위해 강화학습 및 Chain of Thought 접근법이 도입됨
• 인간과 AI의 협업을 넘어, AI가 공동 창작(co-creation)의 주체가 되는 ‘공동 혁신’ 단계로 진화 중임
• 실제 제품 개발 사례(Claw, ChatGPT Tasks, Canvas 등)와 다양한 디자인 및 협업 도전과제 소개
• 미래에는 AI가 사용자의 창의성과 결합해 새로운 지식과 결과물을 공동으로 산출할 수 있는 인터페이스 및 환경이 만들어질 것으로 전망함

세부 요약 - 주제별 정리

AI는 토큰 예측 기반 사전학습 덕분에 세계에 대한 방대한 지식을 습득함

• AI 모델은 ‘다음 토큰 예측(Next Token Prediction)’ 학습을 통해 언어, 지식, 번역, 논리적 사고 등 다양한 역량을 자연스럽게 획득함
• 번역, 사실 질의(예: “프랑스의 수도는 파리”), 일반 상식처럼 데이터가 풍부한 과제는 모델이 쉽게 학습함
• 창의적 글쓰기나 복잡한 수학 문제는 모델이 오류를 내기 쉽고, 장기간 일관된 맥락 유지가 매우 어려운 AI 연구 과제임
• 연산량(컴퓨트)의 증가가 이런 난이도 높은 문제의 해결력을 높임

인간 및 AI 피드백 기반 강화학습은 제품 수준의 실용적 AI 개발을 이끎

• 포스트트레이닝(예: RLHF, RLAIF)은 사전학습 모델에 실제 제품에서 필요한 기능(코드 자동완성, 함수 완성, 차분 예측 등)을 추가함
• GitHub Copilot 등은 수십억 개의 코드 토큰을 학습해 코드 보완, 여러 줄 코드 생성 등 실질적 생산성을 제공함
• 강화학습 기반 피드백과 사용자 상호작용을 통해 기능과 활용성이 꾸준히 확장되고 있음

AI는 복잡한 문제 해결을 위해 Chain of Thought 및 외부 도구 활용을 점진적으로 확장함

• 최근 OpenAI의 01 등은 Chain of Thought(사고의 흐름)와 강화학습의 결합으로 복잡한 문제 해결력을 높임
• 모델은 길고 복잡한 추론 과정에서 여러 단계의 사고를 하며, 외부 도구(검색, 브라우저, 코딩 툴 등)와 통합해 문제 해결 능력을 키움
• 과제 수행 중 실시간으로 ‘사고 흐름’을 사용자에게 스트리밍해, 기다림의 불편을 줄이고 설명력을 강화하고자 디자인 고민이 이어짐

제품 개발에서는 친숙한 경험에 새로운 AI 능력을 탑재하는 것이 성공의 열쇠가 됨

• 10만 토큰 컨텍스트는 파일 업로드 등 친숙한 인터페이스에 혁신적인 기능을 얹어 사용자의 진입장벽을 낮춰 성공함
• ChatGPT Tasks(챗GPT 할 일/리마인더)는 명확한 익숙함(작업 관리)에 AI의 다재다능함을 추가해, 반복적 작업 자동화, 창의적 활용(매일 스토리 이어 쓰기 등)이 가능해짐
• 실시간 상호작용과 장기적 비동기 작업(예: 10시간짜리 리서치) 병행, 결과 검증 및 피드백 제공의 신뢰 구축이 과제임

멀티플레이 협업 및 AI-인간 공저 환경에서 새로운 혁신 가능성이 발견되고 있음

• CLA with Slack(엔터프라이즈용 AI 조력자), Canvas(다자간 공동 편집/창작, 멀티에이전트 협업) 등 다양한 실험적 제품을 개발·적용함
• Canvas의 경우, 공동 편집, 코드 작성, 데이터 분석 등 다양한 목적에 맞춘 유연한 인터페이스를 제공하며, 사용자의 개별 성향(시각/청각 학습 등)에 맞춰 적응 가능함
• AI와 협업하여 논문 복제, 프로젝트 재현, 새로운 연구 가설 도출 등이 현실화됨

AI가 손쉬운 소프트웨어 제작과 맞춤형 학습, 엔터테인먼트까지 생활 전반을 변화시킬 것임

• 코딩 지식이 없는 사람도 모바일에서 자신만의 도구, 앱, 게임 등을 만들 수 있는 시대가 도래하고 있음
• AI는 사용자의 학습 목적, 표현 선호 등에 맞춰 텍스트, 3D 시각화, 실시간 게임 등 다양한 방식을 모두 커버할 수 있게 진화 중
• 향후 인터넷 사용 방식도 ‘모델을 통한 정보 접근’으로 변화될 것으로 예상되며, 개인화된 멀티모달 학습·오락 환경이 표준이 될 전망임

최종적으로 AI와 인간이 창의적으로 공동 혁신(co-innovation)하며 새로운 지식과 문화를 탄생시킬 것이다

• AI의 논리 추론·도구 활용 역량과 인간의 창의적 방향성(co-direction)이 결합해 새로운 소설, 영화, 연구, 게임 등 다양한 분야의 협동 창작이 가속화될 것임
• 미래 인터페이스는 사용자가 원하는 활동(코딩, 글쓰기, 연구 등)에 따라 유연하게 변화하며, AI가 실질적 공동 창작자 역할을 하게 됨