Skip to content
Go back

OpenThoughts: Data Recipes for Reasoning Models - Ryan Marten, Bespoke Labs

Published:  at  08:47 AM
YouTube Thumbnail

영상 링크: OpenThoughts: Data Recipes for Reasoning Models — Ryan Marten, Bespoke Labs
채널명: AI Engineer

오픈소스 추론 데이터셋 레시피, OpenThoughts 3의 개발과 주요 발견 핵심 요약


세부 요약 - 주제별 정리

최근 LLM 추론 성능 비약적 향상이 SFT 데이터셋 활용법 변화로 이어짐

맞춤형 추론 모델을 직접 만드는 이유와 필요성은 다양함

OpenThoughts 3: 최신 오픈소스 추론 데이터셋과 벤치마크 결과

데이터셋 파이프라인을 세분화하고 단계별 실험을 통한 최적 조합 도출

답변 샘플링 및 논리 과정을 풍부하게 만드는 것이 성능 향상에 매우 유효함

교사 모델의 ‘성능’과 ‘교사로서의 자질’은 반드시 일치하지 않음

합성(생성형) 질문 데이터가 크롤링(스크래핑)이나 수기 데이터보다 우수한 경우가 많음

질문 필터링은 난이도 추정·응답 길이 활용이 가장 효과적임

다수의 다양한 소스보다, 소수의 고품질 소스 집중이 더 높은 성과로 이어짐

SFT/디스틸 데이터에선 답변 검증 기반 필터링이 거의 무의미했음

전문화 도메인에서는 각 단계별 맞춤 실험 및 반복 평가가 필수적임

반복적 평가와 신뢰성 높은 벤치마킹은 추론 모델 개발의 핵심임

SFT/디스틸 방식만으로도 특정 도멘인에서 교사 모델을 뛰어넘을 수 있음을 실증함

코드, 데이터, 모델, 툴 전면 오픈소스로 공개하며 협업 및 후속 연구 확산을 독려함

Q&A 통해 도출된 추가적 주요 통찰과 남은 연구 과제


수정 요청하기

Previous Post
Google Photos Magic Editor: GenAI Under the Hood of a Billion-User App - Kelvin Ma, Google Photos
Next Post
Building Effective Voice Agents - Toki Sherbakov + Anoop Kotha, OpenAI