Skip to content
Go back

How to look at your data - Jeff Huber (Choma) + Jason Liu (567)

Published:  at  08:45 AM
YouTube Thumbnail

영상 링크: How to look at your data — Jeff Huber (Choma) + Jason Liu (567)
채널명: AI Engineer

데이터를 제대로 바라보는 방법 — Jeff Huber(Chroma) & Jason Liu(567) 핵심 요약


세부 요약 - 주제별 정리

데이터 품질 개선에서 ‘데이터 직접 바라보기’가 근본적으로 중요함을 강조

입력 데이터 평가에서는 Fast Eval 방식이 신속성과 효율성을 모두 달성함

실제 데이터 실험을 통해 얻은 임베딩 모델의 성능 차이는 공개 벤치마크와 다를 수 있음

오픈소스 리포트·노트북·코드를 통해 누구나 실험을 재현할 수 있게 개방함

출력 데이터 분석(대화 로그)의 중요성과 실전 적용 방법 체계적으로 소개

대화 로그에서 추출한 메타데이터·클러스터 분석이 실제 제품 개선의 핵심 근거가 됨

구체적인 분석·클러스터링 파이프라인 예시(실제 데이터 활용)

클러스터별 KPI 비교를 통해 정확한 개선·무시·교육 포인트를 도출할 수 있음을 주장

실제 분석 사례와 제품 전략 수립 절차 구체적으로 안내

실전 조언: 자신의 데이터에 맞춰 빠른 실험, 세그멘테이션, KPI 비교를 반복하라


수정 요청하기

Previous Post
On Engineering AI Systems that Endure The Bitter Lesson - Omar Khattab, DSPy & Databricks
Next Post
Hacking the Inference Pareto Frontier - Kyle Kranen, NVIDIA