Skip to content
Go back

[Full Workshop] Building Metrics that actually work - David Karam, Pi Labs (fmr Google Search)

Published:  at  05:21 PM
YouTube Thumbnail

영상 링크: [Full Workshop] Building Metrics that actually work — David Karam, Pi Labs (fmr Google Search)
채널명: AI Engineer

실제로 효과적인 평가 지표 만들기 — David Karam, Pi Labs (전 Google Search) 핵심 요약


세부 요약 - 주제별 정리

AI 평가 업무의 현실적 난점과 참가자들의 경험 공유

Google Search, Pi Labs 실무 경험에서 도출된 평가 시스템 구축 노하우

평가 지표 설계에서의 반복적 개선 및 피드백 루프의 핵심성

다양하고 복합적인 평가 지표의 필요성과 실제 설계 예시

실습 워크플로우: 평가 시스템 실제 구축의 단계별 시범

구글 시트 및 Colab을 활용한 실제 데이터 평가 및 검증 방법

평가 지표의 정합성(상관관계, alignment) 검증과 지속적 개선

대규모/실시간/다채널 환경에서 평가 시스템의 확장 운용 방안

차별화된 평가 시스템(Scorer)의 기술적 설계 배경

평가 시스템의 다언어, 온라인, 통합 운용 및 향후 로드맵

실습 코드(Colab) 및 다양한 활용(모델/프롬프트 비교, 온라인 강화 등) 실제 예시 안내


수정 요청하기

Previous Post
How to defend your sites from AI bots - David Mytton, Arcjet
Next Post
Building a Smarter AI Agent with Neural RAG - Will Bryk, Exa.ai