Skip to content
Go back

2025 is the Year of Evals! Just like 2024, and 2023, and … - John Dickerson, CEO Mozilla AI

Published:  at  05:18 PM
YouTube Thumbnail

영상 링크: 2025 is the Year of Evals! Just like 2024, and 2023, and … — John Dickerson, CEO Mozilla AI
채널명: AI Engineer

2025년은 평가(Eval)의 해다! 2024년, 2023년과 마찬가지로… 핵심 요약


세부 요약 - 주제별 정리

Arthur AI와 Mozilla AI에서 축적한 경험이 AI 평가지형 변화의 흐름을 직접적으로 보여줌

평가(evaluation)와 모니터링(monitoring)은 본질적으로 같은 기능(측정)을 수행하며, 엔터프라이즈에 핵심이 됨

ChatGPT 출시와 동시 미국 기업의 예산 동결이 AI 평가 중요성 부각의 결정적 계기로 작용

생성형 AI 붐(2023)과 최신 에이전트 시스템 등장(2024~2025)이 ‘평가’의 경영적 무게를 극적으로 높임

과거에는 평가가 상층부 임원에게는 우선순위 이슈가 아니었지만, 2025년에는 경영의 중심이 됨

AI 평가 및 관측 생태계의 스타트업과 주요 빅테크 기업 동향과 성장

에이전트(Agent) 시스템의 도입으로 평가/관측/보안의 난이도와 중요도가 동시에 상승함

각 기업 내 임원(CEO, CFO, CIO, CTO, CISO 등)의 AI 및 평가 관련 역할과 예산 결정 권한이 변경됨

전문 도메인 지식이 요구되는 AI 평가 과제와 LLM Judge 패러다임 한계, 인간 전문가 병행 방식의 시장 구조

LLM 기반 평가(LLM as a Judge)가 실제로 널리 도입되나, 인간 대비 편향성·한계도 존재

오픈소스 커뮤니티와 도구의 역할 및 Mozilla AI의 구체적 프로젝트 언급

향후 AI 평가 생태계의 주요 이슈와 변화상, 그리고 발전 방향에 대한 정리



수정 요청하기

Previous Post
Vibe Coding with Confidence - Itamar Friedman, Qodo
Next Post
Evals Are Not Unit Tests - Ido Pesok, Vercel v0