Skip to content
Go back

Layering every technique in RAG, one query at a time - David Karam, Pi Labs (fmr. Google Search)

Published:  at  05:19 PM
YouTube Thumbnail

영상 링크: Layering every technique in RAG, one query at a time - David Karam, Pi Labs (fmr. Google Search)
채널명: AI Engineer

RAG 기술의 모든 계층별 기법을 한 번에 적용하며 쌓아올리는 방법 핵심 요약


세부 요약 - 주제별 정리

RAG 품질 개선은 시작부터 ‘실제 아웃컴’ 기준으로 설계되어야 함

품질 엔지니어링은 먼저 쉽고 효과적인 기법부터 시도하고, 불필요한 복잡성은 배제해야 한다고 강조함

인메모리 검색(컨텍스트 윈도 이용)은 시작 단계에서 반드시 시도해야 할 가장 간단한 방법임

BM25 검색은 키워드 중심 쿼리에서 여전히 강력하며, 적용이 매우 간단하다고 설명함

벡터(임베딩) 검색 기법은 뉘앙스, 맥락, 의미 중심 쿼리에서 필수적임

크로스 엔코더(리랭커)는 상호 컨텍스트까지 고려 가능하나, 매우 비용이 높으므로 후보 집합 축소 후 사용해야 한다고 알림

도메인 특화 커스텀 임베딩은 법률, 쇼핑 등 특수 도메인에서 의미/용어 불일치 문제가 뚜렷할 때만 도입한다

자연어 기반 검색 외에도 실제 랭킹에서 ‘정보 신호(도메인∙비즈니스 변수)’가 반드시 추가되어야 함

유저 신호(클릭, 피드백 등)는 최종적으로 개인 선호 맞춤 랭킹을 위해 필수적으로 들어가야 한다

잘못된 질의(쿼리) 생성/오케스트레이션은 LLM-툴 간 인터페이스 설계상 주요 실패 원인임을 밝힘

멀티 백엔드 질의, 보강 검색(supplementary retrieval) 등은 품질 하락 방지 및 리콜 극대화를 위한 필수 전략임

초대규모 운영에서 비용/지연 등 한계에 직면하면 모델 경량화(디스틸레이션)와 전문 작업 필요

품질 엔지니어링의 마지막 단계는 제품 설계(UX)와의 유기적 통합이며, ‘품질 저하 허용’ 설계가 반드시 필요함

전체 메시지는 ‘실제 쿼리와 품질 데이터에 기반한 경험적 개선’ 원칙임을 재차 강조하며 마무리함


수정 요청하기

Previous Post
Building a Smarter AI Agent with Neural RAG - Will Bryk, Exa.ai
Next Post
Building Alice’s Brain: an AI Sales Rep that Learns Like a Human - Sherwood & Satwik, 11x