Forget RAG Pipelines-Build Production Ready Agents in 15 Mins: Nina Lopatina, Rajiv Shah, Contextual

영상 링크: Forget RAG Pipelines—Build Production Ready Agents in 15 Mins: Nina Lopatina, Rajiv Shah, Contextual
채널명: AI Engineer

RAG 파이프라인을 잊고, 15분만에 실전용 에이전트 구축하기 핵심 요약

• 이 영상은 Contextual AI 사의 Rajiv Shah와 Nina Lopatina가 RAG(Retrieval Augmented Generation) 파이프라인의 전통적 구축 방식의 비효율성을 지적하며, 15분 내에 사용 가능한 실전형 RAG 에이전트 구축법을 데모와 함께 직접 안내
• Contextual 플랫폼을 활용하면 개발자가 개별 벡터 DB, 임베딩, 추출 파이프라인 등을 직접 구축•운영할 필요 없이, RAG를 “매니지드 서비스”로 신속하게 활용 가능
• 영상에서는 RAG 에이전트를 직접 만들어, 엔비디아 재무제표 등 실제 문서를 업로드/처리하고, 테이블 연산 및 데이터 해석 등 다양한 질의·응답 과정을 시연
• Contextual 플랫폼은 비개발자도 다양한 문서의 Q&A를 손쉽게 구현할 수 있는 “노코드” 사용법과, 개발자를 위한 유연한 엔드-투-엔드 설정 기능(추출, 리트리벌, 리랭킹 등)을 모두 지원
• 고도화된 문서 추출(구조+내용 파싱, 이미지 캡셔닝, 테이블 분석), 하이브리드 검색(BM25+임베딩), 독자 개발한 instruction-following 리랭커, 자신들이 직접 학습한 “그라운드” LLM 등을 결합해 신뢰도 높은 RAG 응답 제공
• 실제 사례로 Qualcomm 등 기업의 웹사이트에 컨텍스추얼 에이전트가 적용되어 있고, 금융/문서 데이터 워크플로우 자동화 등에 활용 중
• 실시간 데모를 통해, 엉뚱한 상관관계(Spurious Correlations) 문서를 기반으로 챗GPT 등과의 답변 차별성(사실 기반 엄수, 맥락 파악)을 체감 가능하게 함
• 각 RAG 단계(문서 추출, 쿼리 리포뮬레이션, 리트리벌+랭킹, LLM 생성, 평가)에 대해 돋보이는 모듈화 및 API 연동, 그리고 LMUnit 기반 자연어 단위테스트 등 평가 자동화 기능 제공
• 인프라(VPC 배포, SaaS, Snowflake 파트너십), 보안(HIPAA 인증), 엔터프라이즈 맞춤 서비스, 가격정책(Pay-per-use, $25 크레딧 제공) 등 실전 배포와 스케일까지 전과정 지원
• Q&A 세션을 통해 스케일링, 보안, 도메인 특화, 권한관리, 인터넷 크롤링, 동적 플로우 등 현장 실무자 주요 이슈와 해결 방안 상세 논의

세부 요약 - 주제별 정리

RAG 파이프라인 구축은 매니지드 서비스로 전환되어 누구나 쉽게 시작할 수 있음

• 과거에는 RAG 시스템을 직접 구성(LLM 훈련, 벡터 DB 구축, 추출/리트리벌 파이프라인 개발)해야 했으나, Contextual은 이를 클라우드 기반으로 완전 매니지드로 제공
• 비전문가도 노코드 GUI로 문서 업로드~Q&A 활용이 가능하며, 개발자는 파이프라인 각 단계를 상세 설정하거나 독립 모듈(추출, 리트리벌, 리랭킹 등)만 사용할 수도 있음
• 기존에 RAG를 자체 구축/운영하던 개발자도 원하는 특정 컴포넌트만 Contextual API로 적용 가능, 벡터DB 등의 요소 교체 탄력 제공
• 복잡한 배포, 벡터 저장소 관리, 스케일링 부담을 덜고 빠르게 서비스 수준의 에이전트 구축이 가능함을 반복적으로 강조

데이터 업로드와 문서 파싱, 다양한 형태의 엔터프라이즈 문서에 최적화되어 있음

• 실습 데모에서는 엔비디아의 실제 재무제표 PDF, 스퓨리어스 코릴레이션 데이터 등 다양한 문서를 업로드하고, 데이터 저장소로 처리하는 과정을 단계별 시연
• 플랫폼 내 문서 업로드 후, 고품질 파싱 결과를 GUI 및 API 양쪽에서 즉시 확인 가능
  • 이미지, 테이블, 도표 등 멀티모달 문서도 구조 정보(섹션 계층, 표 구조 등) + 내용이 JSON/마크다운 형태로 정밀 추출
  • 테이블 추출 모드는 값의 정합성 및 형식 준수에 중점, 이미지 캡셔닝과 바운딩 박스 좌표 제공
• 문서의 메타데이터(작성일, 파일명 등) 자동 추출 및 활용, 추출 오류가 향후 처리에 악영향을 주므로 신뢰성 높은 파서 확대 필요성 강조

다양한 쿼리와 응답에서 “팩트 기반” 중심의 우수한 성능을 체감할 수 있음

• 실제로 Q&A 챗봇을 만들고, “엔비디아 22~25년도 연매출”, “데이터센터 매출과 게임 매출 역전 시점” 등 실질적인 업무 질문 실행
  • 분산된 다수 문서에서 필요한 정보를 추출하여 통합 응답(예: 여러 파일의 표에서 연매출 연산)
  • 각 응답에는 참조 문서 직접 연결(숫자 표시 클릭 시 실제 근거 슬라이드, 도표, 이미지 확인)
• “관습적 통념에 어긋나는” 데이터(예: 해왕성과 태양 거리와 미국 절도율 상관관계 등)를 활용한 스퓨리어스 코릴레이션 테스트
  • RAG 시스템은 실제 문서의 수치(상관계수)와 맥락(데이터 드레징 등 부적합성) 동시 제시
  • 기존 ChatGPT 등 LLM과는 달리, 문서 근거가 명확하면 conventional wisdom을 “무시”하고, 근거 없는 경우 답변 거부/회피
• 쿼리를 API에서도 동일하게 제출 가능하며, 검색 문서/근거 소스까지 시각화하거나 프로그램적으로 관리

고도화된 쿼리 처리, 검색 및 리랭킹 설정으로 개발자 요구에 맞춤형 튜닝 제공

• 에이전트 관리자 패널에서 다양한 쿼리 처리 옵션 제공:
  • 다중 데이터 저장소 연동, 시스템 프롬프트 수정(API로도 가능), 쿼리 확장/디컴포지션, 리트리벌 세팅, 리랭커/필터링 커스터마이즈
  • UI에서 파라미터 조정 및 유저 경험(추천 쿼리 제시 등) 세밀 조정
• 쿼리 리포뮬레이션: 전문 용어, 약어가 많거나, 복문 쿼리에 대해 쿼리 분해/재작성 및 재구성 가능
• 하이브리드 검색: BM25(전통적 키워드 매치)와 임베딩 기반 세만틱 유사도 동시 활용, 데이터스토어 필터로 특정 브랜드/도메인 정보만 검색 제한 가능
• 자체 개발한 instruction-following 리랭커 모델로, 최근성, 특정 프롬프트 등 맥락 지시를 따르는 리랭킹 가능
  • 예: “Apple 관련 최신 문서만 리트리브” 등 프롬프트화된 리랭킹

“그라운드” LLM 이용으로 주요 환각(헛소리) 문제를 원천 차단

• 기존 GPT, Gemini 계열 장모델이 자신의 사전지식을 근거 없이 활용하는 것과 달리, Contextual은 특정 도큐먼트 기반 그라운드 LLM을 직접 개발해 내재화(근거 맥락만으로 대답)
  • LLM은 자체적으로 “팩트 대 코멘터리”(fact vs. commentary)를 구분하여 필요하다면 팩트 답변만 산출하도록 세팅 가능
• 응답의 각 문장(Claim)에 대해 자동으로 “Groundness Check”(실제 근거 문서 존재 여부 확인) 실시, 직접 UI에서 해당 문구 노란색(헛소리)으로 즉시 표기
• 클레임 단위 자동 분해 AI모델로 각 답변 문장이 실제 문서에 근거하는지 score 산출 및 실시간 시각화 가능

모듈화 및 독립 컴포넌트 API/SDK 제공으로, 개발자 중심 확장성 확보

• 파싱(문서 추출), 리랭킹, Grounded LLM, LMUnit(평가) 등 주요 컴포넌트는 독립 사용 가능
• API, Python/JavaScript SDK 등으로 개별 기능만 외부 서비스와 연동하거나, 기존 에이전트에 탑재 가능
• 기업 워크플로우, 자체 프론트엔드 등과의 통합, 커스텀 코드 삽입 등 높은 유연성 보장

평가 자동화 및 품질 개선 프로세스를 패키지로 지원(LMUnit 활용)

• LMUnit: 자연어 기반 단위 테스트 용 Fine-tuned 모델(Flask/BigGenBench 등 SOTA 성능), 각 프롬프트+응답에 대해 세부 평가 항목별(정확성, 인과관계, 다문서 비교, 한계 인정, 근거 인용, 불필요 정보 미포함) 점수(1~5점) 자동 산출
• 실제 실습에서는 엔비디아 매출 쿼리 등 6문항에 대해 각종 평가 항목별 스코어 기록, 레이더차트 시각화
• Unit test 결과에 따라 시스템 prompt/파라미터 업데이트로 실시간 성능 개선이 가능하도록 API 제공
• 대규모 평가세트/클러스터링 분석 등 고도화된 QA도 지원, 반복적인 에이전트 개선 가이드 제공

엔터프라이즈 배포, 보안, 인프라 요구까지 전방위적 지원

• SaaS 제공 외에도 Snowflake 클라우드 파트너십, 고객 VPC 설치(프라이빗 클라우드), HIPAA 인증 등 엔터프라이즈 배포/보안 요건 충족
• 민감 데이터, 권한 관리(Entitlements), 빈번한 도큐먼트 업데이트 지원(Continuous Ingestion), 대규모 문서/스케일 최적화
• 권한 레이어 개발 예정, 사용자별 문서 접근 제한, 로그 분석, 거버넌스 요구 반영
• 스크래핑, ETL, API 연동 등 다양한 데이터 소스 인게스트/동기화 지원 예정(2~3개월 내 SaaS-DaaS 자동 데이터 인게스트 기능 출시 예고)

실시간 데모 및 실제 적용 사례, Q&A로 실무 적용 방향 구체 안내

• Qualcomm 등 실제 B2B 고객 웹사이트 라이브 적용 중; FAQ챗봇, 자동 워크플로우 등 엔터프라이즈 활용 다수
• MCP(멀티 클라이언트 프로토콜) 통합: Clou, Cursor 등 3rd party 데스크톱 클라이언트와 연동하여 에이전트 질의 가능
• MCP 서버 github 오픈 저장소·동영상 제공; config 파일 지정으로 각종 클라이언트와 쉽게 연동
• 개별 기능별 Pay-per-use 요금(토큰 단위/문서/쿼리 기반), $25 크레딧 즉시 지급

실시간 Q&A에서 스케일, 도메인 특화, 데이터 거버넌스, 최신 기술 동향 등 심도있게 다룸

• 수만~수십만 문서도 스케일 문제 없이 지원(실제 Qualcomm 사례), 고부가가치 엔터프라이즈 B2B 지원
• VPC 배포·SaaS, 미래엔 AWS GovCloud/퍼블릭 클라우드 지원 검토 중(프로덕트 팀 직접 컨설팅 및 딜도 가능)
• 도메인 특화 대응: System Prompt 조정, 필요시 언어모델 파인튜닝, 전문 용어/데이터에 따라 고객사 ML엔지니어팀 직접 서포트
• HR•고객지원 등 권한관리(Entitlements) 기능 구축 중, 문서별 접근 제한/머스킹/개인정보(PII, PHI) 필터링 등 맞춤형 지원
• 자주 업데이트되는 문서는 Continuous Ingestion, Web crawling/pipeline 연동
• 복수 통계치/값이 혼재된 문서의 경우 메타데이터 바탕 최근성·신뢰도 필터링 추천
• 최근 6개월간 주요 변화로 비전-랭귀지 모델 발전, 리랭커의 성능 급상승, 정적 파이프라인→동적 플로우(모델 라우팅/멀티스텝 추론) 등장 등 최신 RAG 트렌드 제시

다양한 도구 및 지원 문서, 사용자 중심의 접근성과 개선 지속 강조

• 공식 홈페이지/깃허브/API문서/예시 노트북(통합/부분 컴포넌트, 평가, MCP 연동 등) 풍부히 제공
• 실시간 실습, 설문조사 참여, 실제 현장 피드백 적극 반영(Feedback→제품 반영), 신규 요구사항도 이메일/Docs 채널로 즉시 개발팀에 전달
• 사용 편의성 향상 및 문제 발생시 즉각 대응(현장 엔지니어/솔루션 아키텍트 상주)