Building a Smarter AI Agent with Neural RAG - Will Bryk, Exa.ai

영상 링크: Building a Smarter AI Agent with Neural RAG - Will Bryk, Exa.ai
채널명: AI Engineer

신경망 기반 RAG로 더 스마트한 AI 에이전트 만들기 핵심 요약

• 본 영상은 1998년 구글의 키워드 검색의 한계부터 시작해, 신경망 임베딩을 이용한 Exa.ai의 차세대 검색엔진 개발 스토리를 담고 있음
• 발표자는 2021년 GPT-3의 등장을 계기로 자연어 이해와 트랜스포머 기술을 검색엔진에 적용하는 아이디어를 품고 Exa 팀을 창업
• 기존 검색엔진이 키워드 기반 인덱싱 및 비교에 의존하는 반면, Exa는 웹 문서 전체를 임베딩으로 전환해 의미 기반의 유연하고 깊이 있는 검색을 구현함
• GPT-4 같은 LLM들의 매개변수 용량(몇 조 파라미터, 가중치 수십TB 이하)은 인터넷 전체 용량(수백만 TB~엑사바이트)에 비해 한참 작아, 웹 검색 기능의 필요성을 수치로 설득
• 인간 사용자를 위해 최적화된 기존 검색엔진(구글, Bing 등)은 AI 에이전트의 정보 탐색·활용 방식과 맞지 않음을 강조
• AI는 방대한 컨텍스트와 장문의 쿼리, 수천~만 건의 결과를 실시간 흡수·처리할 수 있어 Exa는 이를 위한 상세 API와 필터 기능을 제공
• 2022년 Exa는 의미 기반(semantic)·복합 쿼리 처리를 선보이며, 웹을 데이터베이스처럼 다루는 혁신적 검색 모델을 제시
• 데모 코딩에서는 Exa API에 기반하여 ‘엔지니어 개인 사이트 찾기’, ‘깃허브 정보 수집’ 등 다양한 방식의 신경망/키워드 검색 조합을 구현
• Exa의 Research API 출시로 구조화된 리포트·심층적 정보 수집까지 AI 에이전트에 완전한 제어권을 제공하는 목표를 내세움

세부 요약 - 주제별 정리

23년 전 구글 키워드 검색은 정보 검색의 패러다임을 만들어냈으나, 한계 역시 명확함이 드러남

• 1998년 구글 검색은 키워드 입력 → 키워드가 포함된 웹 문서 목록 추출이 주된 방식이었음
• 핵심 혁신은 PageRank 알고리즘으로, 하이퍼링크 구조를 통해 ‘문서의 권위’를 평가하여 랭크함
• 구글 검색은 당시로선 혁신적이었으나, 근본적으로 인간이 입력하는 단순 키워드, 그리고 이에 대한 표면적 일치 결과가 전부였음

GPT-3의 등장은 검색엔진의 본질적 혁신 가능성을 보여줌

• 2021년 GPT-3가 공개되며 단락 단위의 자연어 입력에 대해 깊은 의미를 이해해 세련된 출력을 내놓는다는 점에 감명받음
• 반면 동시대의 구글은 ‘shirts without stripes’처럼 부정적 의미가 포함된 쿼리에서도 제대로 된 결과를 내지 못했음
• 이를 계기로 발표자는 자연어를 깊이 이해하면서, 동시에 웹 전체를 심층적으로 분석·검색하는 새로운 엔진의 필요성을 느낌

기존 검색엔진이 키워드 인덱스를 활용하는 점은 AI 시대엔 한계로 작용함

• 전통적 검색엔진은 웹의 수조 개 문서를 ‘키워드’ 단위로 인덱싱하여, 쿼리 시에는 키워드 대응 결과만 우선 선별함
• 이는 복잡한 의미, 부정·맥락 등 인간 언어의 섬세함을 포착하지 못함
• ‘shirts without stripes’ 같이 상호배타 혹은 다단계 논리가 필요한 쿼리엔 미흡함이 강조됨

트랜스포머 임베딩 기반 검색엔진은 의미·문맥·참조까지 포괄적으로 이해함

• Exa.ai는 각 문서를 임베딩(벡터)로 변환함으로써, 단어(키워드)가 아니라 의미·아이디어·상호 참조관계까지 수치로 담아냄
• 임베딩은 크기와 정보량이 확장 가능하며, 품질 높은 데이터 축적·모델 고도화에 따라 현격히 발전
• 쿼리 역시 임베딩 공간에 맵핑되어 의미상 가장 가까운 문서들을 추출하는 방식임
• WDB(내부 프로젝트) 트레이닝 과정에서 핵심적 성능 도약(그래프 상의 ‘퍼플 라인’) 사례를 언급

LLM은 웹 전체를 ‘암기’할 수 없음: 정보 이론적 한계와 실측 숫자를 통해 설득함

• GPT-4 등 거대 언어 모델의 파라미터 수(수조개)는 결국 수 TB~최대 수십 TB의 정보를 내포
• 웹(텍스트 데이터) 전체 용량은 이미 수백만 TB~엑사바이트(exabyte) 수준으로, 모델 내에 포함될 수 없음
• 이미지·동영상까지 포함하면 더욱 방대하며, 끊임없이 갱신되어 LLM 자체로는 최신성·포괄성을 유지할 수 없음
• Exa명의 의미(엑사바이트에서 따옴)도 이에 연결됨

AI를 위한 검색엔진은 기존과 전혀 다른 표준, 인터페이스, 결과 방식을 필요로 함

• 기존 검색엔진은 ‘느리고 귀찮은 인간’ 사용자를 염두에 두고 설계됨: 간단한 키워드, 제한된 클릭, UI.
• AI는 장문의 쿼리, 높은 정보 밀도, 방대한 결과(몇 천~몇 만건)도 실시간으로 소화
• 예시로 VC 투자사 AI가 “Bell Labs 같은 혁신 기업 리스트” 쿼리를 던졌을 때, 기존 검색은 정보 밀도·정확성 모두 부족
• AI용 검색엔진은 ‘딱 요구한 것’만 정확히, 방대한 양을, 의미 기반으로 즉시 제공해야 함

AI는 풍부한 컨텍스트·장문 쿼리 및 완전 제어 가능한 API를 요구함

• AI 어시스턴트가 ‘사용자의 특성·취향’ 등 다양한 맥락을 수천자에 담아 검색할 경우, 기존 엔진은 이를 받아들이지 못함(구글 쿼리 길이 수십 단어 제한)
• Exa는 수백~수천 단어의 쿼리(멀티 패러그래프)도 자연어 의미 단위로 처리 가능
• API는 결과 개수, 날짜 범위, 도메인 한정, 검색 방식(신경망/키워드) 등 다양한 토글을 제공
• AI가 복합 쿼리, 필터 적용, 반복·조합 탐색을 자유롭게 구현할 수 있도록 설계됨

의미 기반 쿼리, 복합 논리 쿼리 등 AI 시대의 새로운 검색 요구를 충족시킴

• Exa는 “San Francisco에 거주하며 어셈블리를 아는 사람”, “X를 주장하고 Y는 반대하는 Z의 기사” 등 기존 엔진이 수용 못하는 복합·의미 쿼리를 처리
• ‘웹을 데이터베이스처럼’ 필터→정렬→추출하는 복잡한 조작이 가능하도록 지원(웹을 쿼리 가능한 DB로 전환)
• 매주 새로운 형태의 쿼리가 등장하고 있으며, Exa는 지속적으로 새로운 쿼리 유형 수용을 목표로 함

Exa API의 다양한 기능과 검색 방식 조합으로 AI 에이전트 개발이 더 유연해짐

• 데모(코딩)에서는 Exa의 대시보드·API를 활용해 쿼리 작성, 결과·코드 확인 등 인터랙티브하게 설명
• AI 에이전트 ‘Mark’는 입력된 내용을 마크다운으로 변환해주는 기능을 담당
• “샌프란시스코 엔지니어 개인 사이트”와 같은 신경망 검색, “GitHub 정보” 같은 키워드 검색을 조합해 결과를 도출
• 복합 검색: 예를 들어, 첫 단계로 신경망 검색→이름 추출→각 인물별로 키워드 검색(깃허브 등) 등의 체인을 구성
• API는 엔터프라이즈 플랜일 경우 수백~수천 건의 대량 결과 제공도 가능

대규모 심층 리포트·연구 API 등 차세대 자동화형 정보 수집이 가능해짐

• Exa는 새롭게 Research API를 런칭, AI 에이전트가 목표에 따라 자동으로 복수의 검색·LLM 호출을 수행해 완성형 구조화 결과 리포트까지 생성
• “최첨단 딥 리서치 API”를 표방하며, 인간의 반복적 수작업 없이 자동적이고 정확도 높은 자료집약이 가능

Exa의 비전은 ‘웹의 모든 정보를 AI가 원하는 방식대로, 한 API로, 자유롭게 활용하게 하는 것’임

• 키워드/의미/복합 검색이 모두 한 API 토대로 통합 제공되는 것을 강조
• AI 에이전트의 본질적 정보 활용·탐색 능력을 극대화, 차세대 AI 서비스의 기반이 되는 것을 궁극적 목표로 함