Skip to content
Go back

Information Retrieval from the Ground Up - Philipp Krenn, Elastic

Published:  at  05:18 PM
YouTube Thumbnail

영상 링크: Information Retrieval from the Ground Up - Philipp Krenn, Elastic
채널명: AI Engineer

기초부터 시작하는 정보 검색 - Elastic의 Philipp Krenn 핵심 요약


세부 요약 - 주제별 정리

RAG에서 “R(검색)“에 집중하여 검색 기술의 근본을 탐구함

검색의 기본 원리: 토크나이즈, 전처리, 오프셋·포지션 저장의 목적과 데이터베이스와의 차이

불용어(stop word) 및 텍스트 전처리의 중요성과 예외 상황

색인(mapping) 생성 및 실제 데이터 저장 예시, 토크나이저/분석기 커스터마이징

인버티드 인덱스(inverted index)라는 자료구조의 원리와 검색의 효율성 확보

키워드 검색의 한계: 동의어, 복합어, 오탈자(fuzziness), ngram, 언어별 특성과 도구 활용

TF-IDF, BM25 기반 점수 산정 원리와 점수의 상대성·한계

심화 검색: 구(search phrase), 슬롭(slop), 오탈자, 리랭킹 등 고급 기능과 한계

의미 기반 검색의 도입: 임베딩 기반 벡터 검색, 스파스/덴스 벡터, 모델 특성 및 동작 원리

벡터 검색과 하이브리드 검색의 조합, 그리고 랭킹 전략의 실제 적용 및 트레이드오프

Chunking(텍스트 분할)과 대규모 문서/분산 환경에서의 검색 처리 전략

최신 ElasticSearch 기능: 파이프(pipe) 기반 쿼리 언어, API 사용, 다중 검색 방법 지원

실제 운영 및 데이터 적재 관리: 문서 고유 ID, 중복 방지, ElasticSearch 내부 구조 및 성능 논의

검색 품질 평가 및 검색 서비스 튜닝의 실무적 함의

Q&A로 마무리하며, Elastic 최신 기능 및 추가 자료 안내


수정 요청하기

Previous Post
A2A & MCP Workshop: Automating Business Processes with LLMs - Damien Murphy, Bench
Next Post
Waymo's EMMA: Teaching Cars to Think - Jyh Jing Hwang, Waymo