Books reimagined: use AI to create new experiences for things you know - Lukasz Gandecki, Xolvio

영상 링크: Books reimagined: use AI to create new experiences for things you know — Lukasz Gandecki, Xolvio
채널명: AI Engineer

AI로 책을 재창조하다: 익숙한 것에 새로운 경험을 더하는 방법 핵심 요약

• 발표자인 루카쉬 간데츠키는 어려서부터 프로그래머로 활동해 왔으며, 최신 프로젝트 ‘Books Reimagined’에 대해 소개함
• AI를 활용해 ‘이미 익숙한 책’을 새로운 방식으로 경험할 수 있도록 도와주는 도구 개발 경험을 공유
• 첫 시도는 너무 많은 캐릭터가 등장하는 도널드 트럼프 재선 관련 서적을 읽으며 이해를 돕기 위해 AI 동반 애플리케이션을 만든 것에서 시작됨
• 이 애플리케이션은 등장인물 정보를 이미지와 함께 해당 페이지 상황에 맞게 요약해 제공
• 이후 ‘눈의 여왕’, ‘1984’ 등 다양한 책에 적용, 사용자가 음성으로 장면 설명을 즉시 물어볼 수 있음(응답 딜레이 약 100ms)
• 기존 검색과 달리 AI Embedings 기반의 의미적 검색 및 전체 맥락 기반의 질문·요약 기능이 도입됨
• 개발 과정에서 AI를 통한 급속 반복 개발과 코드를 쉽게 버릴 수 있는 자유로움이 강조됨
• ‘AI+인간’ 협업을 통해 책에서 음악, 그래픽, 아바타 등 몰입형 경험을 제공하며 AI 역할을 사용자에게 감추는 방식 선택
• 음악 및 그래픽 생성, 장면·등장인물 분석 등 구조화된 메타데이터 생성에 LLM 등 최신 AI기술 활용
• 누구나 이러한 ‘넷플릭스 스타일 도서 경험’을 만들 수 있도록 플레이어 오픈소스화 계획 발표

세부 요약 - 주제별 정리

AI 기반 책 경험의 필요성은 이해 어려운 실제 독서 경험에서 출발함

• 발표자는 미국인이 아니어서 도널드 트럼프 재선 관련 책의 인물 구조나 맥락을 쉽게 파악하지 못했다고 밝힘
• 인물이 너무 많아 혼란을 겪은 상황에서 직접 정보를 정리하는 애플리케이션을 급히 개발
• 이 애플리케이션은 각 페이지에 등장하는 인물의 이미지를 수집 및 요약 정보를 함께 제공함
• 검색 기능 중심이 아닌, 맥락 인지와 정보 요약에 초점을 둔 AI 활용 사례임
• 이후 약 한 달 만에 이 단순한 도구가 전혀 다른 형태의 인터랙티브 북 경험으로 발전하게 됨

오리지널 AI책 경험은 음악, 음성, 즉각적 설명 등 다양한 감각을 결합함

• 최초의 데모는 ‘눈의 여왕’이라는 동화에 적용됨(폴란드어 버전)
• 책의 장면 진행에 따라 자동적으로 배경음악이 흐르고, 텍스트를 따라 화면 연출이 변화함
• ‘거울이 부서져 현실이 왜곡되는’ 장면 등 중요한 포인트에서 시각과 청각 효과로 몰입을 높임
• 새로운 영어 버전 데모에서는 ‘1984’를 활용하여, 사용자가 음성 노트를 통해 “이 장면에서 어떤 일이 일어나는가?”와 같은 질문을 책에 즉시 할 수 있게 구현
• 기존의 대부분 음성 어시스턴트(Google, Siri 등)는 응답이 느리거나 부정확하지만, 이 시스템은 100ms 내 신속 답변 제공
• 사용자는 언제든 “마지막 질문과 지금 사이에 어떤 일이 있었나?” 등 진행 상황 요약을 받는 것도 가능함

의미적 AI 검색과 요약은 독자가 실제로 필요로 하는 정보를 찾게 함

• 전통적인 검색(Exact Search)은 책의 페이지 기억에 의존하지만, 인간 독서는 전체 맥락/장면 중심임
• AI 임베딩 검색을 통해 “윈스턴이 오브라이언을 처음 만난 장면”과 같이 의미 기반 찾기가 용이해짐
• 이렇게 원하는 장면을 빠르게 찾고 다시 독서 위치로 원활하게 복귀 가능
• 특정 키워드 검색뿐 아니라, “당의 선전 방식 전체에 대해 설명해줘” 등 전체 맥락을 읽고 요약하는 심화 질의 기능도 지원
• 이러한 딥서치 기능은 책을 전부 읽어야 한다면 수 분이 소요될 수 있지만, 독서 경험을 혁신적으로 변화시킴

AI코딩 방식은 빠른 아이디어 실험에서 점진적 구조적 개발로 진화함

• 초기 개발은 VanillaJS 기반의 혼란스런 코드였으나, 이는 아이디어 실험에 적합한 환경이었음
• 명확한 요구사항 정의보다는 AI를 통해 구현→실행→빠른 피드백→다시 반복 방식이 효율적임을 설명
• 특히 AI가 작성한 코드는 쉽게 폐기 및 재작성할 수 있어 ‘코드 투자 집착’에서 해방감을 느낌
• 프로젝트 진행 단계가 반복될수록 더 이상 전체 코드 리라이트가 필요 없어지고, 점점 안정화됨
• 어느 시점부턴 테스트, 리팩토링 등 전통적 엔지니어링도 자연스럽게 병행

리팩토링은 코드의 ‘나쁨’보다는 실제로 ‘뚜렷한 불편’에 초점을 맞출 때 효과적임

• 발표자는 ‘못생기고’ ‘불편한’ 코드라도 실제 문제가 되지 않는다면 굳이 손대지 않음
• 예시로, OpenAI 오디오 처리 코드(JavaScript, 타입 미지정, 난해)도 전혀 손대지 않고 유지 중
• “코드의 나쁨 x 고통도 x 손쉬움” 등 여러 요소를 복합적으로 고려하여 리팩토링 여부를 결정함
• 불필요한 리팩토링보다는 실질적인 문제 해결에 리소스를 투입할 것을 권장

‘AI책’ 서비스는 챗GPT 래퍼, 이미지 생성기, 수준 낮은 음성봇과 본질적으로 다름을 지향함

• 대부분 AI 서비스가 챗GPT 프론트엔드, 이미지 생성 등 단일 AI 기능 래퍼에 집중됨을 비판
• 구글, 시리 등 대다수 음성 어시스턴트는 오답, 지연, 불연속적 상호작용 등으로 ‘쓸모 없음’ 수준이라 평가
• Books Reimagined 팀은 AI적 요소를 사용자에게 드러내기보다 ‘보이지 않게’ 통합, 자연스럽게 경험을 극대화
• 실제 책 작업시에도 AI가 1차 드래프트를 제작하고, 사람이 반드시 최종적 감성과 품질을 조율
• “음악, 그래픽, 아바타의 품질 판단은 결국 인간이 필요하다”라는 점 강조

몰입형 북 경험은 음악·시각·검색이 결합된 새로운 감정적 만족을 제공함

• 음악은 장면과 감정을 극대화해주는 주요 요소임을 설명
• 아름다운 그래픽은 독자의 몰입과 등장인물 회상에 도움을 줌
• “책 읽기는 평생 익숙한 것이지만, AI에 의해 완전히 새로운 경험이 가능해졌다”고 주장
• 기존에는 친구에게 줄거리나 인물 질문을 할 순 있어도, 24/7 실시간, 맥락·스포일러 없는 답변은 불가했음
• 자연어 기반의 노출없는 검색, 이미지를 통한 뇌리 각인, 음악·그래픽 통한 영화적 경험까지 융합

대규모 AI 기술 결합 및 ‘메타데이터’ 자동 생성이 책 경험 혁신의 뼈대임

• LLM(대형언어모델)을 활용해 각 장면의 맥락, 인물, 장면 내 감정 등을 자동 분석
• 예시) 셜록홈즈 시리즈에서는 “빅토리아 시대 런던, 누아르 분위기, 슬픈 톤” 등 전체 음악 테마를 AI에게 지정
• AI가 각 장면별 무드, 등장인물 감정 등을 분석해 그에 맞는 음악/아바타 생성
• 구조화된 XML 메타데이터로 각 페이지의 등장인물, 아이템, 분위기 등을 정리
• 인간이 손쉽게 활용할 수 있는 데이터로 책 전체를 실시간 매핑 가능

전통적 제작 방식으론 불가능했던 ‘몰입형 도서’가 AI 덕분에 현실이 됨

• 책마다 모든 음악, 이미지, 메타정보를 수작업하면 최소 수십~수백만 달러 소요되므로 현실적으로 불가
• AI는 규모의 경제를 실현, 대량 제작과 신속 반복이 가능함
• “수천년 동안 책을 이렇게 읽거나 만드는 것은 불가능했다”는 점을 강조

모두를 위한 ‘인터랙티브 도서 플레이어’ 오픈소스 공개 의지 표명

• Books Reimagined 팀은 ‘넷플릭스식 몰입형 도서 경험’ 구현이 모두에게 열려 있음을 강조
• 누구나 독자적으로 다양한 책에 음성, 음악, 그래픽, 검색을 추가 가능하도록 플레이어를 오픈소싱할 것임을 발표
• 책을 사랑하는 사람들이 AI 기술에 접목해 또 다른 가치를 창출하길 격려하며 발표 종료

요약 및 발표 마무리는 오픈소스, 협업, 경험 중심의 AI 활용 가능성에 초점이 맞춰짐

• 발표자는 ‘슬라이드가 아니라 실제 동작하는 AI 경험’을 중요시한다는 의지를 밝힘
• 새로운 AI 경험을 만들고자 하면 직접 연락하라는 마지막 안내와 함께 발표를 마침
• 발표 관련 참고 사이트(bookgenius.net) 등 언급