영상 링크: Small Bets, Big Impact Building GenBI at a Fortune 100 – Asaf Bord, Northwestern Mutual
채널명: AI Engineer
Fortune 100 기업에서 GenBI 구축: 소규모 시도로 큰 영향 만들기 핵심 요약
- GenBI(Generative AI + BI)는 데이터 기반 질문에 BI 전문가처럼 대응하는 에이전트로서, 데이터 민주화를 목표로 개발됨
- Northwestern Mutual(160년 전통의 금융·보험사)의 대규모 실제/복잡한 데이터를 기반으로 프로젝트 추진
- 데이터 접근성 확대, BI팀 의존도 감소, 실제 현업 사용자의 전문성/참여를 통한 검증 및 요구 확보를 중시함
- 리스크가 높은 환경에서 신뢰 확보·예산 투입을 위해 점진적·단계별 개발 및 지속적 사업적 성과 도출 전략 적용
- 초기 프로토타입 단계부터 실제 데이터 사용, 현업 전문가의 실질적 피드백 수용, 사용자 요구/질문 데이터 반영
- 최종 목표는 자연어 질문→정확한 데이터 답변, 점차 고도화된 BI 에이전트(메타데이터 수집·맡은 역할별 접근·SQL 자동 생성 등)
- GenBI 프로젝트에서 각 단계별(예: RAG 추출·보고서 매칭·메타데이터 정제)로 별도 제품화 및 비즈니스 성과 측정
- 예시: RAG 에이전트 도입만으로도 BI팀 업무의 20% 자동화, 약 2명 분의 연간 인력 비용 절감 효과
- 추후 Databricks Genie 등 외부 솔루션 도입 평가에 내부 기준/벤치마크 확보, 대체시 위험 최소화
- GenAI/SaaS 시대의 소프트웨어 가격 책정 방식 변화(Seat 기반에서 Value/Usage 기반으로)가 경제 전반에 미칠 영향 지적
세부 요약 - 주제별 정리
GenBI는 BI와 생성형 AI의 융합으로, 데이터 민주화를 실현하는 것을 목적으로 함
- GenBI는 Generative AI와 BI(Business Intelligence)의 합성 개념으로, 생성형 AI 에이전트가 데이터 기반 비즈니스 질문에 답할 수 있도록 설계
- 기존 BI팀에 의존하지 않고, 사용자가 데이터에 직접 빠르게 접근해 실질적인 비즈니스 인사이트를 얻을 수 있도록 지원
- 실제 비즈니스 상황에서 수시로 발생하는 질문에 대해, 기존 BI 보고서나 데이터베이스를 활용해 적합한 답변 제공
- 프로젝트의 핵심 목적은 대기업 환경에서 데이터 민주화를 실질적으로 달성하는 것
NorthWestern Mutual이 GenAI 프로젝트 시범 무대로 적합하면서도 고난도 환경임을 설명함
- NorthWestern Mutual은 160년 전통의 대형 금융/보험/자산관리 기업으로 방대한 데이터와 다양한 실제 활용사례 보유
- 업계 최고 수준의 인재들을 보유하고 있어 AI 프로젝트 추진에 강점
- 반면, 회사의 핵심 가치는 ‘세대 책임’(generational responsibility)으로, 장기 신뢰와 안정성이 무엇보다 중요
- 보험상품은 수십 년 단위 약정(20, 40, 80년 등)이 많아, 시스템 안정성과 리스크 회피가 경영 DNA임
- 혁신과 안정성을 어떻게 균형 있게 가져갈지가 가장 큰 과제
실제 복잡한 사내 데이터를 활용해 실전적 챌린지와 이점을 동시에 체험함
- 외부에서 클린징 또는 합성된 가공 데이터를 쓰지 않고, 실제로 “지저분한” 내부 데이터 사용에 초점
- 프로토타입(PoC)이나 데모 상에서는 제작이 쉬울 수 있으나, 실제로 프로덕션 환경에선 데이터의 복잡성이 매우 높은 것이 현실임
- 실 데이터 활용이 성공적이라면, 실제 도입 가능성 및 성공 확률이 현저히 올라간다는 자신감 확보
- 현업 사용자가 실질적으로 데이터를 다루는 과정에 직접 참여하여, 주제 전문가(SME)의 검증과 실제 사용자 피드백을 동시 반영
- 업무 흐름상 자주 이루어지는 실제 Q&A 사례 수집 및 검증 과정을 통해, 연구와 비즈니스의 일체화 유도
신뢰성 부족(Blind Trust Bias)과 도입 컨센서스 구축을 위한 단계별 전략(크롤∙워크∙런)이 적용됨
- 회사 리더십 및 최종 사용자의 신뢰를 얻는 과정이 가장 큰 장벽
- 초기엔 BI 전문가들만 대상으로, 뒤이어 BI팀과 밀접한 비즈니스 매니저, 최종적으로 높은 관리자까지 점진적 확대 계획
- 각 그룹의 데이터 이해도에 따라 오류 식별 및 피드백 역량, 신뢰 구축 방식이 달라짐
- 첫 단계는 기존 인증된 보고서/대시보드를 빠르게 추천하는 ‘보고서 내비게이션’에 집중하며, 임의 데이터 생성을 배제해 신뢰도를 확보
- 고도의 자연어→SQL 자동화 단계는 장기 목표이며, 고위 임원에게까지 바로 적용이 어렵다는 현실 인식
실제 데이터 기반 시스템 설계가 자연스러운 사용자/조직 통합과 빠른 제품화의 핵심임을 강조함
- 실제로 데이터를 다루는 사용자와 함께 개발/검증을 진행함으로써, 도입 과정에서 조직적 저항 최소화
- 기존 방식(랩실에서 완성 후 일방적 도입) 대신, 현업이 스스로 가치를 체감하고 도입을 ‘끌어당기는’ 구조
- 과제 성숙도에 따라 빠르게 패키징하여, 샌드박스에 국한되지 않고 프로덕션에 신속히 연결
점진적, 가시적 성과를 내는 단계별 연구·개발 전략으로 리스크와 투자 회수 우려를 해소함
- 대규모 예산을 한 번에 투입하지 않고, 각 단계별로 인크리멘탈(Incremental) 비즈니스 가치를 산출
- 매 6주 단위의 스프린트 끝에, 실제 현업 활용 가능한 결과물을 필수적으로 도출해내는 방식을 고수
- 예산·성과·중단 여부를 단계별로 유연하게 조정(중단/확대/제품화 결정 가능)
- 일정 단계 이후 업계 신제품(예: Databricks Genie 등)이 경쟁력을 갖추면 내부 벤치마크/기준에 따라 즉시 대체 가능
- 선행 개발의 경험치 덕분에 외부 벤더 검증·도입시 실질적 평가(벤치마킹·테스트·요구사항 명확화)가 용이
단계별 주요 개발 마일스톤과 그에 따른 비즈니스 임팩트를 구체적으로 제시함
- 1단계: 자연어→SQL 변환 기초, 질문 이해 아키텍처 연구
- 2단계: ‘좋은’ 메타데이터 및 컨텍스트 설계, 이를 LLM에 적합하게 가공
- 3단계: 멀티컨텍스트 의미론적(semantic) 검색/패키징 - 데이터/소유자 찾기, 실제 기업 환경에선 2~4주 소요되는 작업을 자동화
- 4단계: 실시간 경량 데이터 피벗팅 - 보고서 기준 타임라인/그룹핑 등 변경 자동화
- 5단계: 기업 적용을 위한 사용자 권한/역할 체계, 접근 통제 설계
- 마지막 목표: 완전한 BI 에이전트가 기존 보고서를 인용·SQL 자동 쿼리 생성·다중 데이터 연결을 통해 복합 질의도 처리할 수 있게 함
각 개발 단계별 아키텍처와 특징, 현실적 난점 및 성과 수치를 투명하게 공개함
- 주요 아키텍처: 데이터·메타데이터 레이어 → 4종 에이전트(Metadata, RAG, SQL, BI) → 거버넌스/신뢰/오케스트레이션 계층 → UI
- 흐름: 질문 입력 → 오케스트레이터 → (문맥파악, 인증 리포트 recommend, SQL 쿼리 자동화, BI 답변 생성) → 사용자에게 전달
- 각 단계의 에이전트/컴포넌트는 단독으로 제품화·도입 가능하며, 도입 효과를 측정
- 예시: RAG 에이전트 덕분에 10명 규모 BI팀에서 ‘올바른 보고서 추천’ 업무의 20%를 자동화하며, 전체 팀 기준 약 2명분 FTE(정규직) 절감
- 메타데이터 개선의 효과를, LLM 성능 A/B 테스트와 추가적인 의미론적 계층 프로젝트로 리더십에 재입증
Governance, 신뢰성, 보안 아키텍처에 심혈을 기울이며, 외부 LLM/툴과의 한계점도 객관적으로 기술함
- 단순히 ChatGPT 사용이 불가능한 이유: 실제 스키마 구조가 복잡·컨텍스트 파악 어려움, 거버넌스·보안 위협
- 외부 SaaS/워크플로우(예: Databricks Genie) 도입시 내부 개발보다 통제/감시/거버넌스 적용이 어렵다는 현재 인식
- 내부 아키텍처는 질문·보고서·데이터 권한·거버넌스까지 일관된 통제 가능
비즈니스 귀결 및 현재까지의 정량적 성과 데이터를 제시함
- 각 연구 성과나 컴포넌트를 단계별로 ‘포장’해서 실제 현업 업무에 점진적으로 전개
- 도입 효과: 예를들어 RAG 기반 자동화로 BI팀의 매칭 업무의 80%를 처리, 팀 10명 중 약 2명의 전체 업무량을 자동화함
- 메타데이터 강화의 효과는 LLM 퍼포먼스 향상 실험(A/B테스트)로 입증: 가공 전·후 데이터에 질문 테스크를 부여해 차이 수치로 리더십 설득
- 데이터 피벗팅 자동화, 메타데이터·문서화 역량 강화 등은 영구적 생산성 향상 및 추가 프로젝트(시맨틱 레이어)로 확장
프로젝트를 통해 축적된 연구·벤치마크 경험이 타사 솔루션 도입·평가에도 전략적으로 도움이 됨
- 자체 연구·벤치마크 및 실제 PoC 경험 덕분에 외부 솔루션(예: Databricks Genie) 도입 전 사전 성능 기준·테스트케이스 등 명확히 보유
- 실제 필요·기대치에 맞춰 외부를 평가할 수 있어, ‘벤더 홍보 데모’를 비판적으로 심층 검증 가능
- 내부 투자 혹은 외부 대체간 ‘Sunk cost bias’(매몰 비용 효과) 최소화
미래 전망: SaaS/GenAI 시대의 소프트웨어 가격 모델 변화 및 시장 구조 진화가 예상됨
- AI 도입 이후 한 명의 직원이 과거보다 10배의 생산성을 내는 시대, 좌석(Seat) 기반 라이선스 모델의 효율성 의문 제기
- Salesforce의 Data Cloud 등은 이미 유저별이 아니라 사용량/가치 기반(usage/value-based) 가격으로 전환 시도
- GenAI 관련 SaaS에서 소비자 효과·생산성 향상이 실제 가격 정책, 나아가 소프트웨어산업 경제에 변혁 일으킬 전망
결론 및 마무리 멘트
- GenAI와 BI의 결합을 통한 대기업 데이터 활용 혁신 사례를 구체적, 계량적, 단계별로 제시
- 실제 비즈니스 현장과의 연계, 신뢰 기반 도입, 빠른 피드백·가시적 가치 산출이 프로젝트 성공의 열쇠임을 강조하며 발표 종료