How BlackRock Builds Custom Knowledge Apps at Scale - Vaibhav Page & Infant Vasanth, BlackRock

영상 링크: How BlackRock Builds Custom Knowledge Apps at Scale — Vaibhav Page & Infant Vasanth, BlackRock
채널명: AI Engineer

블랙록이 어떻게 맞춤형 지식 앱을 대규모로 구축하는가 핵심 요약

• 세계 최대 자산운용사 블랙록의 데이터팀(Infant Vasanth, Vaibhav Page)이 대규모 지식/AI 앱을 신속하고 효율적으로 구축·배포하는 프로세스를 상세히 소개함
• 내부 포트폴리오 매니저·애널리스트들이 정보의 홍수 속에서 효율적으로 전략을 짜고 실행하기 위해 각 투자 오퍼레이션 분야별 복잡한 맞춤형 내부 툴 필요성이 대두됨
• 블랙록이 해결하고자 한 내부 앱 주요 유형은 ▲문서 추출 ▲복잡한 워크플로/자동화 ▲Q&A 인터페이스 ▲에이전트 시스템 등 총 4개 도메인으로 정리됨
• 실제 업무 케이스로 ‘신규 증권(예: 기업 IPO·주식분할 등) 세팅’ 자동화 사례를 상세히 설명: 수작업 기반 복잡한 프로세스의 AI 전환 시 겪은 난제와 대응 방안 공유
• AI 앱 개발 과정에서 ▲프롬프트 엔지니어링 최적화 ▲LLM 전략 선택(RAG, chain-of-thought 등) ▲문맥 길이 제한 및 다양한 벤더 대응 ▲배포·인프라 선택·비용관리 이슈 등 구체적 문제점과 해법 제시
• 과거 한 개 앱 개발에 최대 8개월씩 소요되었으나, ‘샌드박스+앱 팩토리’ 체계(저코드/노코드 기반 내재화된 프레임워크) 도입으로 며칠 내 신속 개발·배포 가능케 함
• 도메인 전문가(업무 담당자)도 직접 추출 템플릿·프롬프트 수정/관리, 결과 검증, 전체 워크플로 설계 가능하게 되어 개발자와의 협업 속도·효율 대폭 향상
• 앱 배포·운영에서 GPU·버스터블 클러스터 등 사용량/요구사항별 클러스터 전략, 접근제어, 비용통제 등 클라우드 네이티브 배포 요소 적용
• 결론적으로, ▲도메인 전문가를 위한 프롬프트 엔지니어링 역량 투자 ▲LLM 전략/선택에 대한 내부 교육 ▲ROI 평가 및 수작업 대비 이점 검증 ▲휴먼 인더 루프(인간검증) 필수 설계의 중요성을 역설함

세부 요약 - 주제별 정리

블랙록은 대규모·복잡한 투자 운영 도메인에서 맞춤형 지식 앱 구축의 필요성을 강조함

• 블랙록(BlackRock)은 세계 최대의 자산운용사로, 투자관리팀과 오퍼레이션팀 등 다양한 비즈니스 단위에서 대량의 내부 정보를 효율적으로 처리할 필요가 있음
• 포트폴리오 매니저·애널리스트들은 매일 방대한 정보를 분석해 투자 전략을 수립하고 포트폴리오 재조정/매매를 수행함
• 투자 오퍼레이션팀은 데이터 취득, 거래 실행, 컴플라이언스부터 사후 업무까지 모든 실무의 중추적 역할을 담당
• 각 도메인별로 복잡한 업무 로직과 도메인 지식이 필요해, 내재화된 맞춤형 툴(앱) 개발이 필수적임
• 빠른 앱 출시·업데이트가 업무 경쟁력과 운영효율에 결정적임을 반복 강조함

블랙록이 자동화하려는 지식/AI 앱은 4가지 유형으로 체계화됨

• 주요 앱 유형을 4개 영역으로 정리:
  1. 문서 추출(Document Extraction): 문서로부터 엔터티/데이터를 자동 추출
  2. 복잡 워크플로/자동화: 단계별 복잡한 프로세스 정의 및 다운스트림 시스템과 연동
  3. Q&A 인터페이스: 챗봇 등 자연어 기반 질의응답 시스템
  4. 에이전트 시스템(Agentic Systems): 독립적 판단·실행이 필요한 복합 AI 시스템
• 각 유형별로 LLM(대형언어모델) 활용을 통한 기존 시스템 증강 및 자동화 ‘레버리지’가 가능함
• 도메인 지식, 문서/업무 복잡도에 따라 적용 및 개발 전략 달라짐

신규 증권 세팅 프로세스로 실제 복잡 사례와 AI 구축 난제를 구체적으로 설명함

• 실제 사례: 신규 발행 증권(IPO, 주식분할 등) 발생시 오퍼레이션팀이 해당 증권을 사내 시스템에 등록하는 프로세스
• 증권 정보(프로스펙터스, 터미시트 등) 문서를 ingest하여 파이프라인에서 구조화된 데이터로 변환
• 주식/ETF 등 도메인 전문가와 엔지니어 협업으로 변환 로직 작성, 다운스트림 시스템 연동
• 이 과정은 복잡한 도메인 지식·변수로 인해 자동화가 쉽지 않고, 현존 에이전트형 시스템만으로는 대체 곤란함
• 하나의 앱을 출시하는 데 수개월(3~8개월)이 소요될 정도로 난이도 높음

프롬프트 엔지니어링은 문서 복잡성 때문에 반복·버전 관리·실행결과 평가가 필수임

• 추출 문서의 내용이 매우 복잡·정교해, 프롬프트가 두세 문장→수 단락으로 빠르게 확장됨
• 프롬프트를 반복적으로 수정·버전 비교하며, 성과(정확도)를 벤치마킹하는 데이터셋·평가 시스템 필요
• 도메인 전문가와 개발자가 공동작업 하면서 프롬프트 최적화에 많은 시간 투입 필요
• 효율적 관리를 위한 추출 템플릿·프롬프트 관리 체계 구축 필요성 강조

LLM 및 AI 모델 전략(RAG, chain-of-thought 등)·문맥 제한 등 다양한 연구와 선택이 필요함

• 같은 데이터 추출이라 해도 단순한 것(일반 회사채)은 인컨텍스트 러닝+포지티브 프롬프트로 해결
• 복잡/방대한 문서(최대 1만 페이지)는 LLM 문맥 한계 때문에 RAG/체인오브쏘트 등 다른 AI 전략 필요
• 다양한 모델, 벤더, 문맥 제약, 인프라 제약을 실험하며 최적 조합을 선정
• 최적화 프로세스는 시간이 많이 소요되므로 자동화 프레임 구축 필요성 대두

AI 앱 배포 시 인프라·접근제어·비용/운영관리 등 신규 과제가 발생함

• 전통적 배포과제(권한·람다·배포플로우) 외에도 AI앱은 클러스터 종류별(GPU·버스터블) 대응 필요
• 예: 리서치팀은 하룻밤 새 500개 리포트 분석 등 GPU기반 인퍼런스 클러스터 필요
• 업무 요구·운영효율에 따라 배포 형태 최적화, 비용관리(추론 비용 등)도 병행
• CI/CD 파이프라인에 준하는 자동화·관리 체계 필수

‘샌드박스+앱 팩토리’ 프레임워크로 개발 속도와 품질이 대폭 향상됨

• 과거 3~8개월 걸리던 복잡 앱을 며칠 내로 구축 가능하게 한 핵심은 샌드박스/앱 팩토리 체계
• ‘샌드박스’는 도메인 전문가 등 현업자가 직접 추출 템플릿/프롬프트를 실험·수정·비교·관리할 수 있는 플레이그라운드 역할
• ‘앱 팩토리’는 생성된 정의에 따라 실제 앱을 빠르게 구축·배포하는 자동화 오퍼레이터 역할(클라우드 네이티브 기반)
• 두 시스템의 유기적 결합이 내재 개발·운영의 병목을 제거하고, 업무 요구의 빠른 대응을 가능케 함

샌드박스는 고도화된 추출 템플릿·데이터 검증 및 관리 기능을 내장하고 있음

• 기존 도구들과 달리, 추출 필드(예: callable, call price, call date 등)별 다양한 입력값, 데이터타입, 소스(추출·산출), 필수 여부 및 필드간 상호 의존성을 상세히 설정할 수 있음
• 각 필드에 대해 QC(품질 점검), 유효성 검증, 필드 의존성 등 고도화된 설정 지원
• 추출 템플릿 예시를 UI에서 시각적으로 구성·관리 가능
• 추출된 데이터의 타입·정합성·필수여부 등을 자동 체크하여 오류 가능성 최소화

전체 워크플로 프로세스(문서 수집–변환–다운스트림 전파)도 저코드·노코드로 자동화됨

• 문서 관리→태깅/라벨링→인베딩까지 데이터 플랫폼 연동
• 추출 템플릿 실행→실 데이터 추출→결과 리뷰까지 일괄 자동화
• 과거에는 csv/json 등으로 수동 변환 및 다운스트림 연동이 필요했으나, 새 프레임워크에서는 저코드·노코드 방식으로 자동 워크플로 설계 및 실행 가능
• 도메인 전문가가 직접 전체 프로세스 설계·배포 가능해짐

프롬프트 엔지니어링 역량 강화와 LLM 전략 내재화, ROI 산출, 휴먼 인더 루프 설계가 핵심 성공 요소임을 결론적으로 제시함

• 금융 등 규제 산업 특성상 “AI 완전 자동화(에이전트 체계)”보다 인간의 검증(4-eye check, human-in-the-loop) 설계가 필수적임을 강조
• 프롬프트 엔지니어링 효과에 기업이 적극 투자하고, 실제 도메인 전문가의 역량 강화를 유도
• LLM 활용 전략 교육 및 다양한 모델 조합의 중요성 역설
• 실무 적용시, AI앱 개발이 수작업·기성품 대비 비용 효율(ROI)을 갖는지 냉정히 산출
• 휴먼 인더 루프 기반의 유연·보수적 시스템 설계는 컴플라이언스·리스크관리 측면에서 매우 중요함

정보 보안, 데이터 보호, 유연한 모델 전략 등 확장/운영 관점의 실질적 고려사항도 있다

• 문서정보 추출과정에서 데이터 유출·오류 리스크 해소를 위해 인프라–플랫폼–앱–유저 레벨별 보안정책·컨트롤 체계 내재
• SD 네트워크 기반 정책, 각 스택별 보안정책 등 다양한 다층 안전장치 적용
• 모델 전략(RAG·다양한 벤더·엔지니어링 튜닝 등)과 보안 강화는 유연하게 상황별 맞춤 적용
• 실제 복잡한 엔지니어링·운영체계와 보안정책을 병행하며, 업무/비즈니스 요구에 대응함