Building an Agentic Platform - Ben Kus, CTO Box

영상 링크: Building an Agentic Platform — Ben Kus, CTO Box
채널명: AI Engineer

에이전틱 플랫폼 구축 – Box CTO 벤 쿠스 핵심 요약

• Box는 15년 이상 역사와 115,000여 개 엔터프라이즈 고객을 보유한 비정형 콘텐츠 관리 플랫폼임
• Fortune 500 기업 중 2/3가 Box를 사용하며, AI 도입의 첫 단계로 Box를 채택한 사례도 많음
• Box는 데이터 보안 및 안전한 AI 활용을 최우선으로 하는 엔터프라이즈 환경을 지원
• 인공지능 도입 초기에는 단순 문서 QA와 데이터 추출, AI 기반 워크플로우 등의 생성형 AI 기능을 도입
• 대부분 기업 데이터의 90%가 비정형 데이터로, 기존에는 이를 구조화하기 위해 복잡하고 비용이 큰 IDP(문서 처리) 솔루션, ML 모델, 커스텀 벤더, 대규모 학습 데이터 등이 필요했음
• 생성형 AI(DALLE, GPT 등) 기반 범용 모델 활용 시, 기존 특화 ML 모델보다 유연하고 정확한 데이터 추출 성능을 경험
• 그러나 문서가 복잡해질수록, 대용량․다수 필드, 다양한 언어 및 포맷, OCR 한계 등으로 AI의 정확성, 확장성, 신뢰도에 심각한 문제 발생
• 고도화된 문제 해결을 위해 ‘에이전틱(Agentic) 방식’으로 전환, 계획·추론·복수 모델 활용·체크 등 단계별 지능형 워크플로우를 구현
• 에이전틱 아키텍처 도입 후 문제 발생 시 전체 시스템 재설계 대신 작은 단계별 개선으로 빠른 진화와 확장성 달성
• Box는 Agent API를 제공하며, 엔터프라이즈 고객들이 다양한 에이전트 기능을 직접 활용할 수 있도록 지원
• 모델 파인튜닝보다 프롬프트 엔지니어링 및 다중 모델 조합, 에이전틱 워크플로우가 유지/확장성 측면에서 더 효율적이라 판단
• 평가는 LM as a judge(모델 판단), 자체 챌린지 평가셋, 고객 피드백 혼합 방식으로 진행하며, 지속적으로 복잡 케이스까지 대비

세부 요약 - 주제별 정리

Box는 대규모 엔터프라이즈 비정형 데이터 관리 전문 플랫폼임을 강조함

• Box는 15년 넘게 비정형 콘텐츠 플랫폼을 운영해 왔음
• 115,000여 개 엔터프라이즈 고객과 Fortune 500 중 약 2/3가 Box를 활용
• 1 엑사바이트 이상의 데이터, 수백억 건의 파일을 관리하며 최고의 데이터 보안과 안전성 제공
• 고객 대부분이 AI 도입에 신중하며, Box를 AI의 첫 배포 지점으로 신뢰
• 목표는 고객이 콘텐츠로 할 수 있는 모든 작업(검색, 관리, 워크플로우 등) 기능 제공

과거의 비정형 데이터 자동화는 특화 ML모델·IDP 중심의 복잡하고 높은 진입장벽의 영역이었음

• 비정형 데이터(문서, 계약, 프로젝트 제안서 등)는 전체 데이터의 약 90% 차지
• 기업들은 오랜 기간 비정형 데이터 자동화를 희망했으나 현실적 어려움 큼
• 기존에는 IDP(지능형 문서 처리)라는 수십억 달러 규모 산업이 존재했으며, 이들은 특화 ML 모델 구축, 대규모 학습 데이터, 커스텀 벤더 연동을 필요로 함
• 이러한 방식은 특정 문서유형에만 맞추기 쉽고, 확장성과 범용성, 유지보수에 큰 문제 발생
• 과거에는 비정형 데이터를 억지로 구조화하려 하거나 자동화 자체를 포기하는 분위기였다

생성형 AI의 도입으로 범용 데이터 추출 품질이 크게 향상되는 변화를 경험함

• 2023년 생성형 AI(GPT-2, GPT-3 등)가 실전에서 효과적임을 확인
• OCR 등 기본 전처리 후 프롬프트 기반 단발성(single shot) AI 호출만으로 바로 뛰어난 추출 성능을 달성
• 상용 범용 AI 모델(OpenAI, Anthropic 등)로도 과거 최고의 특화 모델보다 더 유연하고 정확함
• 범용성(문서 유형, 필드 등), 성능, 구현 용이성, 여러 모델 동시 지원 등 기술적으로 큰 진전 경험
• 고객들에게 다양한 문서 추출 적용 시 성공적인 결과를 보여줌

문서 복잡성·언어·OCR 한계 등으로 생성형 AI의 한계가 빠르게 드러남

• 문서가 복잡해지거나(예: 300페이지 임대차 계약, 수백 필드), 여러 언어/파일포맷 혼재, 고난이도 OCR 문제 등에서 AI의 응답 품질이 심각하게 저하됨
• AI가 동시에 너무 많은 필드, 복잡 지시를 전달하면 맥락 추적 및 일관성에서 오류 발생
• 기존 ML과 달리 LLM은 자체 신뢰도/정확도(Confidence Score) 인지 기능이 부족
• LM as a judge(추출 결과 자체 평가), 다중 모델 결과 비교, 후처리 등을 적용해도 반복적인 한계 발생

고도화된 엔터프라이즈 요구(정확도, 신뢰성, 처리 복잡성 등)가 AI 도입에 적극적 제약 요인이 됨

• 영문·다국어 지원, 다양한 포맷, 복잡 필드 매핑 등 고객 사용 상황이 매우 다양
• 단순 추출이 아닌 리스크 평가 등 추가적 복합 작업 요구
• “AI가 정말 이런 복잡한 문제를 해결할 수 있나”에 대한 회의감과 도전적 과제가 발생
• 다음 세대 AI 모델이나 더 나은 벤더 출시까지 대기하는 ‘정체 상태’가 일시적으로 발생함

Box는 근본적인 한계를 극복하기 위해 에이전틱(Agentic) 접근법으로 전환함

• 전통적으로 OCR·ML 개선, 포스트 프로세싱, 정규식 기반 등 단순 ‘업그레이드’ 중심 논의가 많았으나 지속적인 한계 인식
• 에이전틱 아키텍처는 ‘지능형 에이전트’가 다수의 단계적 작업(지침 생성, 메모리, 툴 호출, 다중 AI모델 적용 등)을 조율함
• Directed Graph(유향 그래프) 기반의 워크플로우 구조 설계, 계획 기반/자동화/문제별 유연 조정 등으로 복잡도를 관리
• 예: 필드별 그룹핑, 필드 간 맥락 보존을 위한 세분화, 여러 번의 쿼리·체크, 다중 AI모델 투표·교차 검증 적용
• AI가 문제를 풀지 못하면 추가 피드백→재시도 과정을 통해 점진적 정확도 향상
• 이러한 접근법은 시스템 전체 재설계 없이도 세밀한 부분 수정만으로 빠르고 유연하게 진화 가능

에이전틱 아키텍처 도입 후, 다양한 케이스와 사용자의 복잡한 요구도 빠르게 대처함

• Deep Research 등 고난도 기능에도 쉽게 확장 적용 가능
• OpenAI/Gemini가 인터넷에 깊은 리서치를 하듯, Box 사용자가 자신의 데이터셋에서 심층 질의와 연구가 가능
• 에이전트 워크플로우 각 단계에서 검색, 관련성 판단, 아웃라인 생성, 계획 수립, 요약 등 단계별 세부 분할 처리 구현
• 신규 또는 복잡 케이스 발생 시 전체 설계 변경 없이 구성요소 추가(노드 추가, 체킹 단계 추가 등)만으로 유연 대응 가능

에이전틱·AI 중심 설계 사고방식 전환이 팀과 제품 진화에 중요함을 실감함

• 에이전틱 레이어를 아키텍처적 기본 계층으로 삼으면, 작업 단위 분리·진화에 유리함
• 분산시스템 설계와 독립적으로, 다중 워크플로우와 고속 대량 처리 모두 유연하게 병행 가능
• 팀 내에서 ‘에이전틱-퍼스트’ 사고와 개발 문화가 정착되어야 진정한 생산성 및 진화 달성
• Box 엔터프라이즈 API(Agent API) 제공 등 고객도 직접 에이전트 워크플로우를 활용·확장 가능하게 적극 지원
• 멀티 모델 지원(예: OpenAI, Gemini, Llama, Anthropic)과 그에 맞는 프롬프트 기반 조합을 중시

파인튜닝 모델 대신 프롬프트/에이전틱 설계를 선호하는 이유를 설명함

• 파인튜닝 기반 접근은 모델별·세대별로 매번 파인튜닝이 필요, 여러 벤더 모델을 동시에 파인튜닝하기 어렵고 유지·확장에 불리
• 최신 생성형 AI는 차기 버전에서 자연스레 품질이 향상되어 파인튜닝의 유지비용과 효익이 불일치
• Box는 프롬프트 엔지니어링과 에이전트 아키텍처 중심으로 복잡한 요구를 효과적으로 대응
• 실제 워크플로우에서는 다양한 프롬프트 조합과 캐싱, 다중 모델 사용 전략을 적극 채택

평가·검증 방식도 다층적 시스템으로 운영하여 신뢰성 확보

• 평가 방식: LM as a judge(LLM 기반 결과 평가), 자체 평가세트(Eval Set), 챌린지/고난도 평가세트 병행
• 점점 복잡해지는 사용 케이스에 대비해 새로운 평가 데이터를 지속 생성 및 활용
• 엔터프라이즈 특성상 실제 사용 중인 데이터 피드백은 제한적이지만, 가능한 한 사용자 피드백을 적극 반영

API 퍼스트 정책과 아키텍처적 교훈을 최종적으로 강조함

• Box는 모든 주요 에이전트 기능들을 API로 제공, 확장성과 연동성 강조
• 에이전틱 아키텍처를 초기부터 도입하면, 다양한 문제와 지속적 진화에 훨씬 강력하게 대응할 수 있음
• AI가 적용 가능한 영역에서는 최대한 일찍 에이전틱 설계를 채택할 것을 강력히 권장