Skip to content
Go back

Dream Machine: Scaling to 1m users in 4 days - Keegan McCallum, Luma AI

Published:  at  05:21 PM
YouTube Thumbnail

영상 링크: Dream Machine: Scaling to 1m users in 4 days — Keegan McCallum, Luma AI
채널명: AI Engineer

드림 머신: 4일 만에 100만 사용자로 스케일링하기 — Luma AI의 경험 핵심 요약


세부 요약 - 주제별 정리

Luma AI는 4일 만에 100만명을 확보하여 ChatGPT보다 더 빠른 성장세를 보임

예상 외의 수요 폭주에 따른 GPU 실시간 증설과 수동 운영 과정의 상세 경험을 공유함

Luma는 단순 영상 생성이 아닌 범용 멀티모달 모델 연구실로서 더 큰 목표를 지향함

기존 Triton 기반 서빙 스택의 한계를 극복하고 PyTorch 기반 자체 인프라를 구축함

디커플링 구조와 글로벌 큐 시스템을 통해 다양한 환경에서 유연한 확장성을 확보함

대규모 큐와 디커플 구조, 멀티클러스터 환경에서 생기는 ‘Back Pressure’ 등 운영상의 문제 해결법 설명

다양한 사용자 등급(APIs, 엔터프라이즈, 플러스, 라이트, 프리)에 따라 SLO 기반 공정 스케줄러를 도입함

거대 영상 모델은 여러 하위 서브모델(10~20개)로 구성되어 있어 전통적 오토스케일링 방식이 비효율적임을 지적함

완전히 자동화된 모델 롤아웃/롤백 및 버전 관리 시스템으로 실시간 대규모 운영을 지원함

다양한 벤더와 칩셋(H100, AMD, Groq 등) 운영 및 PyTorch 기반 최적화의 실전 노하우를 공유함

멀티모달/비디오 생성 AI 제품의 실제 응용과, 개발자 친화적 API·플랫폼 전략을 강조함



수정 요청하기

Previous Post
tldraw.computer - Steve Ruiz, tldraw
Next Post
Google Photos Magic Editor: GenAI Under the Hood of a Billion-User App - Kelvin Ma, Google Photos