Why We Don’t Need More Data Centers - Dr. Jasper Zhang, Hyperbolic

영상 링크: Why We Don’t Need More Data Centers - Dr. Jasper Zhang, Hyperbolic
채널명: AI Engineer

우리가 더 많은 데이터 센터를 지을 필요가 없는 이유 핵심 요약

• 본 영상은 하이퍼볼릭(Hyperbolic) CEO 재스퍼 장(Dr. Jasper Zhang)이 개발자용 AI 클라우드 솔루션 하이퍼볼릭에 대해 소개하며, “더 많은 데이터 센터가 필요 없는 이유”를 주요 주제로 삼음
• 데이터 센터 확장만으로는 급증하는 GPU 수요와 AI 시장 성장의 근본적 문제를 해결할 수 없음을 강조
• 현재 데이터 센터 용량은 55GW이나, 2030년에는 연 22% 성장률을 가정할 때 219GW가 필요(맥킨지 데이터 인용)
• 데이터 센터 신규 건설에는 천문학적 비용(예: 스타게이트 센터는 10억 달러 이상)과 전력망 연결 지연(북 버지니아의 경우 100MW 규모 센터는 연결까지 7년 대기) 등이 걸림돌로 작용
• 미국 내 데이터 센터와 GPU 집약적 워크로드가 전기 소비의 4%를 차지하며, 환경 지속 가능성 측면에서도 심각한 CO2 배출량 문제가 지적됨
• 분석 결과, 기업의 GPU 활용률은 평균 20% 미만(80%는 유휴 상태)으로 매우 저조하며, GPU 공급 역시 100개 이상의 클라우드 사업자가 파편화되어 있음
• 하이퍼볼릭은 “GPU 마켓플레이스” 개념을 도입하여 데이터 센터 및 GPU 제공자의 자원을 집계·매칭하는 글로벌 오케스트레이션 레이어(HyperDOS)를 개발함
• 이를 통해 비용을 50~75% 절감 가능하며(예: H100 GPU 시간당 0.99달러 vs. 구글 11달러), 사용자는 다양한 방식으로 GPU 임대 및 반납이 가능
• 1,000~10,000 GPU가 필요할 때 기존 모델 대비 6배(4,380만→690만 달러) 수준의 비용절감 효과 실증
• GPU 마켓플레이스는 단순 중개를 넘어 다양한 AI 워크로드(트레이닝, 온·오프라인 추론 등) 통합 처리 플랫폼으로 확장 가능성을 제시

세부 요약 - 주제별 정리

연사 소개와 주제 문제 정의: 데이터 센터 확장만으로는 AI 시대 문제를 해결할 수 없음

• 연사 재스퍼 장은 UC 버클리에서 수학 박사 학위(역대 최단기간, 2년)를 받았으며, 증권사에서 AI·머신러닝 기반 거래전략 개발 경험 보유
• AI 도입으로 모든 기업에 GPU·데이터 센터 수요가 폭증할 전망
• 맥킨지 자료에 따르면 2030년까지 데이터 센터 수요가 현 시점 대비 4배 증가하며, 건설 속도 역시 기존보다 4분의 1로 빨라져야 함을 지적
• 연사는 “새로운 데이터 센터 구축만이 정답이 아니다”는 문제의식을 밝힘

데이터 센터 증설의 한계: 비용, 속도, 전력, 환경 문제 등 복합적 장애 존재

• 스타게이트(Stargate) 등 최신 데이터 센터 건설에는 10억 달러 이상 투자 필요
• 전력망 연결 지연 심각: 북버지니아에서 100MW 시설은 연결까지 평균 7년 소요
• 지속적으로 증가하는 전력 소모(미국 전체 전력소비의 4%가 데이터 센터 및 GPU에 사용)
• 연간 막대한 CO2 배출로 환경적 지속가능성 저해
• 2030년까지 모든 계획된 데이터 센터가 정상적으로 완공되어도 1.5GW 이상의 공급 부족 발생(미국 내 기준)

데이터 센터 내에서 GPU 자원 활용률이 지나치게 낮음

• 미 에너지부(DOE) 데이터 인용: 기업/기관 보유 GPU 자원의 평균 80%가 유휴 상태로 방치됨
• 100개 이상의 GPU 클라우드 공급사업자가 난립해 시장이 지나치게 파편화
• 실제로 GPU를 필요한 시기에 저렴하게 대여받기는 매우 어렵고, 가격 역시 공급자 별로 격차가 큼
• 이는 자원의 공급-수요 미스매치 및 과투자/유휴 문제로 귀결됨

’GPU 마켓플레이스’라는 새로운 해법으로 효율성, 비용문제, 환경문제 동시 해결 제안

• GPU 공급자와 실제 사용자를 매칭하는 ‘마켓플레이스(집계 플랫폼, Aggregation Layer)’ 도입 필요성 제안
• 각 데이터 센터/공급자가 소프트웨어를 설치하면 5분 내 생태계 합류 가능
• 사용자(고객)는 스팟 인스턴스 및 온디맨드, 장기예약, 모델 호스팅 등 다양한 방식으로 GPU 사용 가능
• 공급·수요 매칭으로 미스매치 해소, 시장 내 실질적인 효율성 및 가격 안정 도모

하이퍼볼릭의 기술적 구현: 글로벌 오케스트레이션 레이어 ‘HyperDOS’ 소개

• HyperDOS(Hyperbolic Distributed Operating System): 쿠버네티스 에이전트 기반 분산 운영체제
• 데이터를 갖춘 데이터 센터, PC, Mac에서도 클러스터화·자동 통합 가능한 소프트웨어적 인프라
• 하이퍼볼릭 네트워크 내에서는 ‘모나크(Monarch, 중앙 서버)‘와 ‘바론(Baron, 개별 자원 운영자)’ 등의 구조적 분산 모델 사용
• 사용자는 요청 시 모나크 서버를 통해 바론의 GPU를 쉽게 렌트 및 프로비저닝(SSH 인스턴스 포함) 가능

실제 비용 절감 효과 및 수량 조정 유연성 설명

• 스타트업 예시: 시작 단계에서 1,000 GPU 필요, 3개월 후 실험 결과 추가 1만 개 GPU 필요, 6개월 차에는 500개 유지(나머지 500은 유휴)
• 마켓플레이스 기반 하이퍼볼릭 사용 시, GPU 수요 변화에 따라 즉시 대여·반납·재판매 가능
• 전통적 클라우드 대비 전체 프로젝트 비용을 약 6분의 1(4,380만 달러 → 690만 달러)로 절감
• 프로젝트 종료 후 불필요한 GPU는 즉시 시장에 재공급하여 타 스타트업 및 기업에 ‘싼 값’으로 제공 가능

GPU 이용 효율 개선이 단순 ‘절감’을 넘어 AI 혁신 촉진으로 이어짐

• GPU 자원의 효율적 할당 및 신속한 임대를 통해 스타트업 혁신 동력 강화
• AI 스케일링 법칙(투입 컴퓨트가 많을수록 더 좋은 AI 모델 품질 달성)이 적용됨에 따라 동일 예산으로 최대 6배 업무 생산성 상승
• 제한된 예산의 소규모 기업·팀도 자체 AI 모델 구축이 용이, 기존에 OpenAI·Anthropic 등 대규모 폐쇄형 모델 사업자에 의존하던 구조에서 탈피 가능

GPU 마켓플레이스 진화 방향과 AI 워크로드 통합 플랫폼으로의 발전

• 단순한 GPU 공급·수요 매칭을 넘어서, 다양한 AI 워크로드(트레이닝, 온라인/오프라인 추론 등) 처리의 ‘올인원 플랫폼’으로 진화
• 사용자의 실질적 요구는 GPU 하드웨어 그 자체가 아니라, 유연하고 신속한 AI 워크로드 처리 환경임을 강조

GPU 공급·수요 집계로 비용·환경·생산성 모두 극대화할 수 있음을 최종 정리

• 데이터 센터 건설만으로 문제를 풀 수 없음: 한정된 자원의 효율적 분배와 재활용, 에너지 절약이 중요
• 마켓플레이스 방식 도입 시 전력·토지 등 환경 자원도 상당히 아낄 수 있고, 유휴 자원의 재사용으로 생산성 역시 향상
• 하이퍼볼릭의 GPU 마켓플레이스 외에도 자사가 기업·엔터프라이즈 클라우드, 99.5% 신뢰도 이상 제품도 구축·출시 중임을 소개

HyperDOS 작동 방식 심층 설명: 모나크-바론 분산 구조, 쿠버네티스 활용

• HyperDOS는 쿠버네티스 에이전트 형태로, 해당 소프트웨어 설치 시 모든 서버 및 데이터 센터가 네트워킹 클러스터에 자동 편입
• ‘모나크(중앙 제어 서버)‘로 모든 임대 요청이 집결, 모나크가 각 바론(개별 공급 서버)에 요청을 분배 및 최적화 배분
• 바론은 고객에게 SSH 인스턴스를 설정해 접근 권한을 제공
• 개별 PC 및 맥에서도 microk8s(경량 쿠버네티스) 설치를 통해 참여 가능, 일반 클라우드 및 프라이빗 데이터 센터 모두 쉽게 통합 가능