영상 링크: Fun stories from building OpenRouter and where all this is going - Alex Atallah, OpenRouter
채널명: AI Engineer
오픈라우터(OpenRouter) 개발 뒷이야기와 AI 인프런스 시장의 미래 핵심 요약
- 오픈라우터(OpenRouter)는 2023년 초에 Alex Atallah이 “AI 인프런스 시장이 승자독식 구조가 될 것인가?”라는 질문에서 시작되었음.
- 챗GPT 출시와 함께 AI 시장이 폭발적으로 성장하는 현상을 목격하고, 오픈소스 모델의 부상 및 다양화에 주목함.
- 2023년 2월 메타(Meta)의 Llama 1 공개 및 이후 스탠퍼드의 Alpaca(라마1 기반 파인튜닝, $600 소요) 출시가 저비용으로 지식과 스타일을 전이하는 계기가 됨.
- 오픈라우터는 다양한 언어모델을 한곳에서 모으고, 비교·선택할 수 있게 하는 API 및 마켓플레이스로 진화함.
- 현재 400개 이상의 모델과 60개 이상 활성화 공급자를 한 API로 접근 가능, 결제 방식 다양(암호화폐 등), 공급자 별 가격/성능, 기능(툴콜, 캐싱 등) 차이 표준화 및 비교 지원.
- 오픈라우터 내 데이터에 따르면 인공지능 모델 시장은 “멀티모델” 구조로, 다양한 모델이 동시에 중요하게 사용되고 있음(예: Google Gemini 35%까지 점유율 성장).
- 인프런스(모델 추론)는 본질적으로 “상품(commodity)“화되고 있으며, 지리적/성능/비용 최적화 등 라우팅 기술이 핵심 경쟁력으로 부상.
- 기술적 측면에서, AI 네이티브 미들웨어 시스템 도입, 웹검색 플러그인 적용, 지연시간 최소화(30ms 수준 달성), 다양한 트리키한 공급자별 정책 표준화 및 스트림 취소 처리 등을 실현.
- 앞으로 LLM 기반 이미지 생성, 전달 성능 개선, 엔터프라이즈급 라우팅, 정밀한 모델 카테고리화 등 멀티모달/고도화된 생태계로의 진화를 예고함.
- 오픈라우터는 벤더 락인 최소화와 협력 중심 생태계 조성을 지향하며, 개발자 및 파트너와 적극적으로 협업할 것을 촉구함.
세부 요약 - 주제별 정리
오픈라우터 개발의 출발점은 AI 인프런스 시장의 “승자독식” 질문에서 시작됨
- 2023년 초 OpenRouter 창업자는 AI 인프런스 시장이 “단일 승자”가 점유하는 구조가 될지 궁금해함.
- 챗GPT의 등장(2022년 말) 이후, AI가 소프트웨어 시장 최대 규모로 성장할 것이라는 기대감이 커짐.
- OpenAI가 선도 모델이었으나, 오픈소스와 대안적 모델들의 동시 부상에 주목함.
- 오픈라우터 창업은 다양한 AI 모델이 동일 시장에서 경쟁할 수 있는 구조를 고민하며 이루어짐.
사용자들은 더 다양한 모델과 투명한 검열 정책을 원하며, 오픈소스 대체 모델 수요가 증가함
- 2023년 1월부터 사용자의 새로운 모델 요구 증거로 “콘텐츠 검열/정책(Moderation)” 피드백이 알게 됨.
- 예시: 소설 생성 과정에서 OpenAI 모델이 범죄 묘사 등 특정 콘텐츠를 차단, 사용자 불만 야기.
- 롤플레이(RP) 등 다양한 유즈케이스 등장, 모델별로 결과 및 정책 차이가 두드러짐.
- 이로 인해 오픈소스 LLM(대규모 언어 모델)의 실험이 가속.
오픈소스 LLM의 등장이 시장 판도를 바꿨으나, 초창기에는 실질 활용성에 한계가 있었음
- Balloon 176B, 페이스북의 OPT 등 초창기 오픈소스 모델 등장(몇 안 되는 사용자만 경험).
- 2023년 2월 메타의 Llama 1 발표: GPT-3보다 높은 벤치마크 성능(특히 130억 파라미터 모델) 강조.
- Llama 1은 상대적으로 저용량·저비용이지만 여전히 현업 활용에는 인프라/접근성 한계.
- 대다수 사용자는 실제로 경험하지 못했고, 여전히 “블랙박스”처럼 취급되는 문제 존재.
스탠퍼드의 Alpaca 프로젝트는 저비용 파인튜닝 모델의 시대를 열었음
- 2023년 3월, 스탠퍼드 연구팀이 Llama 1을 GPT-3 출력 데이터(독자적 지식 및 문체 포함)로 파인튜닝함.
- Alpaca 개발 비용은 약 $600에 불과, 대형 모델의 스타일·지식 “전이” 실험 대성공.
- 이 사건은 대규모 예산 없이도 독자적 모델을 누구나 만들 수 있게 했으며, 고유 데이터 모델의 서비스 가능성을 열어줌.
- 데이터와 기능이 다양한 “수만~수십만 개”의 언어모델 등장이 머지않았음을 예감.
오픈라우터는 다양한 LLM을 쉽고 투명하게 탐색·활용 가능한 거점으로 진화함
- 초창기 목표: Alpaca 등 수많은 모델을 인터넷에서 검색하고, 특징·활용도를 이해할 수 있는 공간 마련.
- 크롬 확장(윈도우 AI) 실험: 웹앱이 사용자가 원하는 모델을 직접 지정·활용하도록 지원.
- 2023년 5월 본격 서비스 시작, 초기에는 “모델 모음”에 초점, 점차 비교·선택·비용 우위·무약정·결제방식 다양화 등 확장.
- 약 400개 모델, 60개 공급자를 단일 API에서 접근, 암호화폐 등 다양한 결제 지원.
다중 공급자·기능 차이 극복을 통한 “마켓플레이스”형 구조가 자리를 잡음
- 초기 오픈소스 모델 공급자는 1~2개였으나, 곧 다수 기업이 동일 모델을 다양한 가격·성능·기능으로 호스팅하는 구조로 변모.
- 예: Llama 3.370B instruct에 23개 이상의 공급자 존재.
- 각 공급자별 minp sampler, 캐싱, 툴콜, 구조화 출력 등 지원 기능 차이가 심함.
- 오픈라우터가 이 이질적인 기능/가격/성능을 표준화해 한곳에서 비교, 선택, 장애시 대체경로(업타임 부스팅)까지 지원.
실사용 데이터 기반으로 “승자독식”이 아닌 “멀티모델” 시장 구조가 드러남
- 오픈라우터의 모형별 사용 데이터 공개: 구글 젬니(Gemini)는 2023년 6월 2
3% 점유에서 12개월 후 3435%로 급증. - 앤스로픽(Anthropic)도 매우 인기가 높고, OpenAI도 지속적으로 성장.
- 사용자들은 다양한 목적에 서로 다른 모델을 조합 활용, 각 모델의 특화 영역(품질·가격·기능 등)에 따라 선택함.
- “인프런스(LLM 추론)는 상품”으로 간주, 동일 모델의 다양한 공급자(예: 베드록 Claude/버텍스 Claude)를 동등하게 취급함.
- 라우팅(최적 그리고 자동화된 공급자 선택)이 개발자 경험 및 비용에 핵심이 됨.
오픈라우터는 AI 미들웨어 및 플러그인화로 개발자·기업 효율과 유연성을 혁신함
- AI 네이티브 미들웨어를 적용하여 모델마다 웹검색, PDF 파싱 등 부가기능을 통합 제공.
- 미들웨어는 출력 변형(결과 전처리 및 후처리)까지 지원, Next.js 등 웹 프레임워크의 미들웨어와 유사 개념.
- 예: 실시간 웹검색 플러그인 적용 시 모든 LLM이 추가 작업 없이 최신 정보를 불러와 결과 보강 인퍼런스 결과로 제공.
- 실시간 스트림 방식, 다양한 플러그인 확장성, 개발자 환경의 API-레벨 미세 설정 및 프라이버시 제어 지원.
초저지연·스트림 취소 등 인프런스 품질 극대화를 위한 고유 기술 구사
- 오픈라우터는 30ms 수준의 초저지연 인프런스 성능(업계 최고)을 보유.
- 캐싱 및 직접 커스텀 아키텍처로 실현, 공급자마다 상이한 스트림 취소 정책(전체 과금/20토큰 추가 과금 등) 표준화.
- 모델/공급자간 이질적 정책·동작환경을 개발자가 신경쓰지 않도록 일관된 표준 제공에 집중함.
향후, LLM의 이미지 생성 등 멀티모달 진화 및 세분화된 모델 탐색 등 혁신을 예고함
- “트랜스퓨전 모델”(transformer + stable diffusion 등) 같은 멀티모달 생성 AI 도입 준비 중.
- LLM이 이미지를 직접 생성, 풍부한 월드 지식 기반 이미지 및 대화형 이미지 활용 가능성(메뉴 생성 등 구체 사례) 제시.
- 라우팅 성능 강화 (지리적 최적화, GP U별 맞춤 제공), 엔터프라이즈급 라우팅, 프롬프트 관찰성 증진, 모델 세분화(“일본어를 파이썬 코드로 변환하는 최적 모델” 등) 지원 예고.
- 가격 경쟁력 제고, 모델 카탈로그 고도화, 향후 더 다양한 기능 추가 예정.
벤더 락인 최소화와 협력 중심 생태계를 지향하며, 커뮤니티와 파트너십을 강조함
- 단일 벤더 종속 방지와 생태계 내 개방적 경쟁을 추구.
- 개발자, 기업, 연구자 등과의 제휴와 협업을 독려, 커뮤니티 기반 발표 진행.
- 이메일·연락처 공개, 다양한 파트너 참여를 환영하며 생태계 성장을 도모함.