Stripe's Coding Agents Ship 1,300 PRs EVERY Week - Here's How They Do It

영상 링크: Stripe’s Coding Agents Ship 1,300 PRs EVERY Week - Here’s How They Do It
채널명: Cole Medin

Stripe의 코딩 에이전트는 매주 1,300개의 PR을 자동 생성하며, 그 핵심은 구조화된 AI 워크플로 시스템 핵심 요약

• Stripe는 매주 1,300건 이상의 풀 리퀘스트(PR)를 인간 코드 작성 없이 AI가 자동 생성, 인간은 최종 리뷰만 담당하고 있음
• 이를 위해 자체 개발한 ‘Minions’라는 에이전트 하니스(agent harness) 시스템을 구축하여 신뢰성과 반복 가능성을 확보함
• Stripe 코드베이스는 Ruby 기반의 복잡한 구조와 수많은 사내 라이브러리, 연간 1조 달러 이상의 결제 처리 등, 매우 엄격한 품질 요건을 가짐
• Shopify, Airbnb, AWS 등도 각각 Roast, 자체 워크플로 엔진 등 비슷한 구조화된 AI 워크플로 시스템을 개발, 업계 트렌드를 형성 중임
• 구조화된 AI 워크플로는 에이전트(비결정적)와 결정적 노드(자동화, 테스트, 검증 등)가 혼합된 패턴으로 높은 신뢰도를 확보
• Stripe Minions의 핵심은 ‘블루프린트(blueprint)’로, 에이전트 스킬과 결정적 코드가 교차되어 복잡한 작업도 안정적으로 수행 가능
• Minions는 Slack 등 엔트리 포인트에서 엔지니어가 작업 요청→맥락 추출→에이전트 실행→자동 린트/타입검사→테스트→반복/에러 시 인간 개입으로 구성
• 약 500개에 달하는 사내 MCP 툴과 300만 개 정합성 테스트, 완전 격리된 클라우드 개발 환경 등을 통한 강력한 안정성 보장
• Stripe의 사례는 PIV(Planning–Implementation–Validation) 루프 설계 등 AI 코딩 자동화 워크플로 일반화에 적용 가능한 매우 실용적인 인사이트를 제공
• Shopify의 Roast 등 오픈소스 프로젝트와 일반화된 워크플로 설계 예시, 직접 구축 팁, 추천 리소스와 커뮤니티 안내도 영상 내에 포함

세부 요약 - 주제별 정리

Stripe는 광범위한 규모의 AI 자동 코드 생성을 신뢰도 있게 실현함

• Stripe는 최근 발표를 통해 매주 1,300건 이상의 PR을 100% AI를 통해 작성하고 인간은 리뷰만 하는 프로세스를 공개함
• 전체 PR 기준으로는 8,000여 건 중 일부이지만, AI 자동 PR 비율이 빠르게 증가 중임
• Stripe의 코드는 Ruby 기반 백엔드, 사내 독자적 라이브러리 등으로 구성되어 LLM(대형언어모델)에 생소한 코드 환경을 갖춤
• 연간 1조 달러 이상의 결제 처리 시스템이므로 코드 신뢰성, 보안, 정확성이 필수적임

구조화된 AI 워크플로 하니스 개발이 업계 트렌드로 자리잡고 있음

• Stripe는 ‘Minions’라는 자체 에이전트 관리 시스템을 개발했으며, 이 구조는 다양한 대기업에서도 채택 중임
• Shopify는 ‘Roast’라는 오픈소스 구조화 AI 엔진을 운영하며, AWS, Airbnb 등도 자체 툴을 개발해 활용
• 구조화된 AI 워크플로 하니스의 목적은 ‘AI 코딩의 결정론적 실행’과 예측 가능성, 신뢰성 극대화에 있음

에이전트와 결정적 노드의 혼합이 신뢰도 상승의 핵심임

• 전통적 코딩 에이전트 사용은 계획–코드생성–검증 모든 단계를 AI가 즉석에서 처리함(비결정적)
• Stripe 등은 ‘에이전트’와 ‘결정적(Deterministic) 노드’의 혼합 워크플로를 사용, 예를 들어 코드 생성은 에이전트, 린트/테스트/맥락 수집은 자동화(결정론)로 분리함
• 시스템이 에이전트의 행동을 제어하고, 단계마다 실패 시 에이전트에게 수정 요청을 반복적으로 보내는 방식
• 이 방식은 신뢰도와 반복 가능성이 높으며 복잡한 코드 환경·고위험 작업에 적합

Stripe Minions의 전체 워크플로 구조와 단계는 다음과 같음

• 주로 Slack 메시지나 CLI를 통해 Minions에 작업 요청
• 최초 요청 접수 후, 맥락 생성(컨텍스트 큐레이션) 단계에서 MCP 도구로 관련된 문서와 도구 정보를 자동 추출·정리
• 약 500종의 MCP(Stripe 내부 자동화 도구)에서 요청별로 필요한 도구만 엄선하여 에이전트에게 제공(툴 오버로드 방지)
• 에이전트가 코드 생성, 자동 린트 및 타입체킹(Sorbet 등)이 결정적 노드로 실행, 실패 시 에이전트가 재수정
• 코드 수정은 완전 격리된 AWS EC2 인스턴스 내 “Dev Box”에서 자동 처리
• 일부 테스트케이스를 선별해 자동 테스트, 실패 시 최대 2회 반복 후에도 실패하면 인간 리뷰어에게 에스컬레이션
• 성공적으로 자동화 단계 통과 시 인간이 최종 코드 리뷰를 거쳐 병합

‘맥락 큐레이션’은 도구 선정과 정보 집합 자동화로 생산성을 향상시킴

• Slack 등에서 요청시, MCP 툴을 이용해 관련 티켓·문서·빌드 상태·테스트 정보 등을 정밀하게 추출함
• 500개에 육박하는 내부 툴셋(tool shed)에서 해당 이슈에 실제 필요한 도구만 필터링하여 에이전트의 입력값(컨텍스트)으로 가공
• 이를 통해 에이전트가 불필요한 추론/가정 없이 실제 타깃 맥락 내에서 작업 수행

격리된 클라우드 개발 환경(Dev Box)이 확장성과 보안을 동시에 보장함

• 각 Minion 실행 시마다 독립적인 AWS EC2 인스턴스를 즉각 생성, Stripe 코드베이스와 캐시 등이 미리 탑재된 상태에서 자동 작업 진행
• 인스턴스 1개는 중요하지 않으며, ‘cattle not pets’ 원칙으로 언제든 확장/제거 가능(병렬 작업 효율 극대화)
• 모든 작업은 이 격리 환경 내에서 진행되어 보안 위험과 권한 이슈 최소화

결정적 단계(린트/type-check/테스트)에서 문제 발생 시 자동 반복&에이전트 수정 루프를 사용함

• 코드를 생성한 뒤, 자동 린트 및 타입체크 소프트웨어(Sorbet 등)로 검증
• 코드 실패 시, 에이전트가 자동으로 수정 후 다시 결정적 검증 단계 진입
• 전체 테스트 300만여 건 중 일부만 선별해서 신속 자동 테스트 진행
• 최대 2회의 자동 수정 루프 이후에도 실패하면 인간 개입 요청으로 전환

Stripe의 핵심 개념 ‘블루프린트’로 에이전트/결정적 작업을 교차 구현

• 블루프린트는 한 워크플로 내에서 에이전트(비결정적)와 결정적 코드가 교차되는 설계
• 예시: 컨텍스트 자동화(결정적) → 코드 생성(비결정적) → 린트/타입체크(결정적) → 리페어(비결정적) → 자동테스트(결정적) → 최종 인간 리뷰
• 모든 단계에서 시스템이 전체 실행을 제어, 에이전트는 부분적·목적 지향적으로만 활용
• 이런 원칙은 Shopify Roast 등 타사의 구조화 AI 엔진도 동일하게 적용

결정주의 강화는 비용 절감, 토큰 관리, 신뢰성 향상 등 실질적 효과를 가져옴

• Stripe는 “작은 결정들을 코드로 미리 정해두면 토큰 소모(비용)도 줄고, AI가 실수할 여지를 줄일 수 있다”고 블로그에서 밝힘
• LLM이 강력해져도 여전히 중요한 단계(테스트 등)에서 실수·스킵 가능성 존재, 반드시 결정적 검증이 필요함
• 시스템적으로 워크플로 구조 자체에서 에이전트 역할을 제어함으로써 전체 신뢰성·품질이 극적으로 개선됨

Stripe 사례는 일반 개발자/팀에게도 즉시 활용 가능한 워크플로 설계안을 제공함

• Stripe와 동일한 환경/인프라가 없어도 PIV 루프(Plan-Implementation-Validation) 등 핵심 워크플로 패턴은 쉽게 일반화할 수 있다고 강조
• 예시: ① 시드 정보/이슈–② 계획 수립(에이전트)–③ 계획 확정 및 새로운 맥락 창–④ 구현(에이전트)–⑤ 린트/테스트/타입체크(결정적)–⑥ 실패 시 반복–⑦ 최종 코드 리뷰 및 병합
• Shopify Roast와 같은 오픈소스 활용, 기존 생성형 코딩 비서와의 조합, 수작업–자동화 병행 모델 제작법 등 구체 팁 공개
• 관련 커뮤니티・워크숍(예: Dynamis, Archon) 정보 공유 및 간단한 사례 시연

업계는 점점 ‘에이전트의 자유’가 아니라 ‘시스템의 통제’가 핵심임을 인식하게 됨

• Stripe, Shopify 등 선두 기업 모두 “에이전트가 전부를 결정하게 두지 않는다”며, 시스템 내에서 결정적 검증·제어의 비중을 점차 높이고 있음
• 향후 AI 코드 자동화의 미래는 더 강력한 시스템 기반 워크플로와 인적 리뷰, 결정적 검증의 결합으로 진화할 전망임