Stateful environments for vertical agents - Josh Purtell, Synth Labs

영상 링크: Stateful environments for vertical agents — Josh Purtell, Synth Labs
채널명: AI Engineer

수직 전문 에이전트 개발을 위한 상태 보존 환경(Stateful Environments) 핵심 요약

• **Josh Purtell(Synth Labs 창립자)**는 수직(Vertical) 산업군(금융, 회계, 헬스케어 등)에 적용할 AI 에이전트의 성능을 비약적으로 높여주는 “상태 보존 환경(stateful environments)” 개념을 소개함
• 환경(environment)은 강화학습(RL) 분야에서 에이전트의 수행 논리를 알고리즘과 분리해 캡슐화(컨테이너화)하는 데 사용되는 전통적 개념이며, RL Glue·OpenAI Gym 등의 구현체가 존재
• 최근 모델 성능의 비약적 향상(예시: Sonnet 3.5, Claude Artifacts)으로, 에이전트에게 단순 계산·검색을 넘어서 ‘제품이나 산출물을 여러 단계에 걸쳐 수정·개선’하게 요구하는 복잡한 작업이 늘어남
• 상태 보존 환경은 에이전트가 외부 엔진(엑셀, 웹 앱 등)의 상태를 관찰하고, 조작하며, 주변 환경의 전체가 아닌 “필요한 것만 볼 수 있는” 추상적 인터페이스를 제공함
• 네트워크 경계(network boundaries)를 두면 해당 환경이 별도 프로세스에서 동작 가능해, 하나의 환경에 여러 모델·에이전트가 동시에 장기간 작업할 수 있게 됨. 이 방식은 대규모·비동기 에이전트 운영에서 필수적임
• 환경을 코드로 독립 캡슐화하면, 새로운 AI 모델 출시 시 에이전트 로직만 교체 가능해 “빠르고 유연한 모델 업데이트”가 매우 쉬워짐
• 가장 큰 장점: 에이전트가 작업 대상(환경)의 상태를 ‘리셋·롤백’하는 것이 쉬워 대규모 트리서치(tree search), 롤백 기반 실험, 장기 작업(수백/수천 단계) 등에서 탁월한 안정성과 성능을 보임
• 실제 예시로 Minecraft 게임에서 상태 보존 환경을 통해 실시간 분기(branch)를 탐색하고, 최적 분기를 롤백·선택해 장기 과업에서 효율성을 크게 높인 사례를 시연함
• Synth Labs에서는 상태 보존 환경 추상화와 다양한 학술 벤치마크 구현을 오픈소스로 공개하고 있으며, github에서 ‘synth AI environments’로 검색 가능
• 요약: 상태 보존 환경은 복잡한 산업 에이전트 개발의 구조적 한계를 해결하며, 대규모·장기 작업 시대의 AI 에이전트 설계에서 핵심 인프라로 자리잡고 있음

세부 요약 - 주제별 정리

Josh Purtell은 수직 특화 에이전트의 한계를 극복하기 위해 상태 보존 환경 개념을 강조함

• Josh는 Synth Labs의 창립자이자, 다양한 산업에 특화된 에이전트(Vertical Agents) 개발 경험을 바탕으로 강연을 진행함
• 그는 최근 수개월간 커뮤니티와 협력하며, 실제 현장에서 ‘에이전트 코드 구조화’에 필요한 공통 패턴과 문제 해결법을 발견함
• 특히, 산업계에서 복잡한 업무 흐름(예: 금융, 회계, 의료)을 자동화할 때 “상태를 보존하는 환경” 개념이 핵심적으로 기여한다고 주장함

환경(environment) 개념은 RL 등 AI 분야에서 오랫동안 검증된 구조임을 짚음

• “환경”이란 용어는 모호해보일 수 있으나, AI 강화학습(Reinforcement Learning) 분야에서 오랜 역사를 가짐
• RL의 환경은 에이전트로부터 “업무(태스크) 자체의 논리”를 분리·캡슐화하는 설계방식임
• 초기 사례로 RL Glue(초창기 RL 인터페이스), OpenAI Gym(OpenAI가 RL 주축이던 시절 만든 대표적 도구) 등이 있음
• 최근 학계에서는 SubBench, SU Agent 등에서 “Agent-Computer Interface”라는 개념을 도입하여 환경 캡슐화 방식이 진화함

최근 LLM 및 도구 사용 환경 변화가 “상태 보존 환경” 도입을 가속화함

• 약 2년 전까지 LLM(예: GPT-3)에게 요구하는 과업은 간단하여, 복잡한 환경 추상화가 필요 없었음
• 사용자가 LLM에게 간단한 덧셈이나, 인터넷 검색 등만 시켰던 시절에는 견고한 구조가 요구되지 않았음
• 그러나 Sonnet 3.5, Claude Artifacts 등 강력한 모델이 등장하며, 에이전트에게 복잡한 산출물(artifact, 제품)을 반복 수정하고 발전시키는 ‘장기 작업’이 요구됨
• Claude Artifacts와 같은 툴이 나온 이후, 개발자/연구자들은 “에이전트가 실질적인 제품 작업을 어떻게 관장할 것인가”에 집중하게 되었음

상태 보존 환경은 에이전트와 외부 시스템 간 복잡한 상호작용과 상태 관리를 효과적으로 중재함

• 상태 보존(environment)은 결과 연산을 ‘에이전트 코드’가 아닌 독립된 외부 엔진(예시: Excel, 웹 애플리케이션, DB 등)에서 실제로 수행하도록 설계됨
• 실제 엑셀 전체나 OS 전체를 에이전트에게 보여줄 필요 없이, 필요한 환경 축소·추상화된 인터페이스만 제공
• 에이전트는 이 요약 상태(State)만 관찰·조작하고, 복잡한 내부 연산·상호작용(예: API 접근 등)은 환경 엔진이 책임짐
• 이렇게 함으로써 에이전트는 불필요한 디테일에 휘둘리지 않고, 실제 업무에만 집중

네트워크 경계 도입으로 여러 에이전트가 장기·동시적으로 독립 작업이 가능해짐

• 환경이 하나의 독립 프로세스, 또는 네트워크 경계로 분리되어 동작하면, 동일 환경에서 여러 에이전트·모델이 동시에 협력(또는 경쟁) 가능
• 이를 통해 ‘비동기적(Asynchronous)’ 작업, 다양한 에이전트·모델 동시 투입, 장기적 협업이 손쉽게 됨
• 대규모 운영·프로덕션 환경에서 가장 신뢰할 수 있는 비동기 시스템 구성법은 네트워크 경계설정임을 강조

환경 추상화는 에이전트 논리의 빠른 교체와 유지보수를 가능하게 함

• 산출물에 대한 연산·관리 로직이 “변하지 않는 코드(불변의 환경)”로 독립해 있으면, 새로운 대형 AI 모델이 등장해도 에이전트만 교체하면 됨
• 온갖 기능이 뒤섞인(=monolithic) 코드일수록 전체 구조 변경이 어렵고 위험하지만, 환경/에이전트 분리가 이루어지면 유연성과 확장성이 획기적으로 향상됨
• 새로운 모델·에이전트 적용 시, 기존 환경 코드를 그대로 활용 가능하여 개발 부담이 크게 감소

롤백·리셋이 용이해져 장기 학습과 트리서치에 엄청난 이점이 생김

• 상태 보존 환경은 ‘롤백(상태 복구)’ 및 ‘리셋(초기화)’ 기능을 자연스럽게 제공
• 에이전트가 잘못된 경로로 “탈선”하더라도, 손쉽게 특정 지점으로 복원해 반복 실험 가능
• 이전에는, 2020년 논문 “Language Agent Research”에서 매우 뛰어난 실험 결과를 냈지만 롤백·리셋 추상화가 부재해 실생산 적용이 거의 불가능했음
• 현대에는 상태 환경, 리셋·롤백 인프라 덕분에 장기·다단계 트리 탐색(예: Language Agent Tree Search)이 실전에서도 구현 가능해짐

Minecraft 예시로 복잡한 장기 과업에서 상태 환경의 강점을 구체적으로 보여줌

• 실제 사례로, Minecraft 게임에서 에이전트가 수많은 단계(branch)를 분기하며 작업(트리서치)중 하나의 최적 경로를 선택하는 과정을 시연
• 하나의 분기는 실패하고, 다른 분기는 성공했을 때 손쉽게 ‘최고 성과 branch’로 돌아가 재진행 가능
• Minecraft와 같은 수백~수천 단계 연속 과업(장기 horizon)에서 ‘잘못된 branch 무한 반복’이나 전체 재실행을 방지하여, 효율성·성공률 크게 증대
• 이 기법은 게임 뿐 아니라 실제 산업 분야에서도 큰 가치(예: 문서 작성, 분석, 거래 수행, 보고서 작성 등)임을 강조

Synth Labs는 상태보존 환경 오픈소스 구현체와 학술 벤치마크를 공개하고 있음

• Synth Labs에서는 ‘synth AI environments’라는 이름으로 상태보존 환경 관련 다양한 추상화 도구와 구현체를 오픈소스로 공개 중
• 학술 논문 벤치마크에 맞는 실제 구현, 다양한 환경·대상에 맞춘 코드 예시가 포함됨
• github 등에서 ‘synth AI environments’로 검색하면 자유롭게 활용 가능함

상태 보존 환경은 대규모·복잡 에이전트의 핵심 기반 인프라로 부상하고 있음

• 복잡한 산업용 에이전트, 여러 단계 결과물을 다루는 AI의 구조적 한계를 해소할 핵심 설계 패러다임으로 “상태 보존 환경”을 규정
• 모델 교체, 멀티에이전트 협업, 장기 트리서치, 실행 롤백 등 ‘실제 운영’에서 필요한 모든 기능을 안정적·효율적으로 구현할 수 있음
• Synth Labs는 이 방향의 발전과 커뮤니티 협업이 에이전트 미래의 결정적 토대가 된다고 소개함