영상 링크: Multi Agent AI and Network Knowledge Graphs for Change — Ola Mabadeje, Cisco
채널명: AI Engineer
변화 관리를 위한 멀티 에이전트 AI와 네트워크 지식 그래프 핵심 요약
- 시스코의 ‘아웃시프트’ 그룹에서 추진하는 AI 기반 네트워크 변화 관리 솔루션의 목표와 구조를 소개함
- 고객사의 변화 관리(Change Management) 환경에서 빈번한 실패 문제를 AI로 해결할 수 있는지 탐구함
- 위 문제 해결을 위해 자연어 인터페이스, 멀티에이전트 시스템, 네트워크 지식 그래프의 세 가지 주요 요소로 솔루션 설계
- 실제 네트워크를 디지털 트윈과 네트워크 지식 그래프로 모델링해 다양한 벤더와 장치를 포괄적으로 표현
- 데이터 수집·표현 및 쿼리 성능·운영 유연성·벡터 인덱싱 등 제품 요구사항을 바탕으로 기술 스택 검토
- Neo4j와 ArangoDB 중 ArangoDB를 주 데이터베이스로 선택, 오픈컨피그(OpenConfig) 스키마를 표준 데이터 구조로 사용
- 지식 그래프는 다양한 형태의 네트워크 데이터를 통합, 계층별 정보 조회 및 테스트 시나리오 준비에 최적화됨
- 글로벌 오픈 소스 에이전트 플랫폼(agency.org) 참여 및 표준화된 멀티에이전트 시스템 프레임워크 실현 목표
- 실제 시나리오 데모를 통해 ITSM(서비스나우)과 연동된 에이전트들의 협업, 테스트 계획 자동 생성, 깃허브·디지털 트윈 활용 실증
- 에이전트의 파인튜닝을 통해 쿼리 토큰 소모 및 응답 시간 크게 단축, 전체 변화 관리 프로세스 자동화 효율화 달성
- 정량적 가치 측정을 위해 외적(evaluative) 지표 중심의 제품 평가 시스템 도입
- MVP 단계이나 지식 그래프와 오픈 에이전트 프레임워크를 핵심 확장 기반으로 확인
세부 요약 - 주제별 정리
아웃시프트 그룹은 신규 기술 도입과 AI 적용을 집중적으로 추진하며 네트워크 변화 관리 문제를 정의함
- Ola Mabadeje는 시스코의 제품 담당자이며, 아웃시프트(Outshift) 그룹은 혁신 기술을 사내 비즈니스에 적용하는 인큐베이션 조직임
- 고객 문제로 네트워크 변화(change) 관리 시 프로덕션 환경에서 잦은 실패가 발생함을 확인
- 고객 대상 인터뷰, 프로토타입 제작, A/B 테스트, MVP 론칭 등 일련의 제품화 프로세스를 소개
- 변화 관리의 실패 방지에 AI, 특히 에이전트 시스템이 기여할 수 있는 영역(3-4-5단계)을 도출
자연어 인터페이스, 멀티에이전트 시스템, 네트워크 지식 그래프가 솔루션의 세 가지 축임
- 네트워크 운영팀(엔지니어뿐 아니라 시스템)과 상호작용하는 자연어 인터페이스 필요
- ITSM 도구(예: Service Now)와 연결, 양방향 정보 교환 실현
- 멀티에이전트 시스템을 통한 역할 분리: 영향 평가, 테스트, 실패 원인 추론 등 각 에이전트에 기능 할당
- 실제 네트워크의 ‘디지털 트윈’ 구성: 지식 그래프와 테스트 실행 도구 통합
다양한 벤더와 장치를 포괄하는 네트워크 지식 그래프 설계와 데이터 수집 파이프라인 구축이 필수였음
- 고객 환경에서 장치와 벤더의 다양성 및 데이터 포맷의 상이함(예: YANG, JSON)
- 다양한 소스(제어 시스템, 장치 자체, 관리 에이전트, 설정 툴 등)에서 데이터를 추출 및 표준화 필요
- 데이터 형태(스트리밍 텔레메트리, 설정 파일 등)별 통합 처리 방법 설계
제품 요건은 모델 유연성, 쿼리 성능, 운영 유연성, 벡터 인덱싱, 멀티벤더 호환성 등으로 구체화됨
- 멀티모델 유연성: 키-벨류, JSON, 관계식 등 다양한 데이터 구조 지원
- 엔지니어가 빠르게 노드 정보를 쿼리할 수 있는 낮은 응답지연 성능 요구
- 스키마 프레임워크 통합 및 운용의 유연성 확보 필요
- 벡터 인덱싱 및 시맨틱 서치 지원(그래프 RAG 등 활용)
- 고객 환경 내 손쉬운 통합과 다양한 벤더지원 필수 조건
ArangoDB를 메인 데이터베이스로 선정하고 오픈컨피그 스키마로 데이터 구조를 통일함
- Neo4j와 ArangoDB(아랑고 DB) 등 그래프DB를 검토, 최종적으로 ArangoDB 선택
- 보안, 추천시스템 등 기존 유즈케이스와 연계 가능성, 향후 Neo4j 적용도 고려 중
- 오픈컨피그(OpenConfig) 스키마를 네트워킹 표준 구조로 채택, 공개 문서가 풍부해 활용성 높음
계층 구조의 네트워크 그래프 모델로 다양한 쿼리 니즈를 효율적으로 대응함
- 네트워크의 엔티티를 계층별로 구조화
- 특정 테스트(예: 구성 변경 비교)는 최하위(raw) 구성 파일 레이어 리드만으로 처리
- 도달성(Reachability) 검증 테스트에는 여러 계층 정보(구성, 데이터/컨트롤 플레인 레이어 등) 활용
- 각 에이전트가 요청 목적에 따라 적절한 계층 정보에 직접 접근해 효율적 작업 수행
오픈 소스 에이전트 플랫폼(agency.org)은 상호운용성, 표준화, 글로벌 협업을 겨냥하고 있음
- 아웃시프트, LangChain, Galileo 등 파트너사와 오픈 소스 에이전트 생태계 구축 중
- 개방형 스키마·정체성·역량 기술, 중앙 디렉토리, 시맨틱/신택틱 에이전트 합성, 상태 관찰 구조를 포함
- 각국 에이전트가 재구성 없이 상호 연동될 수 있는 환경 목표
- MCP, A2A 등 인기 프로토콜도 통합 지원, 누구든 개발·기여 가능한 GitHub 오픈리포지토리 제공
실제 변화 관리 시나리오에서 멀티에이전트가 자연어 인터페이스와 연동하여 모든 단계를 자동으로 처리함
- 네트워크 엔지니어가 새로운 서버 추가를 위해 방화벽 룰 변경 필요
- ITSM(서비스나우)에 티켓 생성 → 애플리케이션에서 자연어로 티켓 정보 ingestion됨
- 에이전트들이 협업하여 간결한 과제 요약, 영향평가(impact assessment) 생성 후 ITSM 티켓에 첨부
- 테스트 계획 자동 수립: 인터넷의 관련 테스트 사례를 조사, 맞춤형 테스트 케이스 및 기대 결과 목록 생성/첨부
실행 단계에서 깃허브 연동 및 디지털 트윈 기반 자동 테스트·피드백이 실현됨
- 방화벽 구성변경 파일은 깃허브에 pull request로 등록
- 실행(Executor) 에이전트가 지식 그래프에서 최신 네트워크 스냅샷을 가져오고, 깃허브 pull request와 결합해 테스트 수행
- 디지털 트윈 환경 내 batfish, routenet 등 도구 활용 다중 테스트 동시 진행
- 테스트 결과 리포트 자동 생성 및 ITSM 티켓에 첨부, 실패 시 개선점까지 제안
쿼리 에이전트 파인튜닝을 통해 효율·응답성과 비용을 모두 크게 향상시킴
- 쿼리 에이전트는 지식 그래프에 주기적으로 조회, 초기에 reasoning loop로 쿼리시 토큰 소비와 지연이 큼
- 파인튜닝(스키마+예제 쿼리 포함) 후에는 토큰 소모량과 쿼리 결과 반환 시간이 대폭 감소
시스템 가치는 정량적 외적 지표로 평가하며 MVP 경험을 축적하고 있음
- 지식 그래프·에이전트·디지털 트윈별로 측정 가능한 메트릭을 설정해 결과 평가
- 고객 가치와 연동 가능한 외적(evaluative) 성능 평가에 중점(내재적 평가는 우선순위 아님)
- MVP 버전이지만, 지식 그래프 및 오픈 표준기반 에이전트 프레임워크가 확장성과 실전 적용에 핵심임
궁극적으로 AI, 지식 그래프, 표준화 에이전트의 결합이 네트워크 변화 관리 자동화의 혁신을 견인함
- 변화 관리의 각 단계를 자연어·자동화 인터페이스, 지식 그래프와 멀티에이전트가 유기적으로 커버
- 실 환경 요소(깃허브, ITSM, 네트워크 도구 등)와의 연계를 통한 엔드투엔드 자동화 실증
- 차후 상용 환경 확장 및 개방형 생태계 발전의 기반을 마련함