AI Code That Fixes Itself (An MCP You Can Try Now)

영상 링크: AI Code That Fixes Itself (An MCP You Can Try Now)
채널명: Cole Medin

AI가 스스로 오류를 고치는 코드: 지금 사용해볼 수 있는 MCP 소개 핵심 요약

• 영상에서는 AI 코딩 어시스턴트의 반복적인 실수(‘환각(hallucination)’ 문제)와 그 해결을 위한 최신 접근법인 ‘지식 그래프(knowledge graph)’와의 결합을 소개함
• Cole Medin은 오픈소스 AI 에이전트 프레임워크(Pydantic AI) 전체를 Neo4j 기반 지식 그래프로 전환하여 AI 코딩 어시스턴트가 코드 구조, 함수, 클래스 관계를 질의할 수 있게 만듦
• 실제 예시로, AI 어시스턴트가 잘못된 함수(invoke_async)를 호출하는 환각 문제를 지식 그래프 기반 검증 스크립트로 즉각 식별 및 교정 가능함을 시연
• 이 환각 감지 스크립트는 LLM(대형 언어 모델) 없이 사실 기반 코드 분석만으로 함수, 파라미터 오류를 빠르고 확실하게 검출함
• AI 어시스턴트는 반복 피드백 과정을 통해 잘못된 부분을 스스로 수정, 환각 비율을 0%로 줄이는 ‘자가교정(Self-correction)형’ 코딩을 실현함
• 브라우저 자동화(Director, Stage Hand)와 프론트엔드 개발(Bolt, Lovable 등)에서도 유사한 자가 피드백, 자체 수정 기능이 이미 성과를 내고 있음을 언급
• MCP 서버 내에서 ▲환각 체크 실행, ▲지식 그래프 질의, ▲GitHub 저장소 인덱싱 등 다양한 툴이 통합되어 AI 보조 코딩 환경을 구축함
• 실제 사용 사례에서 Claude Code와 MCP 서버, 명확하게 정리된 Workflow 문서(claw.md)를 통해 AI가 환각 없는 Pydantic AI 에이전트를 자동 생성함을 상세히 시연
• MCP 서버, Archon V2 등은 완전 무료 및 오픈소스로 공개되며, 향후 더욱 정교한 AI 코드 보조·프로젝트 관리 플랫폼으로 진화 예정임

세부 요약 - 주제별 정리

AI 코딩 어시스턴트의 환각 문제와 신뢰성 개선 시도

• AI 코딩 어시스턴트는 개발 속도를 크게 높이지만, 반복적으로 잘못된 코드를 생성(‘환각’)하여 실무에서 신뢰성 문제가 큼
• 오류 발생 시 LLM이 자가 수정 루프에 빠져 개발자에게 큰 불편을 초래함
• Cole Medin은 최근 Crawl for AAI RAG MCP 서버, Archon(에이전트 빌더) 등 여러 프로젝트를 통해 이 문제를 해결하고자 함
• 특히 Archon의 V2 대규모 오버홀과 MCP 서버 개선이 진행 중이며, 새로운 UI(영상 내 최초 공개)와 여러 내부 기능이 추가됨

지식 그래프가 AI 코딩 보조에 가져오는 혁신적 변화

• 핵심 아이디어: AI 코딩 어시스턴트가 코드 저장소(예: Pydantic AI, GitHub 오픈소스 프레임워크)를 그래프 형태로 구조화된 지식으로 활용
• Neo4j로 구현한 지식 그래프에는 저장소, 파일(녹색), 함수(진청색), 클래스(청록색), 클래스의 함수/속성(빨강/베이지)이 노드로 들어감
• 각 노드와 관계는 AI가 프롬프트나 문서가 아닌, 실질적인 코드 관계를 탐색하고 검증할 수 있도록 설계됨
• 300개 이상 노드 표시(전체는 수백~수천 개)로 방대한 구조화 정보를 제공

실제 환각 발생·교정 시나리오로 지식 그래프의 위력을 입증함

• 예시: Windsurf로 Pydantic AAI 기반 에이전트 코드를 생성 시 올바른 시스템 프롬프트, 툴 등은 구현했으나, 존재하지 않는 ‘invoke_async’ 함수를 호출
• 지식 그래프의 agent 클래스 노트에서 해당 함수(빨강 노드)가 비어있음을 빠르게 시각적으로 확인
• 기존 LLM 기반 문서 분석만으로는 잡아내기 힘든 꼼꼼한 구문 오류까지 탐지
• 환각 탐지 스크립트 활용: 파이썬 스크립트 경로 입력 시, LLM 없이 그래프에서 실제로 존재하는 메소드/파라미터만 검사하여 결과 반환
• 유효한 사용례 7건, 환각(hallucination) 1건(‘invoke_async’ 미존재)으로 정확히 검출
• AI 어시스턴트는 이 피드백을 받고, invoke_async→run_stream 등 올바른 함수로 바꾼 뒤 환각률 0% 달성
• 함수 파라미터 오류(존재하지 않는 argument)도 즉시 탐지(예: user_prompt, model_settings는 OK, test는 X)

지식 그래프를 통한 자가 피드백과 자체 수정의 가능성이 증명됨

• 에이전트가 지식 그래프를 직접 탐색하며 코딩 과정 중 실시간 오류 점검, 교정 가능
• 보통 문서/예제에는 빠지는 미세한 파라미터/관계도 실제 코드에서 찾아 즉시 활용
• 오픈소스 라이브러리, 툴 사용 시 개발자 개입 없이 AI가 진실에 근거한 수정 루프 도입 가능

프론트엔드와 브라우저 자동화 등 다른 영역의 자가 피드백 사례 소개

• 프론트엔드 개발: Bolt, Bolt.new, Lovable 등 오픈소스 솔루션이 자체적인 코드 에러 분석/수정 탑재, 실제로 다이너머스 마스터리 페이지 제작에 활용
• 브라우저 자동화: Browserbase(플랫폼), Stage Hand(Playwright 기반 프레임워크), Director(신규 플랫폼) 등을 통해 복잡한 웹 내비게이션 및 작업을 AI가 실시간 자가 피드백/코드 생성 루프와 함께 수행
• 예시: Director로 GitHub 저장소 이슈/PR 요약, Amazon 구매 등 직접 명령 후 전체 자동화 구동, 오작동 시 항상 자체적으로 교정

MCP 서버의 핵심 기능들과 사용법 설명

• 새롭게 추가된 MCP(멀티-코드-플랫폼) 서버는 세 가지 핵심 툴을 포함:
  • 환각 감지 스크립트 실행(스크립트 경로 입력 → 지식 그래프와 대조해 즉시 결과 반환, AI의 자체 수정 가능)
  • 지식 그래프 질의(Class/Method/Custom Query 등 다양한 질의 지원)
  • GitHub 저장소 파싱(레포 URL 입력만으로 그래프에 자동 삽입, 30초 이내 인덱싱, LLM 미사용/순수 코드 파싱)
• Docker 등 환경에 따른 일부 제약사항 안내(Docker 내부에서 스크립트 접근 어려움 등)
• 사용법: 환경변수에서 use_knowledge_graph 활성화 및 Neo4j 인스턴스 클레덴셜 입력 필요, 설치 및 실행 관련 ReadMe 안내문 상세 제공

Claude Code, MCP 서버, 명확한 Workflow를 통한 완전 자동화 시연

• Claude Code 단에서 MCP 서버(포트 설정 포함)를 등록, 지식 그래프 연동 준비
• claw.md 워크플로 문서(작업 범위, 맞춤 워크플로/단계별 안내)를 통해 AI가 구체적인 생성 과정을 체계적으로 따르도록 설계
  • 단계 예시: 소스 검증, 코드 예제 탐색, rag 수행(문서 기반 검색), 클래스/메소드 단위 세밀 질의, 코드 생성 및 환각 검증, 단위 테스트 및 반복 교정 등
• 실제 Claude Code가 자동으로 할 일 목록 생성 후 주어진 플랜을 차례로 실행(사용자 중간 승인 설정 가능)
• 지식 그래프→rag→코드 생성→환각 감지→자가 수정 순환의 전체 사이클을 상세히 확인
• 결과물: 300+ 줄의 환각 없는 pyantic AI 에이전트 코드, 다양한 툴/시스템 프롬프트 연동 및 실제 실행 성공
• 수동으로 환각 감지 스크립트 수행 시 12건 유효 사용, 환각 0건 확인
• 프롬프트(명령)는 심플하게, 워크플로에서는 세밀하게: 복잡한 지시사항은 개발자 문서(claw.md)에 집중, AI 프롬프트는 ‘플랜을 따라 진행’ 정도로만 입력

오픈소스화와 향후 발전 방향(Archon V2, MCP, 지식 그래프 전략)

• MCP 서버, Archon(에이전트 및 프로젝트 매니지먼트), 지식 그래프 전략 모두 무료·오픈소스 유지 방침 강조
• Archon V2에서는 Claude Taskmaster식 프로젝트 관리, 다양한 rag 전략, 지식 그래프 기반 환각 제어 도구가 유기적으로 통합 예정
• Dynamis 커뮤니티 인력 협업 및 점진적 공식 론칭 예고
• Archon V2 초기 알파 단계부터 놀랄만한 효과 확인, 향후 AI 코딩/지식/작업 관리의 최강 플랫폼 목표

실제 사용자 설정 및 실행 힌트(환경 변수, 설치법, 세팅 등)

• Neo4j 설치 옵션: local AI 패키지(추천), Neo4j 데스크탑 등 다양, 설치/연동/기초 사용법 ReadMe에 모두 포함
• 설정 후 MCP 서버(8051/8052 포트 등에서), Claude Code 연동, 워크플로 문서 준비 및 명령 입력 등 전체 과정 체계적 안내

환각 없는 AI 코딩 에이전트 실현의 실제적 의미와 한계

• 지식 그래프·RAG의 결합을 통한 사실 기반 코딩, LLM이 놓치는 오류의 빠른 탐지 및 수정
• 초기 실험 단계(환각 감지·자가교정의 완전 무결성은 향후 보완 예정), 더 광범위한 케이스 통한 정교화 중
• ‘환각 없는 에이전트’라는 대명제가 100% 절대적인 것은 아님을 솔직히 밝힘
• Claw.md의 워딩 등 세부 지침서 작성의 중요성 언급

누구나 즉시 적용해볼 수 있는 오픈소스 생태계 안내

• Crawl for AAI RAG MCP 서버, 전체 소스코드/GitHub/설치법 영상 설명란 링크 제공
• 실제 따라하기 위한 단계별 안내(명령어, 변수 세팅, 인터페이스 활용 등)
• 모든 도구, 예제, 코드, 워크플로 명세가 오픈소스로 즉시 체험 가능함을 강조