Multi-agent org · postmortem

한국 SMB가 자동화 흐름을 직접 설계해야 하는 부담을 줄이기 위해 에이전트 조직이 대신 일하게 하자는 비전이었습니다. 다중 페르소나, chain 워크플로, 다계층 모델 라우팅(cascade), 멀티테넌트 격리, 클라이언트 앱(Board)까지 만들었습니다. 제품은 빌드됐지만 운영으로 이어지지 않았고, 무너진 것은 '자율만으로 품질이 나온다'는 가설이었습니다.

• 01다중 페르소나 + chain 워크플로 오케스트레이션 — 실제 실행 경로까지 구현
• 02cascade 다계층 모델 라우팅 — 비용·환각을 한 계층에서 다루는 설계
• 03멀티테넌트 RLS 서버 강제 + 감사 로그 — 격리 구조는 유효했음
• 04클라이언트 앱(Board) — 멀티테넌트 승인 워크스페이스, 같은 비전의 반쪽

당시 가설: 에이전트를 조직처럼 구성하면 자율 운영만으로 프로덕션 수준의 결과물이 나온다. — 이 가설은 깨졌습니다. 지금 판단: 자율 조직으로 프로덕션 결과물을 뽑는 건 시기상조입니다. 캐스케이드·모델 분배 같은 체계 설계는 유효하지만, '자율' 은 아니었습니다.

• 01세션 하나가 오염되면 그 뒤 작업물에 환각이 겹겹이 쌓임 — 겉보기엔 멀쩡해서 더 위험
• 02에이전트의 '다 했다' 보고와 실제 산출물 사이의 갭 — 그럴듯한 완료 보고가 기본값
• 03결과물 품질이 에이전트 수와 무관 — 다수를 돌려도 검증 없는 산출물은 검증 없는 산출물
• 04돌아가는 화면이 주는 만족감 — 지켜보는 제 만족도만 올라가는 장치가 되어 있었음

• 자율 조직 폐기 — 사람이 설계한 검증 시스템으로 전환: 교차 모델 적대 리뷰, 실측 검증 에이전트, 항목 대조 완료 판정

  buy'알아서 다 해주는' 환상 포기 → AI 산출물을 신뢰할 수 있게 만드는 실제 구조

• 세션이 끝나면 전부 잊는 문제 → 외부 기억 설계: 결정·금지선·사고 원인을 파일로 박제하고, 반복 실수는 강제 규칙으로 컴파일해 매 세션 적용

  buy기억 관리(압축·아카이브·규칙 승격) 비용 상시 발생 → 같은 실수가 두 번 일어나지 않는 구조

• 체계 설계(캐스케이드 라우팅·모델 분배·테넌트 격리)는 남김 — 버린 건 '자율' 하나

  buy제품으로서의 Nexus 는 접음 → 구조 자산은 다음 프로젝트들의 기반이 됨

이 실패에서 나온 검증 시스템을 이후 프로젝트에 적용했습니다 — 전자서명 SaaS는 AWS production 환경과 출시 전 감사까지, 외주 납품 채팅 앱은 코드·데이터·배포 책임 내재화와 무중단 컷오버까지 연결했습니다. 자율을 버리고 검증을 남긴 선택이 다음 제품의 운영 방식으로 이어졌습니다.

Failed. 그리고 이 실패가 지금 제 검증 시스템의 출처입니다.

결과물의 품질은 에이전트 수에서 나오지 않습니다. AI 를 의심하는 사람이 설계한 검증 시스템에서 나옵니다. '말만 하면 다 뽑아준다' 는 환상이 없는 것 — 그게 AI 를 정말 써본 사람과 아닌 사람의 차이입니다. 이 페이지를 Failed 로 적는 이유도 같습니다: 결과만 박은 포트폴리오는 죽은 포트폴리오입니다.