Deployment Watcher
배포 검증 워처
HTTP 200과 사용자가 보는 정상 화면은 다르다.
출발점과 담당 범위
검증 도구 · AI 리뷰 실험
맡은 범위
CLI 검사·상태 판정·정적 상태보드·Telegram 알림과 재현 시험을 연결했습니다. 알려진 결함을 고정해 AI 검사 방식별 결과도 비교했습니다.
시작할 때의 상태
업무에서 반복하던 배포 점검을 별도 사전 과제로 구현했습니다.
개발 범위 · 기술 · 협업 자세히 읽기
시작할 때의 상태
업무에서 반복하던 배포 점검을 별도 사전 과제로 구현했습니다. 실고객용 SaaS나 해당 기업의 재직 경험은 아닙니다.
작업 개요
응답 상태부터 본문·배포 버전·브라우저 렌더링까지 확인하는 Python 도구입니다. AI 리뷰가 찾은 지적의 개수보다, 목표 결함을 실제로 재현하는지를 시험했습니다.
개발·개선 범위
- HTTP·본문·버전·렌더 검사
- 검증 불가와 장애의 상태 분리
- 알림·상태보드
- 재현·회귀 시험과 AI 감사 비교
- 사용한 기술
- Python · HTTP · Browser automation · Telegram
기존 자산 · 외부 서비스 · AI 활용
AI 코딩·리뷰 도구, HTTP·브라우저 검사 도구와 Telegram을 활용했습니다. 검사 대상 서비스의 개발과 워처 개발은 별도 범위입니다.
제품 화면과 구조 요약
문제 해결
많이 지적한 리뷰가, 찾으려던 결함은 놓쳤다
문제
광범위한 AI 감사가 여러 실제 문제를 찾아도 목표 결함을 놓치는 경우가 있었습니다.
바꾼 점
넓은 감사, 구조화된 리뷰, 특정 명제를 반증하도록 요청하는 방식을 비교했습니다.
확인한 것
넓은 감사가 놓친 목표를 구조화 리뷰와 반증 요청이 찾은 기록을 남겼습니다.
조사·판단·검증 과정 읽기
마주한 문제
광범위한 AI 감사가 여러 실제 문제를 찾아도 목표 결함을 놓치는 경우가 있었습니다. 리뷰를 더 많이 돌렸다는 사실만으로 충분히 확인했다고 말할 수 없었습니다.
확인한 과정
결함이 알려진 버전과 모델 설정을 고정하고 세션을 초기화했습니다. 문서·Git 기록에 있는 정답 단서를 제거하고, 결과를 보기 전에 평가 기준을 정해 비교했습니다.
선택한 방법
넓은 감사, 구조화된 리뷰, 특정 명제를 반증하도록 요청하는 방식을 비교했습니다. 의견의 수보다 직접 작성한 실행 프로브와 반례를 우선하고, 수정 전 코드에서도 검사가 실패하는지 확인했습니다.
어떻게 확인했는가
넓은 감사가 놓친 목표를 구조화 리뷰와 반증 요청이 찾은 기록을 남겼습니다. 한 시험에서 사라진 오탐도 여러 시드에서 다시 나타나자, 검출 한계와 제품 설명을 함께 수정했습니다.
결과와 현재의 경계
결과, 그리고 지금.
겉보기 정상과 실제 배포 반영을 분리하는 검사 경로를 만들고, 정상으로 단정할 수 없는 결과를 별도 상태로 남겼습니다. AI 리뷰에도 반례와 실행 증거를 요구하는 방식으로 검증 기준을 구체화했습니다.
한정된 결함과 시험 조건에 대한 도구·실험입니다. 범용 보안 탐지나 AI 모델 전체의 성능을 입증한 자료는 아닙니다.
작성 기준: 2026년 9월 작업 기록·소스 대조. 과거 검증 결과를 현재의 모든 동작에 대한 보증으로 사용하지 않습니다.
역할과 협업 이야기하기