🔍 EVALUATOR 웹페이지 실사용 평가 — 설계 제안

상태 = 제안(결정 2건 대기). 멀티에이전트 EVALUATOR의 능력을 "계획 충족 검증"에서 "실사용 문제·개선안 판정"으로 확장하는 설계. 2026-06-02 채티 제안.

문제

현재 EVALUATOR는 코드만 읽어 계획 충족 여부를 본다. 이것으로는 웹페이지가 실제로 작동하는지, 실사용 시 어떤 문제가 나는지 못 잡고 오히려 없는 문제를 지어내기 쉽다(할루시네이션).

핵심 방향

EVALUATOR에게 손(브라우저 조작)과 눈(스크린샷+비전)을 주고, 실제로 띄워 조작한 증거로만 판정하게 한다. "검증증거 기반 결과계약" 원칙과 정합.

두 평가 축

• 기능(작동하는가): Playwright로 실제 클릭·입력·이동 → 콘솔 에러 / 실패한 네트워크 요청 / 접근성 트리로 잡음. 하드 신호 → 자동 FAIL 판정 가능.
• 실사용 품질(쓸만한가): 스크린샷(데스크탑+모바일) → 비전 LLM이 레이아웃 깨짐·UX 마찰·반응형 문제 평가 → 문제 + 개선안 산출. "실사용 문제·개선안"은 대부분 여기서 나옴.

파이프라인 (최소 버전)

1. preview — CODI 산출물을 띄움(정적이면 로컬 서버, dev 서버면 기동 후 URL 대기). 고정 하네스로 처리.
2. drive — Playwright로 PLANNER 검증기준 플로우 실행 + 짧은 자유 탐색.
3. capture — 콘솔/페이지 에러, 실패 요청, 단계별 스크린샷.
4. evaluate — 비전 LLM이 [계획충족] + [실사용품질] 두 축 평가.
5. contract — PASS/FAIL/수정요구 + 문제목록 + 개선안, 각 항목에 증거(스크린샷·콘솔라인·플로우 단계) 첨부 → HandoffArtifact 저장.

도구 권고 = Playwright MCP

2026 기준 마이크로소프트 공식 서버가 에이전트 브라우저 자동화 디폴트. 접근성 트리(텍스트) 기반이라 어떤 추론 모델에서도 동작, 모호한 화면을 추론하며 탐색하는 데 강함. 단점 = 토큰(고정 CLI 대비 약 4배). EVALUATOR는 채티와 같은 claude-agent-sdk(구독) 위라 비용 부담 적음. 2026 권장 패턴 = 탐색·발견은 MCP, 회귀 보호가 필요한 핵심만 스크립트로 굳히는 조합 → 처음엔 MCP만으로 충분.

결정 2건 (대기)

1. 탐색 깊이 — ⓐ PLANNER 검증기준 플로우만(좁고 빠름) vs ⓑ 거기에 EVALUATOR 자유탐색 추가(실사용 문제 발굴↑, 토큰↑). 실사용 문제를 보려면 ⓑ 권장.
2. 비전 평가 포함 여부 — 빼면 "작동은 함, 그런데 못생김/불편함"을 못 잡음. 레이아웃·UX까지 보려면 포함 권장.

스코프 안전성

브라우저는 읽기·조작만 하고 코드를 안 고치므로 EVALUATOR "직접 수정 금지" 규칙과 충돌 없음. serve 단계만 임의 Bash가 아닌 고정 하네스로 막으면 broker 위험작업 게이트도 안 건드림.

다음

위 결정 2건(탐색 깊이 / 비전 포함) 확정 시 → 5단계 + 결과계약 스키마로 코디 이식 지시문(.md) 작성.