2026-09-23 세션 — worklog 추정현장 자동연결 Jev 폴백: 오프라인 임계 측정 → 구현 보류

논의·대안

• [페페] 분배 D1 원문 「1. 진행 … 현재 얼리액세스로 추정된다. 작업하고 테스트하면서 api 실제 사용해봐라」. 설계(26.9.22) = auto_link 게이트가 떨어뜨린 보류 묶음에 Jev choice(후보 + 해당없음)를 묻고 자동 0.90 · 패널 0.60 · conf 0.70 로 가른다. 설계가 «임계 측정이 구현보다 먼저» 를 걸어 뒀다.
• 운영 DB 읽기 전용(rdstunnel 127.0.0.1:13306, SELECT만)으로 auto_link_inferred_sites 게이트를 서비스 모듈 import 로 그대로 재현 = 미연결 묶음 1,097(보류 686 · 무매칭 411). 설계 때 679 → 686.
• 🔑「정답 라벨이 DB에 있다」 가정이 틀렸다 — 패널 단건 클릭으로 site_name 이 보존된 쌍 = 14쌍/19건뿐. 절반은 「다인스·리딩큐친·하스컴퍼니·욕실 현장 → 용산 나진 상가」처럼 이름이 아닌 사람 지식으로 붙인 것. 나머지 연결 569건은 site_name 이 현장명으로 덮여 원래 이름이 없다(talklog 적재 스크립트가 추출 결과를 로컬에 안 남김).
• 그래서 표본 = 보류 상위 cnt 15 + 사유별 층화 무작위 65(seed 923) = 80 + 사람 라벨 10. 정답은 코디가 Jev 결과를 보기 전에 문맥(작업내용·통화상대·후보)을 읽고 labels.py 로 고정 = 현장 아님/후보 밖 55 · 현장 확정 11 · 불확실 14(지표 제외, 확실히 틀린 후보만 지정).
• 변형 5종(A 추출명만·엄격 / B 문맥·엄격 / C 문맥·중립 / D 추출명만·중립 / E C+«통화상대가 담당자인 활성 현장» 후보 추가) × jev-latest, A·C·D 는 jev-preview 재실행.

결정

• 결과 — Jev 실호출 723회 · 입력 575,667토큰(≈$0.024) · 출력 57,873 · 429/401 0건 · 지연 p50 303ms/p95 367ms.
• 설계 임계 0.90 에서 보류분 자동연결 0건(8회 반복 전부). 0.90 을 넘은 유일한 건 「금호 구미」 = 기존 문자열 게이트가 이미 붙이는 건.
• 🔴정답 p 0.45~0.93 / 오답 p 0.43~0.85 가 겹친다 → 오연결 없이 자동연결을 켤 임계가 없다.
• 패널 칩 0.60 정밀도 = 16/29(55%) → 26.9.22 에 걷어낸 52점 쓰레기 칩을 되살리는 셈.
• 대표 오답 = 「의정부 현장(추정)」 에넥스 강동식 통화 → Jev 가 GS 의정부(2023, 강동식 담당) 0.72~0.85. 진행 중인 건 LH 의정부 우정. 통화상대 문맥이 틀린 확신을 키웠다.
• E(담당자 현장 후보 추가)로 김영민→용산 나진 정답을 넣어 줘도 7건 전부 해당없음 — 담당 현장 4개 중 어느 것인지 통화 글에 없다.
• 「해당없음」 p≥0.90 = 263 맞음 / 15 틀림(94.6%). 틀린 것 = STT 오기(「광주 용보동」=용두동) · 「VIP」 · 김영민→나진.
• jev-preview 응답 model = jev-1.13.0 = latest 와 같다(차이는 비결정성).
• 결론 = 안 켠다 → 서버 구현 보류(pfs 코드 0줄). 설계가 걸어 둔 「정밀도 안 나오면 안 켜는 것도 결론」(페페 판단 ②) 그대로. 켤 수 없는 코드를 넣지 않았다.
• 페페 판단 ①(패널 칩 0번 52점 쓰레기)은 이미 해소 — 26.9.22 A안 _PANEL_MIN_SCORE = 80 · _PANEL_MIN_COVER = 0.6 이 운영 deploy-live 파일에 들어가 있다(26.9.23 확인).
• ⏳[페페] 선택 = ①보류(코디 추천) ②「현장 아님」 신호만 — 보류 686 중 Jev 해당없음 p≥0.95 묶음을 숨김 검토 목록으로(자동 숨김 아님, 새 기능이라 그릴링) ③설계대로 꺼진 채 구현(비추천, 효과 0 코드).

산출물·커밋

• 측정 도구·증거 = C:\dev\_work\jev\worklog-measure\ — extract_pool.py(게이트 재현) · sample.py · labels.py(정답) · measure.py(jev.py import, runs.jsonl 캐시) · cands_e.py · score.py · summary.py · score_all.txt · summary.txt · runs.jsonl(723호출 원본) · pool.json·sample.json(통화 발췌 포함 — 리포 밖 보관).
• devplan C:\dev\devplan\pfs-worklog-jev-autolink.html §12 신설 · 상태 갱신 · 허브 카드 status hold.
• pfs 리포 변경 0 → 사이트맵 재빌드 불필요.

다음

• [페페] 선택 ①②③. ② 를 고르면 그릴링부터(숨김 검토 목록의 위치·문구·되돌리기).
• Jev 는 확률이 보정돼 있지 않다 — 다른 자리(D2~D4)도 임계를 쓰기 전에 라벨 측정이 먼저다(rules.md 🆕).

관계

• 주제 그룹: pfs worklog 자동연결
• 관련 문서: pfs-handoff(26.9.22 Jev 절), devplan pfs-worklog-jev-autolink.html