4. 비교표 및 실험설계

상태: v0.2 — 방향 조정: Part J(화질 판정 VLM, 1차 결과물) / Part O(VLM 기반 최적화, 2차 결과물)로 재구성. 수치(쌍 개수, 기준값, 일정)는 제안값이며 조정 필요

#0. 전체 구조

Part J가 먼저 진행되고, Part O는 Part J의 판정 VLM을 사용함. 단, EO1(물리적 한계 측정)은 VLM이 필요 없어 Part J와 병렬로 진행함.

#1. 비교표

#1-1. Part J: 판정 방법 비교 (가설)

실험으로 채울 표. 현재 값은 2단계 조사 기반 예상임.

→ 핵심 확인 사항: 우리 판정 VLM이 작은 전용 모델보다 정확도에서 앞서거나, 비슷하더라도 이유 설명·우선순위 판단·일반화에서 앞서는가.

#1-2. Part J: 선행 IQA VLM 연구와의 설정 비교

#1-3. Part O: 가장 가까운 선행 연구와의 설정 비교

#1-4. Part O: 방법 비교

#2. 공통 실험 설정

#2-1. 데이터

• ROI: 촬상 장면 × 디포커스 × ROI(200×200), 약 50~100개. 차트 위주, 일부 자연 영상.
• 분할 원칙: 장면 단위. 같은 장면의 다른 디포커스·ROI가 학습과 평가 양쪽에 섞이지 않게 함.

  용도	비율 (안)	쓰임
  학습 장면	약 60%	J3 판정 VLM 학습, O 레지스터 최적화
  검증 장면	약 10%	J3 하이퍼파라미터·체크포인트 선택
  평가 장면	약 30%	J, O 최종 평가 (보지 않은 장면)
  자연 영상	가능하면 전부 평가용	차트 → 자연 영상 일반화

• 공개 데이터: MIPI 2022 Quad-Bayer Re-mosaic [7] — 입력 설계 사전 점검, 공개용 벤치마크(J5).

#2-2. 렌더링 (사람·VLM 공통)

• Bayer raw → 고정된 간이 ISP (demosaic, WB, gamma)로 RGB 변환. 모든 방법·모든 판정에서 같은 렌더링.

#2-3. VLM

• 기본: Qwen 계열 7B, 32B (BF16, H200 1장). 미세조정은 LoRA.
• 선택: 70B급 FP8 (zero-shot 크기 효과 확인용).
• 출력 형식 (구조화):

  { "preferred": "A" | "B" | "tie",
    "artifacts": [{"type": "moire", "severity": 1~5, "where": "..."}],
    "acceptable_vs_gt": true | false,
    "reason": "..." }
  

• 연속값 변환: 등급 토큰의 확률로 기댓값 점수 계산 (Q-Align [11] 방식).

#2-4. 결함 정의서 (사람 라벨 수집 전 필수)

• 결함 종류: 해상력 저하(blur), moiré, false color, zipper, maze, aliasing, 노이즈, 기타
• 결함마다: 정의, 예시 영상(HW 출력에서 발췌), 심각도 1~5 기준
• 튜너 2인 이상이 함께 검토해 확정 → 판정 기준 통일

#2-5. 사람 라벨 수집

• 쌍 구성: 같은 ROI에서 레지스터를 ① 크게 바꾼 쌍, ② 조금 바꾼 쌍을 섞음.
• 사람 간 일치도가 판정 성능의 천장임. 모든 판정 성능은 이 값과 비교해서 해석함.
• J 학습용과 J 평가용 쌍은 장면 단위로 분리 (2-1절).

#2-6. 평가 지표

Part J (판정)

Part O (최적화)

#3. Part J 실험 (1차 결과물)

#EJ1. 판정 데이터 생성과 라벨 검증 (J1)

• 목표: 레지스터 섭동으로 판정용 쌍 데이터를 만들고, 자동 라벨이 쓸 만한지 확인함.
• 절차:
  1. 결함 정의서 확정 (2-4절)
  2. ROI마다 레지스터를 여러 방향·크기로 흔들어 출력 생성 → 쌍 구성 (크게 / 조금)
  3. 고전 지표로 자동 라벨 부여 (결함 종류·심각도)
  4. 사람 라벨 수집 (2-5절)
• 확인할 것:
  • 자동 라벨과 사람 라벨이 얼마나 맞는가 (결함 종류별) → 자동 라벨을 어디까지 믿고 학습에 쓸지 결정
  • 섭동 크기와 사람이 느끼는 결함 심각도가 단조 관계인가 (레지스터·방향별) → 섭동 크기 라벨의 사용 범위 결정
  • 사람 간 일치도 (결함 종류별) → 일치도가 낮은 결함 종류는 정의서 보완 또는 평가에서 분리
• 산출물: 판정 데이터셋 v1, 데이터 생성 방법 기술서

#EJ2. Zero-shot 판정 벤치마크 (J2)

• 목표: 기존 VLM이 remosaic 아티팩트를 얼마나 판정하는지, 어떤 입력 구성이 좋은지 확인함.
• 평가 대상: 범용 VLM (Qwen 계열 7B / 32B / 70B FP8, InternVL 계열), 기존 IQA 특화 VLM (공개 가중치 있는 것: Co-Instruct, Q-Insight, VisualQuality-R1 등), 비교용 고전 지표·LPIPS / DISTS
• 입력 구성 ablation:

  축	조건
  확대 배율	×1, ×2, ×4 (최근접 보간)
  배치	영상 3장 따로 (A, B, GT) / 한 장에 나란히
  차이 영상	없음 / (A − GT), (B − GT) 추가
  질문 방식	한 번에 종합 / 결함 종류별로 따로
  프롬프트	결함 정의만 / 정의 + 예시 영상 (few-shot)

• 분석: 결함 종류별, 차이 크기별(뚜렷 / 미세), 디포커스 수준별, 차트 / 자연 영상별 성능 → "VLM이 보는 것 / 못 보는 것" 표
• 판단 기준 (제안): 쌍별 선호 정확도가 사람 간 일치도의 80% 이상이고 미세 쌍에서도 크게 떨어지지 않으면 → zero-shot VLM으로 Part O 먼저 시작 가능. 그래도 J3는 진행 (1차 결과물 본체).
• 산출물: 벤치마크 결과 표, 최적 입력 구성 → EJ3의 입력 형식으로 사용

#EJ3. 판정 VLM 미세조정과 비교 (J3) — 1차 결과물 본체

• 목표: remosaic 아티팩트 판정 VLM을 만들고, "왜 VLM인가"를 보임.
• 학습:
  1. 자동 라벨(대량)로 결함 종류·심각도 지도학습
  2. 사람 라벨 쌍별 선호로 순위 학습 강화학습 (VisualQuality-R1 [16] 방식)
• 비교 대상: 고전 지표, LPIPS / DISTS, 같은 데이터로 학습한 작은 전용 모델 (CNN / ViT 비교 모델), zero-shot VLM (EJ2 최고 조건), 기존 IQA 특화 VLM
• ablation:

  축	조건
  학습 데이터	자동 라벨만 / 사람 라벨만 / 둘 다
  사람 라벨 양	25% / 50% / 100% (라벨이 얼마나 필요한지)
  학습 방식	지도학습만 / 지도학습 + 강화학습
  모델 크기	7B / 32B
  이유 출력	있음 / 없음 (이유를 쓰게 하는 것이 판정에 도움이 되는지)

• 측정: 2-6절 Part J 지표 전체, 평가 장면 기준
• 확인할 것:
  • 전용 모델 대비 정확도 차이. 비슷하다면 이유 설명 품질, 우선순위 판단, 일반화(EJ4)에서 차이가 나는지
  • 자동 라벨에 과적합해 고전 지표를 흉내 내는 데 그치지 않는지 (사람 라벨 기준 평가에서 고전 지표를 넘어서는지)

#EJ4. 일반화 평가

• 목표: 판정 VLM이 학습 분포 밖에서도 쓸 만한지 확인함.
• 조건:

  일반화 축	방법
  보지 않은 장면	평가 장면 (기본)
  차트 → 자연 영상	자연 영상 평가 세트
  보지 않은 레지스터 영역	학습 때 쓰지 않은 레지스터 방향의 섭동으로 만든 쌍
  보지 않은 결함 종류	결함 하나를 학습에서 빼고 평가 (leave-one-artifact-out)
  다른 remosaic 방식	공개 remosaic·demosaic 알고리즘 출력 (J5 데이터)

• 비교: 전용 모델과 판정 VLM의 일반화 성능 차이 → "왜 VLM인가"의 주요 근거

#EJ5. GT 결함 검사 (J6)

• 튜너가 과거에 고쳐 넣었던 GT 사례(기억나는 범위) + 정상 GT를 섞어 판정 VLM이 결함 GT를 찾는지 확인 (정밀도 / 재현율).
• 사례가 적으면 GT에 인위적 결함을 넣어 보조 평가.

#EJ6. 결함 위치 판정 (J4)

• 위치 라벨(2-5절)로 학습·평가. IoU 측정.
• 비교: 차이 영상 기반 단순 방법, PAL4VST [18] 계열 전용 분할 모델.

#EJ7. 공개용 벤치마크 (J5) — 외부 발표 시

• MIPI 2022 데이터 + 공개 remosaic·demosaic 알고리즘의 파라미터 섭동으로 쌍 생성 → 소규모 사람 라벨.
• 사내 결과(EJ2, EJ3)와 경향이 같은지 확인.

#4. Part O 실험 (2차 결과물)

#EO1. 물리적 한계 측정 (O1) — Part J와 병렬

• 절차:
  1. ROI 하나씩 단독 최적화 (초기값 K=5: 수동 튜닝값, L1 결과, 무작위 3개) → 최선 결과를 상한으로 삼음
  2. 공통 레지스터(B1) 결과와 상한의 차이, 상한과 GT의 차이를 ROI마다 계산
  3. 튜너의 포기 판정(2-5절)과 비교
• 확인할 것:
  • 상한–GT 차이가 큰 ROI가 튜너의 "물리적 한계" 포기 ROI와 겹치는가
  • 겹치지 않는 포기 ROI = 중요도 때문에 포기한 ROI → 판정 VLM이 맡아야 할 부분
• 비용: ROI 100개 × 초기값 5개 × 수백 step. 수 시간 이내 예상.
• Part J 판정 VLM이 준비되면, 상한–GT 거리를 L1 대신 판정 VLM으로도 다시 잼.

#EO2. 판정 VLM 기반 ROI 재가중 (O2) — Part O 메인

• 비교: B0~B6, P1 vs P2
• 판정기 비교 (Part J와 Part O를 잇는 실험):

  판정기	의미
  고전 지표	VLM 없이 결함 판정
  작은 전용 모델	같은 데이터로 학습한 비-VLM 판정기
  zero-shot VLM	미세조정 없음
  우리 판정 VLM (J3)	1차 결과물
  → 판정기가 좋을수록 최적화 결과도 좋아지는가 = 1차 결과물의 "실제 쓸모" 증거

• 변형:

  축	조건
  갱신 방식	(a) 곱셈 갱신 / (b) 제약 최적화
  O1 정보 제공	판정 VLM에 상한 정보 줌 / 안 줌
  바깥 루프 주기	역전파 50 / 200 / 1000 step마다 판정
  포기 ROI 가중치 하한	0 / 0.1 / 0.3
  초기 레지스터	수동 튜닝값 / L1 결과

• 반복: 각 조건 3회.
• 확인할 것: 평가 장면에서도 개선되는가, 가중치가 수렴하는가, 판정 VLM의 포기 판정이 튜너 판단(EO1)과 맞는가

#EO3. 결함 영역 마스크 + loss 구성 (O3)

• 비교: P2 vs P3, B3
• ablation: loss 항목 하나씩 빼기, 영역 마스크 있음 / 없음 (EJ6 위치 판정 사용)

#EO4. 달성 가능한 목표로 GT 대체 (O4)

• 비교: P3 vs P4. GT 샤프닝 등 사람의 GT 수정 없이도 같은 수준 이상이 나오는지.

#EO5. 판정 VLM + CMA-ES (O5) — 여력 있을 때

• 대표 ROI 10~20개, VLM 호출 예산 고정. P2와 효율 비교.

#EO6. 선호 critic (O6) — 후반

• EJ3의 작은 전용 모델을 critic으로 재사용 → loss로 사용. critic을 속이는 해를 판정 VLM·사람으로 점검.

#5. 결과 표 틀

#5-1. Part J 메인 (평가 장면 기준)

• 결함 종류별 상세 표("VLM이 보는 것 / 못 보는 것")를 별도로 둠.

#5-2. Part O 메인

• 학습 장면 / 평가 장면 / 자연 영상으로 표 3개.
• EO2 판정기 비교 표를 별도로 둠 (판정기 4종 × 위 지표).

#6. 일정 (안)

#7. 리스크와 대응