VLM 기반 화질 판정과 Remosaic HW 레지스터 최적화 — 통합본

1~4단계 문서(01_task.md ~ 04_experiments.md)를 하나로 정리한 문서. 세부 내용은 각 단계 문서 참고. 상태: v1.0 (2026-10-19) — 1~4단계 초안 기준

#요약

• 상황: Quad Bayer raw를 Bayer raw로 바꾸는 remosaic HW는 로직이 고정되어 있고 레지스터(약 30개, 정수)만 튜닝할 수 있음. HW를 bit-exact로 미분 가능하게 구현해 GT와의 L1 loss로 역전파 최적화까지 진행했음.
• 문제: 대형 딥러닝 모델로 만든 GT는 HW가 도달할 수 없는 목표임. L1은 "어디를 포기하고 어디를 지킬지"를 판단하지 못해, blur로 수렴하거나, 포기해도 될 영역을 맞추려다 다른 곳에 아티팩트가 생기거나, ROI 간 밸런스가 무너짐. 이 판단은 여전히 사람 튜너가 느낌으로 하고 있음.
• 연구 질문:
  • Q1. VLM이 화질(특히 미세한 remosaic 아티팩트)을 사람 튜너처럼 판정할 수 있나?
  • Q2. 그 판정으로 레지스터를 효율적으로 최적화할 수 있나?
• 결과물:
  • 1차: 화질 판정 VLM — 레지스터 섭동으로 만든 실제 HW 아티팩트 데이터로 학습한 판정 모델 + 벤치마크 + 데이터 생성 방법
  • 2차: VLM 기반 최적화 — 물리적 한계 측정 + 판정 VLM의 중요도 판단으로 ROI 가중치·포기 여부를 정하고, 기존 역전파를 그대로 쓰는 최적화
• 근거: VLM 화질 평가 연구는 자연 영상의 일반 열화 위주이며, remosaic 아티팩트를 다룬 연구는 찾지 못함. VLM을 ISP 튜닝에 쓴 연구(MLLM-ISP, Color ISP Tuning)는 있지만, 판정을 역전파 최적화의 가중치·포기 판단으로 연결한 연구는 없음.

#1. 배경과 문제

#1-1. 파이프라인과 조건

Quad Bayer raw --> HW 이미지 처리 (Remosaic) --> Bayer raw
                        ^
                 튜닝 레지스터 (~30개, 정수)

#1-2. 지금까지의 접근과 한계

#1-3. 핵심 문제

HW의 표현력이 제한되어 있으므로, 결국 "어디를 포기하고 어디를 지킬지"를 정하는 트레이드오프 문제임. L1은 이 판단을 하지 못하고 모든 오차를 같은 무게로 취급함.

L1 최적화가 자동화된 뒤에도, 사람은 세 곳에서 화질 판단을 하고 있음:

판단 기준이 명시적 규칙이 아닌 암묵지이므로, 프롬프트에 규칙을 적는 것만으로는 재현하기 어려움. 사람 판정 데이터를 모아 검증·학습해야 함.

#2. 연구 질문과 결과물

#판정 VLM을 1차 결과물로 두는 이유

1. Q2는 Q1 위에 서 있음. 어차피 Q1을 먼저 풀어야 함.
2. Q1 결과는 Q2와 상관없이 남음. 프로젝트 위험이 줄어듦.
3. 연구 공백이 뚜렷함. remosaic / ISP 아티팩트를 VLM으로 판정한 연구가 없음.
4. 쓰임새가 넓음. 다른 ISP 블록 튜닝, HW·펌웨어 버전별 화질 회귀 검사, GT 결함 검사 등.
5. 고유한 자산이 있음. bit-exact HW 모델로 실제 HW 아티팩트를 심각도를 조절하며 대량 생성 가능.

#1차 결과물이 갖춰야 할 것

1. 벤치마크와 분석 — 어떤 아티팩트를 VLM이 보고 어떤 것을 못 보는지
2. 데이터 생성 방법 — 레지스터 섭동 기반
3. "왜 VLM인가"에 대한 답 — 고전 지표, 작은 전용 모델과의 비교
4. 실제 쓸모의 증거 — 2차 결과물(최적화)에서의 효과

#3. 관련 연구 요약

전체 34편의 목록과 논문별 요약은 02_background.md 참고. 번호는 그 문서와 같음.

#3-1. 분야별 핵심

#3-2. VLM 학습 여부

• 화질 판정 자체를 잘하게 만든 연구([10]~[17])는 모두 VLM을 미세조정함.
• VLM을 고정한 연구는 전역·의미 정보만 필요하거나([5], [6]), LLM이 판정이 아닌 계획·코드 작성을 맡는 경우([19]~[21])임.
• → 우리 과제(미세 국소 아티팩트 판정)는 미세조정이 필요할 가능성이 높음.

#3-3. 연구 공백

#4. 제안 방법

 +-------------------- Track J: 화질 판정 VLM (1차 결과물, Q1) --------------------+
 |  J1. 레지스터 섭동 데이터 생성 --> J2. 판정 벤치마크 + 입력 설계 (zero-shot)      |
 |          +----------> J3. 판정 VLM 미세조정 <----------+                         |
 |  J4. 결함 위치 판정      J5. 공개용 벤치마크      J6. GT 결함 검사                |
 +--------------------------------+-----------------------------------------------+
                                  | 판정기로 사용
 +------------------ Track O: VLM 기반 최적화 (2차 결과물, Q2) --------------------+
 |  O1. 물리적 한계 측정 (VLM 없이) --> O2. ROI 재가중 / 제약 최적화 (핵심)          |
 |                                     O3. 영역 마스크 + loss 구성                  |
 |                                     O4. 달성 가능한 목표로 GT 대체               |
 |  대안: O5. VLM + CMA-ES   O6. 선호 critic   O7. VLM 튜너 에이전트 (보류)          |
 +--------------------------------------------------------------------------------+

#4-1. Track J: 화질 판정 VLM

J1. 레지스터 섭동 기반 판정 데이터 생성 ★ 고유 자산

• 같은 ROI에서 레지스터를 여러 방향·크기로 흔들어 실제 HW 출력을 대량 생성 (forward 1초 미만).
• 쌍 구성: 크게 바꾼 쌍(차이 뚜렷) + 조금 바꾼 쌍(차이 미세, 진짜 시험대).
• 라벨 3종: ① 사람 라벨(소량, 쌍별 선호 + 결함 종류·심각도), ② 고전 지표 자동 라벨(대량), ③ 섭동 크기 순서 라벨.
• 사람 라벨 전에 결함 정의서(정의, 예시, 심각도 기준)로 판정 기준을 통일.

J2. 판정 벤치마크 + 입력 설계 (zero-shot)

• 범용 VLM과 기존 IQA 특화 VLM을 zero-shot으로 평가.
• 입력 구성 비교: 확대 배율, 나란히 배치, 차이 영상, 결함별 질문 분리, few-shot.
• 결함 종류·차이 크기·디포커스·차트/자연 영상별로 "VLM이 보는 것 / 못 보는 것" 분석.

J3. 판정 VLM 미세조정 — 1차 결과물 본체

• 기반: Qwen 계열 7B~32B, LoRA, H200 1장.
• 학습: 자동 라벨로 지도학습(도메인 적응) → 사람 쌍별 선호로 순위 학습 강화학습(VisualQuality-R1 방식).
• 출력: 쌍별 선호 + 결함 종류·심각도 + 이유 (구조화된 형식).
• "왜 VLM인가" 비교 대상: 고전 지표, LPIPS / DISTS, 같은 데이터로 학습한 작은 전용 모델, 기존 IQA VLM. 정확도가 비슷해도 이유 설명·우선순위 판단·일반화에서 차이를 보여야 함.

J4~J6. 결함 위치 판정(O3의 전제), MIPI 공개 데이터 기반 공개용 벤치마크(외부 발표용), GT 결함 검사(사람 개입 지점 ③ 대체).

#4-2. Track O: VLM 기반 최적화

O1. 물리적 한계 측정 (VLM 없이, Track J와 병렬)

• ROI 하나만 대상으로 최적화해 그 ROI의 달성 가능 상한을 구함.
• "공통 결과 vs 상한" = 밸런스 때문에 희생된 정도 / "상한 vs GT" = 물리적 한계.
• 튜너의 포기 근거 중 물리적 한계는 객관적으로 측정 → 판정 VLM은 중요도 판단만 맡으면 됨.

O2. 판정 VLM 기반 ROI 재가중 / 제약 최적화 — 2차 결과물 핵심

반복:
  1) 현재 레지스터로 전체 ROI 출력 생성
  2) 판정 VLM이 ROI마다 HW 출력 vs GT 판정 (결함, 수용 가능 여부, 포기 여부 + O1 상한 정보)
  3) 판정 > ROI 가중치 w_i 갱신
  4) 가중 loss Σ w_i . L_i 로 역전파 N step   < 기존 파이프라인 그대로

• 갱신 방식: (a) 곱셈 갱신 (결함 ROI ↑, 포기 ROI ↓) / (b) 제약 최적화 ("해상력은 최대한, 단 눈에 띄는 아티팩트는 기준 이하" — 튜너의 사고방식과 가장 비슷)
• VLM 호출은 바깥 루프에서만 → 비용 통제.

O3, O4. 결함 위치 마스크 + 결함별 loss 구성(edge, chroma, 주파수, LPIPS 등)을 판정 VLM이 선택 / 판정 VLM이 가장 선호하는 HW 출력을 "달성 가능한 목표"로 삼아 GT 대체.

O5~O7. CMA-ES 상한 비교, 선호 critic(J3의 전용 모델 재사용), VLM 튜너 에이전트(보류).

#4-3. 우선순위

#5. 실험 설계

#5-1. 공통 설정

#5-2. 사람 라벨 수집 (모든 실험의 기준)

#5-3. Part J 실험 (1차 결과물)

Part J 지표: 쌍별 선호 정확도 (전체 / 미세 쌍), 사람 간 일치도 대비 비율, 결함 종류 κ·F1, 심각도 SRCC, 자기 일관성, 위치 IoU, 이유 설명 품질.

#5-4. Part O 실험 (2차 결과물)

비교 기준선: B0 수동 튜닝, B1 L1(현행), B2 LPIPS / DISTS, B3 결함별 loss 고정 조합, B4 GradNorm / Uncertainty, B5 Group DRO, B6 CMA-ES + L1, P1 O1 단독(VLM 없음).

Part O 지표: SFR / MTF50 (측정 가능 ROI, 평가용), moiré (차트 alias 대역 에너지, 정의 필요) / false color / zipper, L1·PSNR·SSIM·LPIPS·DISTS (참고), 최악 ROI·하위 10% (O1 상한 대비 달성률로 정규화), 블라인드 A/B 승률, 소요 시간·VLM 호출 수·사람 개입 시간. 학습 장면 / 평가 장면 / 자연 영상별로 따로 보고.

#6. 일정 (안)

#7. 리스크와 대응

#8. 결과물 구성 (선택지)

주장 후보:

• 1차: "레지스터 섭동으로 만든 실제 HW 아티팩트 데이터로 학습한 판정 VLM은, 고전 지표·전용 모델·기존 IQA VLM보다 remosaic 아티팩트에 대한 사람 튜너의 판정에 더 가깝다. 그리고 범용 VLM이 어떤 아티팩트를 놓치는지 분석했다."
• 2차: "물리적 한계(O1)와 판정 VLM의 중요도 판단(O2)을 결합해 포기할 영역을 정하는 최적화가, L1·기존 loss 밸런스 방법보다 사람 선호에 가까운 레지스터를 찾는다."

#9. 시작 전 확인·준비할 것

#부록: 단계별 문서