3. 아이디어 리스트업

상태: v0.2 — 방향 조정: Track J(화질 판정 VLM, 1차 결과물) / Track O(VLM 기반 최적화, 2차 결과물)로 재구성

#출발점 정리

• 풀 문제: HW 표현력이 제한되어 있어 "어디를 포기하고 어디를 지킬지"를 정해야 하는데, L1은 이 판단을 하지 못함 (1단계).
• 연구 질문 (1단계):
  • Q1. VLM이 화질(특히 미세한 remosaic 아티팩트)을 사람 튜너처럼 판정할 수 있나? → 1차 결과물: 화질 판정 VLM
  • Q2. 그 판정으로 레지스터를 효율적으로 최적화할 수 있나? → 2차 결과물: VLM 기반 최적화
• 우리가 가진 자산:
  • bit-exact 미분 HW 모델 + STE. 전체 ROI forward + 역전파가 1초 미만으로 매우 쌈.
  • H200 1장. 오픈 VLM 실행·미세조정 가능.
• 우리에게 없는 것: 사람 판정 기록. VLM이 remosaic 아티팩트를 볼 수 있다는 근거 (2단계 Gap 4).
• 선행 연구에서 얻은 원칙 (2단계):
  • VLM에게는 절대 점수보다 두 영상 비교를 묻는 편이 안정적임 (Compare2Score, VisualQuality-R1).
  • 미세 결함 판정에는 VLM 미세조정이 필요할 가능성이 높음 (판정 연구는 모두 미세조정).
  • LLM은 해를 직접 고르기보다 목적함수를 설계하고 하위 최적화기에 맡길 때 강함 (Eureka).

#아이디어 지도

 +-------------------- Track J: 화질 판정 VLM (1차 결과물, Q1) --------------------+
 |                                                                                |
 |  J1. 레지스터 섭동 데이터 생성 --> J2. 판정 벤치마크 + 입력 설계 (zero-shot)     |
 |          |                                  |                                  |
 |          +----------> J3. 판정 VLM 미세조정 <+                                  |
 |                                |                                               |
 |          J4. 결함 위치 판정     |     J5. 공개용 벤치마크     J6. GT 결함 검사    |
 +--------------------------------+-----------------------------------------------+
                                  | 판정기로 사용 (= 1차 결과물의 "실제 쓸모" 증거)
 +------------------ Track O: VLM 기반 최적화 (2차 결과물, Q2) --------------------+
 |  O1. 물리적 한계 측정 (VLM 없이) --> O2. ROI 재가중 / 제약 최적화 (핵심)          |
 |                                     O3. 영역 마스크 + loss 구성                  |
 |                                     O4. 달성 가능한 목표로 GT 대체               |
 |  대안: O5. VLM + CMA-ES   O6. 선호 critic   O7. VLM 튜너 에이전트                |
 +--------------------------------------------------------------------------------+

이전 버전(v0.1)과의 대응: I0 → J2, I8 → J3, I3 → O1, I1 → O2, I2 → O3 (+ 위치 판정은 J4로 분리), I4 → O4 (+ GT 결함 검사는 J6로 분리), I5 → O5, I6 → O6, I7 → O7. J1, J5는 새로 추가.

#Track J: 화질 판정 VLM (1차 결과물)

#J1. 레지스터 섭동 기반 판정 데이터 생성 ★ 고유 자산

• 동기: 사람 판정 기록이 없음. 공개 IQA 데이터는 자연 영상의 일반 열화라 remosaic 아티팩트가 없음. 그런데 우리는 bit-exact HW 모델이 있어서 실제 HW에서 나올 수 있는 출력을 마음대로 만들 수 있음.
• 핵심 방법:
  • 같은 ROI에서 레지스터를 여러 방향·크기로 흔들어 출력을 대량 생성함 (forward 1초 미만).
  • 쌍 구성: ① 크게 바꾼 쌍(차이 뚜렷), ② 조금 바꾼 쌍(차이 미세). 미세한 쌍이 판정 능력의 진짜 시험대.
  • 라벨 3종:
    1. 사람 라벨 (소량, 고품질): 쌍별 선호 + 결함 종류·심각도 (+ 일부는 위치)
    2. 자동 라벨 (대량, 저비용): 고전 지표(zipper, false color [31, 32], 주파수 기반 moiré, 차트 SFR)로 결함 종류·심각도를 자동 부여
    3. 섭동 크기 라벨: 같은 방향으로 더 크게 흔든 쪽이 결함이 더 심하다는 순서 정보 (특정 레지스터·방향에 한해 성립하는지 확인 필요)
  • 결함 정의서를 먼저 만들어 사람 판정 기준을 통일함 (결함별 정의, 예시 영상, 심각도 기준).
• 예상 장점: 학계가 갖기 어려운 "실제 HW 아티팩트 + 심각도 조절" 데이터. 그 자체로 방법론 기여가 됨. 이후 J2~J6, O1~O6 전체의 데이터가 됨.
• 예상 단점: 자동 라벨은 고전 지표의 한계를 그대로 가짐. 사람 라벨의 일치도가 낮으면 기준이 흔들림.

#J2. 판정 벤치마크 + 입력 설계 (zero-shot)

• 동기: 고정 VLM이 remosaic 아티팩트를 얼마나 보는지, 어떤 입력 구성에서 가장 잘 보는지 확인함. "어떤 아티팩트를 VLM이 보고 어떤 걸 못 보는지" 자체가 1차 결과물의 분석 파트.
• 핵심 방법:
  • J1의 사람 라벨 쌍에 대해 여러 VLM을 zero-shot으로 평가함.
  • 평가 대상: 범용 VLM (Qwen 계열 7B / 32B, InternVL 등) + 기존 IQA 특화 VLM (Co-Instruct, Q-Insight, VisualQuality-R1 등 공개 가중치가 있는 것)
  • 입력 설계 비교: 렌더링, 확대 배율(최근접 보간), 나란히 배치, 차이 영상 추가, 결함 종류별 질문 분리, few-shot 예시
  • 분석 축: 결함 종류별, 차이 크기별(뚜렷 / 미세), 디포커스 수준별, 차트 / 자연 영상별
• 예상 장점: 싸고 빠름. 고정 VLM으로 충분한지(→ 바로 Track O), 미세조정이 필요한지(→ J3) 판단 근거가 됨.
• 예상 단점: 사람 라벨 수집이 선행되어야 함.

#J3. remosaic 아티팩트 판정 VLM 미세조정 (1차 결과물의 본체)

• 동기: 2단계 조사상 판정 연구는 모두 미세조정함. J2에서 고정 VLM이 부족할 가능성이 높음.
• 핵심 방법:
  • 기반 모델: Qwen 계열 7B~32B (Q-Insight [15], VisualQuality-R1 [16]과 같은 기반 → 레시피 재사용)
  • 학습 단계 (안):
    1. 자동 라벨(대량)로 결함 종류·심각도 지도학습 → 도메인 적응
    2. 사람 라벨(소량) 쌍별 선호로 순위 학습 강화학습 (VisualQuality-R1 방식) → 사람 선호 정렬
  • 출력: 쌍별 선호 + 결함 종류·심각도 + 이유 (구조화된 형식)
  • LoRA, H200 1장.
• "왜 VLM인가"를 보이기 위한 비교 대상 (반드시 포함):

  비교 대상	확인하려는 것
  고전 지표 (zipper, false color, moiré, SFR)	사람이 만든 규칙으로 충분한가
  작은 전용 모델 (같은 데이터로 학습한 CNN / ViT 비교 모델)	VLM까지 필요한가
  LPIPS / DISTS	범용 지각 지표로 충분한가
  기존 IQA 특화 VLM (zero-shot)	도메인 미세조정이 필요한가

  • VLM이 전용 모델과 정확도가 비슷하더라도, 이유 설명, 우선순위 판단, 새 결함 종류·새 장면으로의 일반화에서 차이가 나는지를 따로 보여야 함.
• 예상 장점: 1차 결과물의 핵심 모델. 사내 다른 화질 판정 업무로 재사용 가능.
• 예상 단점: 데이터·학습 비용. 자동 라벨에 과적합하면 고전 지표를 흉내 내는 데 그칠 수 있음 → 사람 라벨 기준 평가로 확인.

#J4. 결함 위치 판정

• 동기: 결함이 "있다"를 넘어 "어디에" 있는지 알면, 사람이 결과를 검증하기 쉽고 Track O에서 영역 마스크(O3)로 쓸 수 있음.
• 핵심 방법: 판정 VLM이 결함 위치를 박스나 점으로 출력하게 학습하거나, Q-Ground [17]처럼 분할 헤드를 붙임. 비교 대상으로 PAL4VST [18] 계열 전용 분할 모델.
• 예상 장점: 판정의 해석 가능성이 높아짐. O3의 전제.
• 예상 단점: 위치 라벨 수집 비용이 큼 → J1의 자동 라벨(차이 영상 기반)로 대체 가능한지 검토.

#J5. 공개용 벤치마크 구성

• 동기: 사내 데이터는 외부 공개가 어려움. 외부 발표를 하려면 재현 가능한 공개 벤치마크가 필요함.
• 핵심 방법: MIPI 2022 Quad-Bayer 데이터 [7] + 공개 remosaic·demosaic 알고리즘(고전 보간, 공개 딥러닝 모델)의 파라미터를 흔들어 J1과 같은 방식으로 쌍 데이터 생성 → 소규모 사람 라벨.
• 예상 장점: 외부 비교·재현 가능. 논문의 설득력이 크게 올라감.
• 예상 단점: 사내 HW 아티팩트와 분포가 다를 수 있음 → 사내 결과와 공개 결과를 함께 보고, 경향이 같은지 확인.

#J6. GT 결함 검사 (판정 VLM의 응용)

• 동기: GT에도 결함이 있을 때가 있고, 지금은 사람이 보고 GT를 만들어 넣음 (1단계 사람 개입 지점 ③).
• 핵심 방법: 판정 VLM이 GT 자체를 판정해 결함 GT를 표시함 → 해당 ROI 제외 또는 사람 확인 요청.
• 예상 장점: 구현이 쉽고, 판정 VLM의 즉시 쓸모를 보여주는 사례.
• 예상 단점: GT 결함 사례가 많지 않으면 평가가 어려움.

#Track O: VLM 기반 최적화 (2차 결과물)

#O1. 물리적 한계 측정: ROI별 "달성 가능 상한" (VLM 없이)

• 동기: 튜너의 포기 판단 근거 두 가지(물리적 한계, 중요도) 중 물리적 한계는 객관적으로 잴 수 있음.
• 핵심 방법:
  • ROI 하나만 대상으로 레지스터를 최적화해 그 ROI의 최선 결과(상한)를 구함. ROI 50~100개 각각 돌려도 부담이 작음.
  • "공통 레지스터 결과 vs ROI 단독 상한" = 밸런스 때문에 희생된 정도
  • "ROI 단독 상한 vs GT" = HW로는 어쩔 수 없는 정도 (물리적 한계)
  • 상한조차 GT와 멀면 → 포기 후보. 이 정보를 O2의 VLM 판정에 근거로 함께 줌.
• 예상 장점: 싸고 해석이 쉬움. VLM 판정 부담을 "중요도 판단" 하나로 줄여 줌. 그 자체로 VLM 없는 재가중 베이스라인.
• 예상 단점: ROI 단독 최적화도 local minimum 가능 (여러 초기값으로 보완). 상한과의 거리를 L1로 재면 L1의 한계가 다시 들어옴 → 판정 VLM(Track J)으로 거리를 잼.
• Track J와의 관계: 판정 VLM 없이 바로 시작할 수 있으므로 Track J와 병렬로 진행.

#O2. VLM 가이드 ROI 재가중 / 제약 최적화 (Track O 핵심안)

• 동기: 1단계의 문제 ②(포기할 영역을 못 정함)와 ③(ROI 밸런스)을 직접 겨냥. 사람 개입 지점 ①을 대체.
• 핵심 방법: 바깥 루프 / 안쪽 루프 구조.

  반복:
    1) 현재 레지스터로 전체 ROI 출력 생성
    2) 판정 VLM(Track J)이 ROI마다 HW 출력 vs GT를 비교 판정
       - 결함 종류와 심각도, GT 대비 받아들일 만한가
       - 포기 여부와 이유 (O1 상한 정보를 근거로 함께 제공)
    3) 판정 > ROI 가중치 w_i 갱신
    4) 가중 loss Σ w_i . L_i 로 역전파 N step
  

  • 갱신 방식:
    • (a) 곱셈 갱신: 결함이 보이는 ROI는 가중치 ↑, 포기 ROI는 하한값까지 ↓. Group DRO와 비슷하지만 "포기" 방향이 추가됨.
    • (b) 제약 최적화: "아티팩트 심각도 ≤ 기준"을 제약으로 두고 판정으로 라그랑주 승수를 갱신. 튜너의 사고방식("해상력은 최대한, 단 눈에 띄는 아티팩트는 안 됨")과 가장 비슷함.
  • 판정 점수는 등급 토큰 확률(Q-Align 방식)로 연속값으로 만들어 갱신을 부드럽게 함.
• 예상 장점: 기존 역전파 파이프라인을 그대로 씀. VLM 호출은 바깥 루프에서만 → 비용 통제. 판정 근거가 텍스트로 남음. 2단계 Gap 2 + 3.
• 예상 단점: ROI 단위 가중치로는 ROI 내부 국소 결함을 잡기 어려움 → O3. 가중치 진동 가능.

#O3. 결함 영역 마스크 + loss 구성 선택

• 동기: L1의 blur 수렴과 ROI 내부 국소 결함. 사람 개입 지점 ②(GT 샤프닝)를 대체.
• 핵심 방법:
  • 영역 마스크: J4의 결함 위치 → 해당 화소의 loss 가중치 ↑
  • loss 구성 선택: 판정된 결함 종류에 맞춰 loss 메뉴에서 항목·가중치를 고름 (Eureka처럼 목적함수 설계를 VLM이 맡음)

    결함 / 목표	loss 항목 예
    blur, 해상력 부족	gradient / edge loss, 고주파 대역 loss
    false color	chroma(색차) 채널 loss
    moiré, aliasing	주파수 영역 loss (특정 대역 에너지 억제)
    zipper	국소 패턴 loss (인접 화소 on-off 패턴 억제)
    전체 지각 품질	LPIPS / DISTS

• 예상 장점: L1 하나로 뭉뚱그리던 목표를 결함별로 나눔. GT 샤프닝 같은 우회 대신 명시적인 해상력 항목.
• 예상 단점: J4 위치 판정 품질에 의존. loss 메뉴 설계에 도메인 지식 필요.

#O4. 달성 가능한 목표로 GT 대체

• 동기: GT는 HW가 도달할 수 없음. 지금은 사람이 GT를 수정함 (사람 개입 지점 ②, ③).
• 핵심 방법: 레지스터를 흔들어 만든 HW 출력 후보 중 판정 VLM이 가장 선호하는 출력을 "달성 가능한 목표"로 삼아 loss를 걺. 결함 GT는 J6로 걸러냄.
• 예상 장점: "도달할 수 없는 목표를 쫓다 blur로 수렴"하는 문제를 피함. 사람의 GT 수정 작업을 없앰.
• 예상 단점: 목표가 후보 집합 안에 갇힐 수 있음. 판정 VLM에 전적으로 의존.

#O5. 판정 VLM + 블랙박스 최적화 (CMA-ES)

• 동기: 역전파 없이 판정을 직접 목적함수로 쓰는 가장 단순한 형태 (Mosleh et al. [2] + VLM).
• 핵심 방법: CMA-ES 세대마다 후보들을 판정 VLM이 쌍별 비교(토너먼트)로 순위를 매김. CMA-ES는 순위만 필요해 비교 판정과 잘 맞음.
• 위치: VLM 호출이 매우 많아 주력안은 아님. "판정을 그대로 최적화하면 어디까지 가는가"를 보는 상한 비교용. 대표 ROI만 사용.

#O6. 선호 critic → 미분 가능한 loss

• 동기: VLM 호출은 비쌈. 판정을 작은 네트워크에 증류하면 매 step 쓸 수 있는 미분 가능한 loss가 됨.
• 핵심 방법: J1, O2에서 쌓인 쌍별 판정으로 작은 critic을 Bradley-Terry 방식으로 학습 → loss = L1(약하게) + critic. 주기적으로 판정 VLM이 재판정해 critic을 속이는 해를 막음.
• Track J와의 관계: J3의 비교 대상인 "작은 전용 모델"과 사실상 같은 모델이 될 수 있음 → 함께 개발.
• 위치: 후반 과제.

#O7. VLM 튜너 에이전트

• 동기: 튜너의 "결과를 보고 → 레지스터를 고치는" 행동 모사 (OPRO [19], AgenticIR [22]).
• 위치: 30차원 수치 탐색은 역전파·CMA-ES보다 비효율적. 우선순위 낮음, 보류.

#VLM 없는 비교 기준선

#평가 기준과 우선순위

평가 기준: 효과(Q1·Q2에 얼마나 직접 답하는가), 실현성, 리스크(낮을수록 좋음), 새로움(2단계 Gap)

#제안 로드맵

Phase 1  [J] 결함 정의서 + J1 데이터 생성 + 사람 라벨 수집     [O] O1 상한 측정 (병렬)
           v
Phase 2  [J] J2 zero-shot 벤치마크 --> J3 미세조정 + 비교 대상(고전 지표, 전용 모델)
           v                                  (+ J6 GT 결함 검사)
         -- 1차 결과물 정리: 화질 판정 VLM + 벤치마크 --
           v
Phase 3  [O] O2 ROI 재가중 (판정 VLM 사용) vs 기준선
           v
Phase 4  [O] O3, O4 (+ J4 위치 판정)      [J] J5 공개용 벤치마크 (외부 발표 시)
           v
         -- 2차 결과물 정리: VLM 기반 최적화 --
후반     O6 선호 critic, O5 상한 비교 (여력 시)

• 1차 결과물의 주장 후보: "레지스터 섭동으로 만든 실제 HW 아티팩트 데이터로 학습한 판정 VLM은, 고전 지표·전용 모델·기존 IQA VLM보다 remosaic 아티팩트에 대한 사람 튜너의 판정에 더 가깝다. 그리고 범용 VLM이 어떤 아티팩트를 놓치는지 분석했다."
• 2차 결과물의 주장 후보: "물리적 한계(O1)와 판정 VLM의 중요도 판단(O2)을 결합해 포기할 영역을 정하는 최적화가, L1·기존 loss 밸런스 방법보다 사람 선호에 가까운 레지스터를 찾는다."
• 2차 결과물은 1차 결과물의 "실제 쓸모" 증거도 됨 → 논문 1편으로 묶는 경우 응용 사례 파트가 됨.

#다음 단계로 넘길 질문 (4단계 실험설계에서 정할 것)

• 결함 정의서의 결함 종류와 심각도 기준
• J1 사람 라벨: 몇 쌍, 누가, 어떤 형식으로 (선호 / 결함 종류 / 위치)
• J3 학습·평가 데이터 분할 (ROI·장면 단위)
• O2의 바깥 루프 주기와 가중치 갱신 규칙
• 최종 평가 지표 조합