2. 배경논문조사

상태: v0.3 — Q1(화질 판정 VLM) 관점 정리 추가, Gap을 Q1 / Q2로 재분류

#조사 범위

1단계에서 정리한 과제(01_task.md)를 기준으로, 아래 7개 축으로 조사함.

#논문 목록

#논문별 요약

#A. ISP / HW 파라미터 자동 튜닝

[1] Differentiable Proxies (Tseng et al., 2019)

• 핵심 아이디어: 미분할 수 없는 블랙박스 ISP를 흉내 내는 신경망(proxy)을 학습하고, 이 proxy를 통해 역전파로 ISP 파라미터를 최적화함.
• 결과: ARM Mali-C71 ISP 튜닝에서, 전문가가 약 3개월 걸린 수동 튜닝을 1시간 이내로 자동화했다고 보고함.
• 우리 과제와의 관계: 우리는 proxy가 아니라 bit-exact 미분 모델이 이미 있음 → 이 계열의 "근사 오차" 문제는 없음. 대신 목적함수(loss)가 문제라는 점이 우리 과제의 출발점임.

[2] Hardware-in-the-Loop (Mosleh et al., 2020)

• 핵심 아이디어: proxy를 쓰는 gradient 방법은 local minimum에 빠지기 쉽다고 보고, 실제 HW ISP를 루프에 넣고 CMA-ES(미분 없는 진화 전략)로 직접 최적화함.
• 우리 과제와의 관계: 30차원 정수 레지스터는 CMA-ES로도 탐색할 수 있는 규모임. 접근 A(블랙박스 최적화)의 베이스라인으로 쓸 수 있음. 또한 역전파가 local minimum에 갇히는 경우의 보완책이 됨.

[3] ReconfigISP (Yu et al., 2021)

• 핵심 아이디어: ISP 모듈마다 proxy 네트워크를 두어 미분 가능하게 만들고, 신경망 구조 탐색(NAS)으로 ISP 구성과 파라미터를 함께 찾음.
• 우리 과제와의 관계: 우리는 로직이 고정이라 구조 탐색은 해당 없음. 참고 수준.

[4] AdaptiveISP (Wang et al., 2024)

• 핵심 아이디어: 강화학습으로 ISP 모듈 구성과 파라미터를 장면마다 다르게 고름. 목표는 사람이 보는 화질이 아니라 객체 검출 성능임.
• 우리 과제와의 관계: 우리는 모든 장면에 공통인 레지스터 1세트를 찾아야 하므로 장면별 적응과는 다름. 참고 수준.

[5] MLLM-ISP (Sun et al., ICCV 2025) ★ 가장 가까운 선행 연구 (원문 확인)

• 구조:
  1. MLLM이 입력 영상과 과제 관련 질문을 받아 텍스트 설명을 생성함.
  2. 사전학습된 CLIP의 영상·텍스트 인코더로 각각 임베딩을 만듦.
  3. MF-Adapter(FC 층 + self / cross-attention)가 두 임베딩을 융합함.
  4. 융합 임베딩을 상태로 받은 RL 에이전트(Actor-Critic, PPO)가 ISP 하이퍼파라미터를 예측함. 보상은 하위 과제 지표의 변화량(검출이면 mAP 등).
  5. 미세조정 단계: 초기화가 다른 에이전트 A, B의 출력 중 평가 지표가 더 좋은 쪽을 accept, 나쁜 쪽을 reject로 삼아 PPO loss + DPO loss로 에이전트를 추가 학습함 (DPG-DPO). 사람 라벨이 필요 없음.
• 학습 대상: MF-Adapter와 에이전트(정책 네트워크)뿐. MLLM은 텍스트 생성기로 고정해서 쓰고, DPO도 MLLM이 아니라 에이전트에 적용함.
• 사용한 MLLM: Q-Instruct로 저수준 능력을 높인 LLaVA-7B, mPLUG-Owl-2, GPT-4V를 비교함. LLaVA-7B가 가장 좋았으나 차이는 작았음. 텍스트를 빼면 성능이 뚜렷이 떨어짐 (검출 mAP0.5 0.612 → 0.653).
• 실험: 합성 ISP(6개 모듈)와 Qualcomm Spectra 580 ISP로 검출, 분할, IQA 과제를 실험함. IQA에서는 영상 전문가가 튜닝한 결과를 GT로 삼고, 이에 더 가까워지는 것을 확인함.
• 우리 과제와의 차이:
  • 장면마다 파라미터를 예측함 (우리는 모든 장면에 공통인 1세트).
  • MLLM의 역할이 "판정"이 아니라 "RL 상태에 넣을 설명 생성"임. 출력 결과를 보고 다시 판단하는 루프가 없음.
  • 역전파 기반 최적화와 연결되지 않음. moiré, false color 같은 remosaic 아티팩트나 ROI 간 트레이드오프는 다루지 않음.
• 활용:
  • 실제 HW ISP(Spectra 580)에서 전문가 튜닝값을 기준으로 평가한 선례 → 우리 평가 설계에 참고.
  • 두 후보를 비교해 accept / reject 쌍을 자동으로 만드는 방식은, 우리 과제에서 VLM이 두 레지스터 후보를 비교 판정하는 구조로 응용할 수 있음.

[6] Language-based Color ISP Tuning (Mayer et al., 2025) (원문 확인)

• 핵심 아이디어: 색 보정 ISP 블록(3×3 색 변환 행렬, 파라미터 9개)을 미분 가능하게 두고, 고정된 CLIP으로 "출력 영상이 텍스트 프롬프트와 얼마나 비슷한지"를 점수로 매긴 뒤 경사하강법으로 ISP 파라미터만 최적화함. 논문에 "VLM 학습은 필요 없다"고 명시함.
• 세부 설정:
  • CLIP ViT-B/32 (LAION-2B 가중치)가 가장 좋았음. 더 큰 ViT-L/14가 오히려 나빴고, 저자들은 gradient 문제로 추정하나 원인은 밝히지 못함.
  • 프롬프트 하나의 유사도를 최대화하는 방식보다, 두 프롬프트(예: vibrant vs dull)의 유사도 비율을 목표값에 맞추는 방식이 더 안정적이고 조절하기 쉬웠음.
  • Adam, lr 2e-3, 1000 iteration. 영상당 약 30초 (RTX 3090). 약 100 iteration에서 대부분 수렴함.
  • 정규화는 파라미터 범위 제한(|φ| ≤ 0.25)과 white point 제약뿐. 범위를 0.5 이상으로 넓히면 부자연스러운 결과가 나옴.
• 한계 (저자 언급): 영상마다 따로 튜닝함 (공통 파라미터는 향후 과제). CLIP은 의미 위주로 학습되어 스타일·추상 표현에 약함. 대규모 사용자 평가 없음.
• 우리 과제와의 차이: VLM 점수를 직접 미분해 loss로 쓰는 방식임(접근 D와 유사). 하지만 입력이 224×224로 축소되고 CLIP은 의미 위주 임베딩이라, moiré 같은 미세 국소 결함에는 거의 반응하지 않을 것으로 봄.
• 활용:
  • "미분 가능한 ISP + 고정 VLM 기반 목적함수" 조합의 선례로 인용할 수 있음.
  • "큰 VLM이 꼭 더 좋은 gradient를 주지는 않는다", "두 상태를 대비시키는 목적함수가 더 안정적이다"라는 관찰은 우리 설계에도 참고가 됨.

[30] Auto-ISP (DAC 2024)

• 내용: ISP 하드웨어의 하이퍼파라미터를 실시간으로 자동 최적화하는 프레임워크. 기존 AI 기반 자동 튜닝이 오프라인으로, 미리 정한 장면에 대해, 사람이 개입하며 이뤄진다는 점을 문제로 지적함.
• 우리 과제와의 관계: 초록만 확인함 (본문은 ACM DL 접근 필요). 실시간 장면 적응이 목표라서, 오프라인으로 공통 레지스터 1세트를 찾는 우리 과제와는 방향이 다름. HW ISP 튜닝 자동화 동향으로만 인용.

#B. Quad Bayer remosaic

[7] MIPI 2022 Quad-Bayer Re-mosaic Challenge

• 내용: Quad Bayer → Bayer 변환 챌린지. 70개 학습 장면, 15개 검증 장면을 공개함. PSNR, SSIM, LPIPS, KL-divergence로 순위를 매김.
• 시사점: 보고서 스스로 "좋은 remosaic은 moiré, false color 같은 아티팩트가 적어야 한다"고 하면서도, 평가는 픽셀 지표 위주임 → 픽셀 지표와 아티팩트 사이의 간극은 이 분야에서도 인식된 문제임. 우리 과제 동기의 근거로 쓸 수 있음.
• 활용: 공개 데이터셋은 VLM 판정 능력을 미리 검증하는 데 쓸 수 있음 (사내 데이터 사용 전 단계).

[8] Jia et al., 2022 (MIPI 참가팀)

• 내용: 2단계 딥러닝 remosaic. 1단계는 GT로 Bayer를 복원하고, 2단계는 ISP를 거친 색 정보로 보정함.
• 시사점: raw 도메인 loss만으로는 부족해서 ISP를 거친 RGB 도메인에서 한 번 더 보정한다는 점이 우리 문제의식과 같음.

#C. MLLM 기반 화질 평가 (IQA)

[9] Q-Bench (ICLR 2024)

• 내용: MLLM의 저수준 시각 능력(화질 인지, 화질 묘사, 점수 매기기)을 평가하는 벤치마크.
• 시사점: 범용 MLLM의 저수준 인지는 아직 불안정하다는 결과. 우리 과제에서도 오픈 VLM을 그대로 쓰기 전에 검증이 필요하다는 근거.

[10] Q-Instruct (CVPR 2024)

• 내용: 저수준 화질 묘사 데이터로 instruction tuning하여 MLLM의 화질 인지 능력을 높임.
• 활용: 사내 아티팩트 데이터로 VLM을 미세조정할 때 참고할 데이터 구성 방식.

[11] Q-Align (ICML 2024)

• 내용: 점수를 숫자로 직접 뽑지 않고 "excellent / good / fair / poor / bad" 같은 텍스트 등급으로 학습시킨 뒤, 등급별 확률로 연속 점수를 만듦.
• 활용: VLM 판정을 연속적인 가중치로 바꿀 때 쓸 수 있는 방법 (토큰 확률 → 점수).

[12] DepictQA (ECCV 2024)

• 내용: 점수 대신 언어로 화질을 설명함. 참조 영상과 비교하는 Full-Reference 설정과, 두 영상 중 어느 쪽이 나은지 고르는 비교 설정을 지원함.
• 활용: 우리 과제는 GT(참조)가 있으므로 Full-Reference 비교 설정이 그대로 들어맞음.

[13] Co-Instruct (ECCV 2024)

• 내용: 여러 영상을 비교하는 화질 비교 모델. 56.2만 개 학습 데이터와 다중 영상 비교 벤치마크(MICBench)를 만듦.
• 활용: "레지스터 후보 A vs B" 또는 "HW 출력 vs GT" 비교에 쓸 수 있음.

[14] Compare2Score (NeurIPS 2024)

• 내용: MLLM에 두 영상의 상대 비교를 가르친 뒤, 여러 기준 영상과 비교한 결과를 모아 연속 점수로 바꿈.
• 시사점: 절대 점수보다 상대 비교가 더 안정적이라는 점. 우리 과제에서도 VLM에게 "몇 점인가"보다 "어느 쪽이 나은가"를 묻는 것이 유리할 수 있음.

[15] Q-Insight (NeurIPS 2025)

• 내용: GRPO(DeepSeek-R1 방식 강화학습)로 화질 점수와 열화 종류 인지를 함께 학습함. 적은 라벨로도 학습되고 추론 과정을 텍스트로 냄.
• 활용: 사람 라벨이 적은 우리 상황(과거 기록 없음)에서 VLM을 미세조정하는 방법 후보.

[16] VisualQuality-R1 (NeurIPS 2025)

• 내용: 영상 쌍을 비교하는 순위 학습(RL to Rank)으로 화질 판정 모델을 학습함.
• 활용: pairwise 선호 데이터만으로 학습할 수 있어, 사람 튜너의 A/B 선택을 모아 VLM을 학습시키는 경로와 잘 맞음.

#D. 영역 단위 결함 위치화

[17] Q-Ground (ACM MM 2024)

• 내용: MLLM이 화질 질문에 답하면서 결함 영역을 픽셀 단위로 분할함. 약 10만 개의 (영상, 화질 텍스트, 결함 마스크) 데이터셋 QGround-100K를 공개함.
• 활용: 접근 C에서 VLM 판정을 영역별 loss 마스크로 바꾸는 데 직접 쓸 수 있는 구조. ROI(200×200) 안에서도 어느 부분이 문제인지 알 수 있음.

[18] PAL4VST (ICCV 2023)

• 내용: 생성 영상의 지각적 아티팩트를 픽셀 단위로 분할하는 모델. 10개 합성 과제에 걸쳐 약 1만 장의 픽셀 라벨 데이터를 만듦.
• 활용: VLM이 아닌 전용 분할 모델로 아티팩트 맵을 뽑아 loss 가중치로 쓰는 대안. 다만 생성 영상용이라 remosaic 아티팩트에 맞추려면 재학습이 필요함.

#E. LLM / VLM을 최적화기·보상 설계자로

[19] OPRO (ICLR 2024)

• 내용: 지금까지 시도한 해와 점수를 프롬프트에 넣고, LLM이 다음 해를 제안하는 반복 최적화.
• 활용: 접근 B(VLM 에이전트)의 기본 틀. 다만 30차원 정수 공간에서 수치 최적화 능력은 CMA-ES 등보다 떨어질 수 있음.

[20] Eureka (ICLR 2024)

• 내용: LLM이 강화학습의 보상 함수 코드를 직접 작성하고, 학습 결과를 보며 보상 함수를 반복 개선함. 29개 환경 중 83%에서 사람 전문가가 만든 보상보다 좋은 결과를 냄.
• 활용: 접근 C와 구조가 같음. "LLM이 목적함수를 설계 → 하위 최적화기가 학습 → 결과를 보고 목적함수 수정"이라는 바깥 루프 구조의 선례. 우리 과제에서는 보상 함수 대신 ROI 가중치와 loss 구성을 VLM이 정함.

[21] LLAMBO (ICLR 2024)

• 내용: Bayesian Optimization의 일부(초기 샘플 제안, surrogate 모델, 후보 생성)를 LLM으로 대체함.
• 활용: 접근 A와 B를 섞는 방식의 참고. VLM이 레지스터의 의미를 이해하면 초기 탐색을 줄일 수 있음.

[22] AgenticIR (ICLR 2025)

• 내용: 화질 분석용으로 미세조정한 VLM과 추론용 LLM이 "인지 → 계획 → 실행 → 반성 → 재계획" 루프로 복원 도구를 조합함. LLM이 복원 결과를 관찰해 경험 문서를 쌓는 자기 탐색 단계를 둠.
• 활용: "VLM이 결과를 보고 판단 → 다음 행동 결정"하는 에이전트 구조의 선례. 경험을 문서로 쌓는 방식은 사람 튜너의 암묵지를 대신할 지식 베이스를 만드는 아이디어로 이어질 수 있음.

#F. Loss 밸런스 / worst-case 최적화

[23] Uncertainty Weighting (Kendall et al., 2018) / [24] GradNorm (Chen et al., 2018)

• 내용: 여러 loss를 합칠 때 가중치를 학습하거나(불확실성 기반), 각 loss의 gradient 크기를 맞추는 방식으로 자동 조정함.
• 활용: ROI 밸런스 문제에 대한 VLM 없는 베이스라인. VLM 기반 가중치가 이 방법들보다 나은지 비교해야 함.

[25] Group DRO (Sagawa et al., 2020)

• 내용: 평균 loss가 아니라 가장 나쁜 그룹의 loss를 줄이도록 그룹 가중치를 갱신함.
• 활용: "특정 ROI가 크게 희생되는 문제"에 직접 대응하는 베이스라인. 다만 Group DRO는 "모든 ROI를 지킨다"는 방향이라, "어떤 ROI는 포기한다"는 우리 요구와는 반대임 → VLM이 포기할 ROI를 골라주는 것이 차별점이 될 수 있음.

[26] LPIPS (2018) / [27] DISTS (2020)

• 내용: 딥러닝 특징 기반 지각 유사도 지표. 미분 가능하므로 loss로 쓸 수 있음.
• 활용: L1을 대신하는 미분 가능한 지각 loss 베이스라인. "VLM까지 쓸 필요가 있는가"를 확인하려면 반드시 비교해야 함.

#G. VLM 미세 인지의 한계

[28] OddGridBench / [29] Artifact-Bench (2026)

• 내용: MLLM이 미세한 시각 차이(색, 크기, 위치의 작은 변화)나 화면 일부에만 있는 작은 아티팩트를 잘 못 찾는다는 결과. Artifact-Bench에서는 모델 크기를 키워도 아티팩트 검출이 꼭 좋아지지 않았음 (InternVL3.5 38B ≈ 8B). 원인으로 시각 토큰 압축과 전역 pooling을 지목함.
• 시사점 (리스크): 우리 과제의 moiré, zipper 등은 작고 미세한 결함임. 오픈 VLM을 그대로 쓰면 못 볼 수 있음 → ROI 확대, 차이 영상(HW − GT) 함께 제공, 사내 데이터로 미세조정 등의 보완이 필요함. 그리고 모델 크기보다 입력 구성과 미세조정이 더 중요할 수 있음.

#H. Demosaic 아티팩트 정량 지표

[31] Gasparini et al. (EURASIP JASP, 2012) / [32] No-reference demosaiced image quality (SAI)

• 내용:
  • [31]은 blur(선명도 부족), 색 왜곡, 무채색 왜곡 측정치를 결합한 no-reference demosaic 아티팩트 지표를 만들고, 사람 시각 실험 데이터에 맞춤. zipper(on-off 패턴의 선분)를 가장 두드러진 아티팩트로 꼽음.
  • [32]는 zipper 화소를 직접 찾아 세고, 고주파 영역에서 색 채널 간 상관을 재서 false color를 측정한 뒤 두 점수를 합침.
• 정리: 이 분야에 표준화된 단일 지표는 없음. 보통 zipper와 false color를 따로 재고, 사람 판정으로 검증함. moiré는 별도 지표가 더 드묾.
• 활용:
  • 차트 ROI에서 평가용 자동 지표로 구현해 볼 수 있음 (현재 사내에 자동 측정 파이프라인 없음).
  • 이 지표들도 "사람 판정과 맞추는" 방식이라, VLM 판정과 같은 사람 판정 데이터로 함께 검증할 수 있음 → VLM이 고전 지표보다 사람에 더 가까운지가 핵심 비교가 됨.

#I. VLM 고해상도 / zoom-in 기법

[33] ZoomEye (2024) / [34] HiDe (2025)

• 내용:
  • [33] ZoomEye는 학습 없이 쓸 수 있는(training-free) 방법. 영상을 확대 영역의 트리로 보고, 모델이 전체 영상에서 출발해 필요한 세부 영역으로 내려가며 탐색함. InternVL2.5-8B 기준 고해상도 벤치마크(HR-Bench)에서 15~18%p 향상을 보고함.
  • 같은 계열로 ViCrop(학습 없이 crop·확대), DeepEyes(강화학습으로 확대 행동을 학습), Zoom-Refine(확대 + 자기 수정) 등이 있음 (각 논문 원문 미확인).
  • [34] HiDe는 이런 zoom-in 방법들을 다시 분석한 연구 (세부 미확인).
• 우리 과제와의 관계:
  • 이 기법들은 "큰 영상에서 작은 물체를 찾는" 문제용임. 우리 ROI는 200×200으로 이미 작아서 찾는 문제보다 "보이게 만드는" 문제에 가까움.
  • 따라서 우리에게 더 직접적인 처방은 ROI를 VLM 입력 해상도에 맞게 확대(최근접 보간으로 화소 구조 유지)하고, HW 출력·GT·차이 영상을 함께 보여주는 것임. 자연 영상처럼 큰 영상을 다룰 때는 ZoomEye 같은 탐색 방식이 유용할 수 있음.

#오픈 VLM 후보 (H200 1장 기준)

검색으로 확인한 2026년 10월 기준 상황 (대부분 블로그·비교 글이라, 실제 선택 전에 Hugging Face 모델 카드 확인 필요):

• H200(141GB) 기준 크기: 7B~32B급은 BF16 추론과 LoRA 미세조정 모두 넉넉함. 70B급은 FP8 / INT8 양자화 시 추론 가능, 미세조정은 빠듯함.
• 권장: 먼저 Qwen 계열 7B~32B로 시작. 최근 IQA 미세조정 연구들의 기반 모델과 같아서 코드·레시피를 재사용하기 쉽고, 크기를 키우는 것보다 입력 구성과 미세조정이 더 중요할 가능성이 큼([29]).

#선행 연구의 VLM / LLM 학습 여부

정리:

• 화질 판정 자체를 잘하게 만든 연구([10]~[17])는 모두 VLM을 미세조정함.
• VLM을 고정해서 쓴 연구는 ① 전역적·의미적인 정보만 필요하거나([5] 장면 설명, [6] 색감), ② LLM이 판정이 아니라 계획·코드 작성을 맡는 경우([19]~[21])임.
• 우리 과제는 미세 국소 아티팩트 판정이 핵심이므로, 고정 VLM으로 먼저 검증하되 미세조정이 필요할 가능성이 높음. 미세조정에는 사람 판정 데이터가 필요하므로 데이터 수집 계획을 함께 세워야 함.

#Q1 관점 정리: VLM의 화질 판정·미세 패턴 평가

1차 결과물(화질 판정 VLM)과 관련된 논문만 모아 정리함.

종합:

1. 범용 VLM을 그대로 쓰면 미세 결함을 놓칠 가능성이 높음.
2. 모델 크기보다 입력 구성과 미세조정이 중요함.
3. "몇 점인가"보다 "어느 쪽이 나은가"를 묻는 편이 안정적임.
4. remosaic / demosaic 아티팩트를 VLM으로 판정한 연구는 찾지 못함 → 1차 결과물의 기여 지점.

#연구 흐름 정리

[ISP 파라미터 자동 튜닝]
 proxy 미분 (2019) --> HW-in-the-loop 블랙박스 (2020) --> RL 기반 적응 (2024)
                                                         --> MLLM 가이드 (ICCV 2025) ★
                                                         --> VLM 목적함수 + 경사하강 (2025)

[MLLM 화질 평가]
 벤치마크 (Q-Bench) --> 점수화 (Q-Align) --> 설명.비교 (DepictQA, Co-Instruct, Compare2Score)
                    --> 영역 위치화 (Q-Ground) --> 강화학습 추론 (Q-Insight, VisualQuality-R1)

[LLM을 최적화 루프에]
 LLM = 최적화기 (OPRO, LLAMBO) / LLM = 목적함수 설계자 (Eureka) / VLM = 에이전트 (AgenticIR)

• ISP 튜닝 분야: 목적함수를 사람의 화질 판단에 가깝게 만들려는 방향으로 이동 중이며, 2025년부터 MLLM / VLM을 넣기 시작함.
• MLLM IQA 분야: 전체 점수 하나에서 비교, 설명, 영역 위치화, 추론으로 확장 중. 특히 pairwise 비교가 절대 점수보다 안정적이라는 흐름.
• LLM 최적화 분야: LLM이 해를 직접 고르는 것보다, 목적함수를 설계하고 하위 최적화기에 맡기는 구조(Eureka)가 더 좋은 성과를 냄.

#남아 있는 공백 (Gap)

1. 고정 로직 HW의 화질 튜닝에 VLM을 쓴 연구가 거의 없음. MLLM-ISP[5]는 실제 HW ISP(Spectra 580)도 실험했지만, VLM은 장면 설명만 만들고 파라미터는 장면별로 RL이 예측함. Color ISP Tuning[6]은 전역 색감이 대상임. 정수 레지스터, bit-exact 미분 모델, 공통 레지스터 1세트, remosaic 아티팩트를 다룬 연구는 찾지 못함.
2. VLM 판정을 역전파 기반 최적화의 "가중치·마스크"로 연결한 연구가 없음. 기존 연구는 VLM을 ① 점수(RL·블랙박스용)로 쓰거나 ② CLIP 유사도를 직접 미분함. VLM이 ROI별 우선순위와 포기 여부를 정하고, 안쪽 루프는 기존 역전파를 그대로 쓰는 구조(접근 C)는 비어 있음. Eureka[20]가 구조적으로 가장 가까운 선례임.
3. "포기할 영역을 고르는" 최적화가 없음. Loss 밸런스 연구(GradNorm, Group DRO)는 모든 영역을 균형 있게 지키는 방향임. HW 한계로 일부를 의도적으로 포기하는 판단은 다루지 않음.
4. remosaic / demosaic 아티팩트에 대한 MLLM 판정 능력이 검증되지 않음. 기존 IQA 벤치마크는 자연 영상의 노이즈, blur, 압축 같은 일반 열화 위주임. 차트 영상의 moiré, false color, zipper를 VLM이 구분하는지는 알 수 없음. 게다가 미세 인지 한계[28, 29]가 보고됨.
5. GT가 도달할 수 없거나 결함이 있는 상황을 다룬 연구가 없음. 대부분 GT를 완벽한 정답으로 가정함. VLM으로 GT 결함을 검출하거나, GT 대신 "선호 방향"을 판정하는 연구는 찾지 못함.

→ 우리 과제의 기여 후보를 연구 질문별로 나누면:

• Q1 (1차 결과물, 화질 판정 VLM): Gap 4가 핵심. remosaic 아티팩트에 대한 VLM 판정 벤치마크·분석, 레지스터 섭동 기반 데이터 생성, 미세조정 판정 모델. Gap 5의 GT 결함 검사도 판정 VLM의 응용으로 포함됨.
• Q2 (2차 결과물, VLM 기반 최적화): Gap 2 + 3이 핵심. VLM이 ROI 우선순위·포기를 정하는 바깥 루프 + 기존 역전파. Gap 1은 이 응용 설정 자체의 새로움.

#추가 조사 필요

• [x] MLLM-ISP[5] 원문 정독 → [5] 요약에 반영
• [x] Language-based Color ISP Tuning[6] 원문 정독 → [6] 요약에 반영
• [x] demosaic / remosaic 아티팩트 정량 지표 조사 → H 절 ([31], [32])
• [x] 오픈 VLM 후보 조사 → "오픈 VLM 후보" 절
• [x] zoom-in / crop 기반 VLM 기법 조사 → I 절 ([33], [34])
• [x] Auto-ISP (DAC 2024) 서지 확인 → [30] (초록만 확인)
• [ ] moiré 전용 정량 지표 추가 조사 (이번 조사에서 표준 지표를 찾지 못함)
• [ ] 오픈 VLM 후보의 모델 카드 확인 (라이선스, 최대 입력 해상도, 다중 영상 입력)
• [ ] "기억 기반"으로 표시한 논문들의 학습 방식·링크 원문 확인