부록. VLM 입문 정리

상태: v1.0 (2026-10-20) — VLM을 처음 접하는 사람을 위한 정리. 구조, 주요 모델, 학습 방식, 데이터셋, 데이터 구조, 평가 지표, 재미있는 발견, 우리 과제에 주는 교훈 출처는 맨 아래 참고문헌. 수치는 각 논문 발표 시점 기준이며, 원문을 다시 확인하지 못한 항목은 "(미확인)"으로 표시함

#0. 한눈에 보기

• VLM(Vision-Language Model)은 이미지를 "읽을 수 있는" 언어 모델임. 이미지를 잘게 잘라 토큰으로 바꾼 뒤, 텍스트 토큰과 나란히 LLM에 넣어 답을 생성함.
• 구조는 대부분 비전 인코더 → 연결부(connector) → LLM 3단 구성.
• 학습은 보통 ① 비전 인코더 사전학습 → ② 정렬(연결부만 학습) → ③ 지시 학습(instruction tuning) → ④ 선호 정렬 → ⑤ 강화학습 순서. 최근에는 ⑤(DeepSeek-R1 방식 GRPO)가 유행.
• 오픈 모델의 대표 계열은 Qwen-VL, InternVL, LLaVA. 2026년 현재 오픈 진영은 Qwen3-VL 계열이 가장 많이 쓰임.
• VLM의 약점: 미세한 시각 차이, 겹친 도형 세기, 시계 읽기처럼 "단순한 시각 작업"에 의외로 약함. 이미지를 보지 않고 텍스트만으로 답하는 경우도 많음.
• 재미있는 발견: 이미지에 빨간 동그라미나 화살표를 그려 주면 그 부분을 더 잘 봄. 반대로 평가(심판) 역할을 시킬 때는 박스나 강조 표시가 점수를 부풀리는 편향을 만듦.

#1. VLM은 어떻게 이미지를 읽나

#1-1. 기본 구조

 이미지                                 텍스트 (질문)
   |                                        |
   v                                        |
 [비전 인코더]   ViT: CLIP, SigLIP 등       |
   |                                        |
   v                                        |
 [연결부]        MLP, Q-Former 등           |
   |                                        |
   v                                        v
 시각 토큰 ---------> [ LLM ] <--------- 텍스트 토큰
                         |
                         v
                    답변 텍스트

#1-2. 이미지가 토큰이 되는 과정 (숫자로 보기)

우리 과제에 대입하면 (Qwen2-VL 방식 기준):

• 200×200 ROI는 약 224×224로 맞춰져 토큰 64개가 됨. 토큰 하나가 28×28 화소를 대표함.
• moiré나 zipper처럼 화소 단위로 생기는 패턴이 28×28 화소 하나의 벡터로 압축됨 → 미세 결함이 사라지기 쉬운 구조.
• ROI를 4배(800×800)로 확대하면 토큰은 약 784개로 늘고, 토큰 하나가 원본 7×7 화소를 대표함. 확대가 효과적인 이유가 여기에 있음.

#1-3. 고해상도를 다루는 세 가지 방식

#1-4. 연결부의 종류

• 재미있는 사실: Apple의 MM1 연구에 따르면 이미지 해상도, 이미지 토큰 수, 비전 인코더가 성능에 큰 영향을 주고, 연결부 설계는 상대적으로 영향이 작았음. LLaVA-1.5도 단순한 MLP 연결부가 "의외로 강력하고 데이터 효율적"이라고 보고함.

#2. 주요 모델

#2-1. 계보

2026년에 나온 후속 모델(Qwen3.5, Gemma 4 등)은 블로그 정보만 확인함 (미확인). 실제 선택 전에 모델 카드를 확인할 것.

#2-2. 비전 인코더

#2-3. 우리 과제 관점의 모델 선택

#3. 학습 방식

#3-1. 전체 단계

#3-2. 손실 함수를 쉽게 설명하면

• 대조 학습 (CLIP): 한 배치 안에서 "맞는 이미지–텍스트 쌍"은 가깝게, "틀린 쌍"은 멀게 만듦. 결과적으로 이미지와 문장을 같은 좌표계에 놓게 됨.
• 다음 토큰 예측 (SFT): 이미지 + 질문을 주고, 정답 문장을 한 토큰씩 맞히게 함. 질문과 이미지 토큰에는 손실을 걸지 않고 답변 토큰에만 손실을 검.
• DPO (Direct Preference Optimization): 같은 질문에 대한 "선호 답(chosen)"과 "비선호 답(rejected)"을 주고, 선호 답의 확률은 높이고 비선호 답의 확률은 낮춤. 별도 보상 모델 없이 선호를 학습함.
• GRPO (Group Relative Policy Optimization): 같은 질문에 답을 여러 개(예: 8개) 생성 → 각 답을 규칙으로 채점(정답 여부, 박스 IoU 등) → 그룹 평균보다 잘한 답은 강화, 못한 답은 약화. DeepSeek-R1이 유명하게 만든 방식으로, 2025년부터 VLM에도 대거 적용됨 (Visual-RFT, VLM-R1, Q-Insight, VisualQuality-R1).

#3-3. 미세조정 방식

#3-4. 최근 흐름: "R1 방식" 강화학습

• Visual-RFT (2025): 객체 검출에는 IoU 보상, 분류에는 정답 보상을 주고 GRPO로 학습. 약 100개 샘플만으로 one-shot 세밀 분류 정확도가 24.3% 올랐다고 보고함.
• VLM-R1 (2025): 위치 지정(REC)에 IoU 보상. 같은 데이터로 SFT한 것보다 도메인 밖 벤치마크에서 더 잘 일반화됨.
• IQA에서: Q-Insight(점수 + 열화 종류 보상), VisualQuality-R1(쌍 순위 보상). 사람 라벨이 적어도 학습되고, 판정 이유를 텍스트로 냄.
• 시사점: 우리 과제처럼 "정답을 자동으로 채점할 수 있는" 신호(사람의 A/B 선택, 고전 지표 라벨)가 있으면 GRPO류가 잘 맞음.

#4. 데이터셋

#4-1. 사전학습용 (이미지–텍스트 쌍, 대규모)

#4-2. 상세 캡션·지시 학습용

LLaVA-1.5 지시 데이터 66.5만 개의 구성 (원문 Table 7):

→ 교훈: 여러 능력을 섞어 넣고, 텍스트 전용 데이터도 일부 넣어 언어 능력을 유지함. 우리도 미세조정할 때 일반 데이터를 조금 섞어야 범용 능력이 무너지지 않음.

#4-3. 화질 평가(IQA) 관련

→ remosaic·demosaic 아티팩트를 담은 공개 IQA 데이터는 없음. 우리 데이터(J1)가 의미 있는 이유.

#5. 학습 데이터는 어떻게 생겼나

#5-1. 지시 학습 (LLaVA 형식)

{
  "id": "000000123",
  "image": "coco/train2017/000000123.jpg",
  "conversations": [
    { "from": "human", "value": "<image>\n이 사진에서 사람들은 무엇을 하고 있나요?" },
    { "from": "gpt",   "value": "공원에서 연을 날리고 있습니다." }
  ]
}

• <image> 자리에 시각 토큰(예: 576개)이 들어감.
• 손실은 gpt 답변 부분에만 걸림.

#5-2. 모델 입력 템플릿 (Qwen2-VL 계열 예)

<|im_start|>user
<|vision_start|><|image_pad|><|vision_end|>이 영상의 화질을 평가해 주세요.<|im_end|>
<|im_start|>assistant
노이즈가 적고 선명하지만 우측 상단에 moiré가 보입니다.<|im_end|>

• <|image_pad|>는 실제로는 이미지 크기에 따라 수십~수천 개의 시각 토큰으로 늘어남.

#5-3. 우리 과제용 쌍별 비교 예시 (다중 이미지)

{
  "id": "scene03_def2_roi07_pair112",
  "images": ["gt.png", "cand_A.png", "cand_B.png"],
  "conversations": [
    { "from": "human",
      "value": "<image> 참조(GT)\n<image> 후보 A\n<image> 후보 B\nGT와 비교해 어느 후보가 더 나은가요? 결함 종류와 심각도(1~5)를 함께 답하세요." },
    { "from": "gpt",
      "value": "{\"preferred\": \"B\", \"artifacts_A\": [{\"type\": \"moire\", \"severity\": 4}], \"artifacts_B\": [{\"type\": \"blur\", \"severity\": 2}], \"reason\": \"A는 줄무늬 영역에 moiré가 뚜렷하고, B는 약간 흐리지만 눈에 띄는 결함이 없음\"}" }
  ]
}

• 위치 편향 방지: 같은 쌍을 A/B 순서를 바꿔 한 번 더 넣음 (7-11절).

#5-4. 선호 정렬 (DPO 형식)

{
  "images": ["gt.png", "cand_A.png", "cand_B.png"],
  "prompt": "GT와 비교해 어느 후보가 더 나은가요?",
  "chosen": "B가 더 낫습니다. A는 줄무늬 영역에 moiré가 있습니다.",
  "rejected": "A가 더 낫습니다. A가 더 선명합니다."
}

#5-5. 강화학습 (GRPO 형식)

{
  "images": ["gt.png", "cand_A.png", "cand_B.png"],
  "prompt": "어느 후보가 더 나은가요? <think> 안에 추론, <answer> 안에 A 또는 B.",
  "solution": "B"
}

• 보상 = 형식 보상(태그를 지켰는가) + 정답 보상(사람 선택과 같은가).
• VisualQuality-R1처럼 확률 기반 연속 보상을 쓰기도 함.

#5-6. 전통적인 IQA 데이터 (MOS 형식)

image_name, MOS, std
10004473376.jpg, 3.83, 0.52
10007357496.jpg, 2.41, 0.71

• 여러 사람의 평점 평균(MOS, Mean Opinion Score). VLM 학습에 쓰려면 Q-Align처럼 등급 텍스트("good" 등)로 바꾸거나, 쌍으로 바꿔 비교 학습에 씀.

#6. 평가: 벤치마크와 지표

#6-1. 주요 벤치마크

#6-2. 지표 설명

#6-3. 평가할 때 주의할 점

• 이미지 없이도 풀리는 문제: MMStar 연구에서 GeminiPro는 이미지 없이 MMMU에서 42.9%를 맞힘 → 벤치마크 점수가 "시각 능력"을 다 말해 주지 않음.
• 데이터 누출: 벤치마크 문제가 학습 데이터에 섞여 들어가 외워서 맞히는 경우가 있음.
• LLM 채점의 편향: 채점 모델의 위치 편향, 길이 편향 (7-11절).

#7. 재미있는 발견들

#7-1. 빨간 동그라미를 그리면 그 부분을 본다 🔴

• 연구: "What does CLIP know about a red circle?" (Oxford, ICCV 2023)
• 발견: 이미지에서 물체 주위에 빨간 동그라미를 그리기만 해도 CLIP의 주의가 그 영역으로 쏠림. 주변 맥락은 그대로 유지됨. 학습시킨 적 없는 창발적 능력으로, 웹 이미지에 빨간 동그라미로 강조한 사진이 많기 때문으로 추정됨.
• 결과: 텍스트 대신 이미지를 고치는 "시각 프롬프트 엔지니어링"으로, 지시 표현 이해(referring expression)에서 zero-shot 최고 성능.
• 세미나에서 들으신 "빨간 표시를 하면 더 잘한다"는 이야기의 원조 격 연구임.

#7-2. 화살표, 박스, 낙서도 알아듣게 학습할 수 있다 ➡️

• 연구: ViP-LLaVA (CVPR 2024)
• 내용: 마스크 윤곽, 타원, 박스, 삼각형, 낙서, 점, 화살표, 마스크 등 8종의 시각 표시를 이미지에 직접 그려 학습. 사람이 손으로 그린 표시나 선 굵기가 달라도 잘 동작함.
• 영역 이해 벤치마크(Visual7W, PointQA, VCR)에서 최고 성능.

#7-3. 번호표를 붙이면 GPT-4V가 위치를 잘 짚는다 🔢

• 연구: Set-of-Mark Prompting (Microsoft, 2023)
• 내용: SAM 같은 분할 모델로 이미지를 영역별로 나누고 각 영역에 숫자·글자 표시를 붙여 GPT-4V에 줌. 모델이 "3번 영역"처럼 말로 가리킬 수 있게 됨.
• zero-shot GPT-4V + SoM이 RefCOCOg에서 전용으로 학습된 최고 모델보다 나았음.
• 빨간 동그라미는 한두 개 물체만 가리킬 수 있지만, 번호는 말로 부를 수 있어서 여러 영역을 다룰 수 있다는 점이 차이.

#7-4. 그런데 심판을 시킬 때는 표시가 점수를 부풀린다 ⚠️

• 연구: Fooling the LVLM Judges (EMNLP 2025)
• 발견: VLM에게 이미지 평가(심판)를 시킬 때, 물체에 박스를 쳐 두거나, "Reference Image" 같은 글자를 얹거나, 밝기·감마를 바꾸거나, 뷰티 필터를 씌우면 점수가 올라감. 시험한 모든 VLM 심판이 모든 분야에서 이 편향을 보였고, 쌍별 비교에서도 마찬가지. 프롬프트로 "속지 마라"고 해도 잘 안 고쳐짐.
• 우리 과제 교훈: 결함 위치를 빨간 박스로 표시해 주면 VLM이 그 부분을 더 잘 볼 수 있음 (7-1). 하지만 비교 판정에서 한쪽에만 표시하면 판정이 왜곡됨. 표시를 쓰려면 두 후보에 같은 위치·같은 방식으로 넣거나, "어디를 보라"는 질문용으로만 쓰고 선호 판정은 표시 없이 따로 물어야 함. 이 효과는 E0(EJ2) 입력 설계 실험에 넣어 볼 만함.

#7-5. 사과에 "iPod"라고 써 붙이면 iPod이 된다 🍎

• 연구: OpenAI "Multimodal Neurons" (2021)
• 발견: 사과에 "iPod"라고 쓴 종이를 붙이면 CLIP이 사과를 iPod로 분류함. 원래 사과일 때보다 더 확신함. 손글씨도 통함 (타이포그래픽 공격).
• 이유: CLIP의 뉴런은 개념을 사진·글자·상징으로 가리지 않고 반응함 (예: "금융" 뉴런은 돼지저금통과 "$$$" 글자 모두에 반응).
• 우리 과제 교훈: 판정용 이미지에 파일 이름, 라벨, "GT", "Ours" 같은 글자를 넣지 말 것. 판정을 흔들 수 있음 (7-4의 "Reference Image" 글자 편향과 같은 맥락).

#7-6. CLIP 눈에는 똑같아 보이는 이미지 쌍 👀

• 연구: Eyes Wide Shut? (CVPR 2024)
• 발견: 사람 눈에는 분명히 다른데 CLIP은 거의 같다고 보는 "CLIP-blind 쌍"을 모아 MMVP 벤치마크를 만듦. 방향, 개수, 위치 등 9가지 기초 시각 패턴에서 GPT-4V를 포함한 최고 모델들이 틀리고, 틀린 이유를 그럴듯하게 지어냄.
• CLIP이 헷갈리는 패턴을 VLM도 헷갈림 → 약점이 비전 인코더에서 온다. DINOv2 같은 자기지도 특징을 섞으면(Mixture of Features) 개선됨.
• 우리 과제 교훈: moiré처럼 미세한 패턴 차이는 CLIP 계열 인코더가 "같다"고 볼 위험이 있음 → 비전 인코더 일부 미세조정, 차이 영상 입력이 필요할 수 있음.

#7-7. VLM은 (사실상) 눈이 멀었다 🙈

• 연구: Vision language models are blind (ACCV 2024)
• 발견: 두 원이 겹치는지, 선이 몇 번 교차하는지, 동그라미 친 글자가 무엇인지, 올림픽 로고 같은 고리가 몇 개인지 등 아이도 푸는 7가지 과제(BlindTest)에서 최신 VLM 4종의 평균 정확도가 약 58%. 최고 모델(Claude 3.5 Sonnet)도 약 78%. 도형이 겹치거나 가까울수록 더 틀림.
• 원인으로 이미지 토큰화 방식을 지목함.

#7-8. 시계를 못 읽는다 🕐

• 연구: Lost in Time (Edinburgh, 2025), ClockBench (2025, 비동료심사)
• 발견: Gemini 2.0, Claude 3.5 Sonnet, GPT-4o 등이 아날로그 시계를 맞게 읽은 비율이 25% 미만이라는 보도가 있음. ClockBench에서는 사람 89.1% vs 최고 AI 13.3%. 다른 연구는 미세조정해도 이미 잘 아는 시계 모양에만 효과가 있고 다른 모양으로는 잘 일반화되지 않았다고 보고함.
• 교훈: 학습 데이터에 흔하지 않은 "정밀한 시각 판독"은 크기와 상관없이 약함 → 우리 remosaic 아티팩트도 비슷한 처지일 가능성이 큼. 그리고 미세조정 데이터의 다양성(여러 장면, 여러 레지스터 방향)이 중요함.

#7-9. 이미지 없이도 시험을 푼다 📝

• 연구: MMStar (NeurIPS 2024)
• 발견: 기존 벤치마크의 상당수 문제가 텍스트나 상식만으로 풀림. GeminiPro는 이미지 없이 MMMU에서 42.9%를 맞힘. 일부는 학습 데이터에서 외운 것으로 보임.
• 우리 과제 교훈: 판정 VLM을 평가할 때 "이미지를 빼고 물어보는" 대조 실험을 넣으면, 정말 이미지를 보고 판정하는지 확인할 수 있음 (예: 질문 문구나 장면 이름만으로 답이 맞는지).

#7-10. 2번째 층 이후엔 이미지 토큰 절반이 놀고 있다 💤

• 연구: FastV — An Image is Worth 1/2 Tokens After Layer 2 (ECCV 2024 oral)
• 발견: LLaVA-1.5 등에서 깊은 층의 이미지 토큰에 대한 주의가 매우 비효율적. 2번째 층 이후 이미지 토큰의 절반을 버려도 성능이 거의 그대로이고 연산량은 45% 감소 (LLaVA-1.5-13B).
• 교훈: VLM이 이미지 토큰을 "골고루" 보지 않음. 작은 결함 영역의 토큰이 무시될 수 있음 → 확대, 표시(7-1), 질문으로 위치 지정이 도움이 될 수 있음.

#7-11. 심판은 첫 번째(또는 두 번째)를 편애한다 ⚖️

• 발견: 두 이미지를 비교시키면 순서에 따라 답이 바뀌는 위치 편향이 있음. 최근 연구들에서 첫 번째 선택지 편향 최대 15%, 다른 과제에서 23.3% 등이 보고됨. 모델마다 편차가 큼.
• 표준 해결책: A/B 순서를 바꿔 두 번 묻고, 두 번 다 같은 쪽을 고를 때만 선호로 인정 (아니면 무승부 처리).
• 우리 과제 교훈: EJ2·EJ3의 모든 쌍 판정은 양방향으로 묻고, "양방향 일치율"을 지표로 함께 보고해야 함.

#7-12. 해상도가 연결부보다 중요하다 🔍

• 연구: MM1 (Apple, 2024), LLaVA-1.5 (2023)
• 발견: 성능에 큰 영향을 주는 것은 이미지 해상도, 이미지 토큰 수, 비전 인코더. 연결부(어댑터) 설계는 상대적으로 영향이 작음. 단순 MLP도 충분히 강함.
• 교훈: 우리 과제에서는 모델 구조를 바꾸기보다 입력 해상도(확대 배율)와 토큰 예산을 먼저 조절하는 것이 효과적일 가능성이 큼.

#7-13. 더 크다고 작은 결함을 더 잘 보진 않는다 🐘

• 연구: Artifact-Bench (2026)
• 발견: InternVL3.5 38B와 8B의 아티팩트 검출 성능이 비슷함. 작은 결함은 시각 토큰 압축과 전역 pooling 과정에서 사라짐.
• 교훈: 70B를 무리해서 쓰기보다 7B~32B + 입력 설계 + 미세조정이 합리적.

#7-14. 확대해서 보게 하면 좋아진다 🔎

• 연구: ZoomEye (2024) 등
• 발견: 학습 없이 이미지를 확대 영역의 트리로 탐색하게 하면, 고해상도 벤치마크에서 InternVL2.5-8B가 15~18%p 향상되고 작은 모델이 GPT-4o를 앞서기도 함.
• 2025년부터는 모델이 스스로 이미지를 자르고 확대하며 추론하는 "thinking with images" 방식이 상용·오픈 모델에 들어오기 시작함.

#7-15. ViT는 배경에 "메모장"을 만든다 📒

• 연구: Vision Transformers Need Registers (ICLR 2024)
• 발견: 큰 ViT는 정보가 적은 배경 패치 몇 개를 골라 전역 정보를 저장하는 임시 메모장처럼 씀. 그 패치들의 특징 값이 비정상적으로 커져 주의 맵에 이상한 점으로 나타남. 학습 가능한 "레지스터 토큰"을 몇 개 추가하면 해결됨.
• 교훈: VLM의 주의 맵을 "모델이 어디를 봤는가"의 증거로 해석할 때는 조심해야 함.

#8. 우리 과제에 적용할 체크리스트

#9. 용어집

#참고문헌

구조·모델

• CLIP — Radford et al., Learning Transferable Visual Models From Natural Language Supervision, 2021. arXiv
• Flamingo — Alayrac et al., 2022. arXiv
• BLIP-2 — Li et al., 2023. arXiv
• SigLIP — Zhai et al., Sigmoid Loss for Language Image Pre-Training, ICCV 2023. arXiv
• LLaVA — Liu et al., Visual Instruction Tuning, NeurIPS 2023. arXiv
• LLaVA-1.5 — Liu et al., Improved Baselines with Visual Instruction Tuning, CVPR 2024. arXiv
• Qwen2-VL — Wang et al., 2024. arXiv
• InternVL3.5 — 2025. arXiv
• Qwen3-VL Technical Report — 2025. arXiv
• MM1 — McKinzie et al. (Apple), 2024. arXiv
• Cambrian-1 — Tong et al., NeurIPS 2024. arXiv

학습

• Visual-RFT — 2025. arXiv
• Q-Instruct — Wu et al., CVPR 2024. arXiv
• Q-Insight, VisualQuality-R1 — 02_background.md [15], [16] 참고

데이터셋

• KonIQ-10k — Hosu et al. arXiv
• MMStar — Chen et al., Are We on the Right Way for Evaluating Large Vision-Language Models?, NeurIPS 2024. arXiv

재미있는 발견

• Red circle — Shtedritski, Rupprecht, Vedaldi, ICCV 2023. arXiv
• ViP-LLaVA — Cai et al., CVPR 2024. CVF
• Set-of-Mark — Yang et al., 2023. arXiv
• Fooling the LVLM Judges — Hwang et al., EMNLP 2025. arXiv
• Multimodal Neurons (typographic attack) — OpenAI, 2021. The Register 기사
• Eyes Wide Shut? (MMVP) — Tong et al., CVPR 2024. arXiv
• Vision language models are blind — Rahmanzadehgervi et al., ACCV 2024. CVF
• Lost in Time (시계·달력) — Saxena et al., 2025. arXiv / ClockBench 보도 — The Decoder / 시계 미세조정 일반화 — arXiv
• FastV — Chen et al., ECCV 2024. arXiv
• 위치 편향 — GenArena arXiv, Order Matters arXiv
• Artifact-Bench — 2026. arXiv
• ZoomEye — 2024. arXiv
• Vision Transformers Need Registers — Darcet et al., ICLR 2024. arXiv