교사 모델 없이 이미지 생성 모델을 정렬하는 Self-OPD 논문 공개

왜 지금 이 주제인가

이미지 생성 모델을 사람의 취향이나 특정 목표에 맞추는 작업은 그동안 강화학습 계열 방법이 맡아 왔습니다. 최근에는 언어 모델에서 성과를 낸 on-policy distillation(OPD, 학생이 스스로 만든 경로 위에서 교사 모델의 촘촘한 신호를 받아 배우는 방식)을 flow matching 모델로 옮기려는 시도가 이어졌습니다. 8월 27일 arXiv에 올라온 Self-OPD는 이 구도에서 교사 모델 자체를 없앤 방법을 제안합니다. 다음 날 Hugging Face 일일 논문 목록에도 올랐습니다.

학생이 자기 자신을 기준으로 삼는 구조

논문은 기존 OPD의 문제를 두 가지로 정리합니다. 첫째, 새 목표가 생길 때마다 그 목표 전용 교사를 따로 학습시켜야 해서 비용이 큽니다. 둘째, 교사와 학생의 분포가 어긋나 생성 경로를 따라 오차가 누적됩니다.

Self-OPD는 교사를 두는 대신 학생 모델의 탐색 결과를 단계별 지도 신호로 바꿉니다. 각 타임스텝에서 결정론적으로 정해지는 다음 상태 예측을 K개의 확률적 SDE 후보로 분기시키고, 각 후보를 ODE 샘플러로 끝까지 굴려 봅니다. 이렇게 얻은 보상을 분기 없이 그대로 진행한 결정론적 기준선과 비교해 정규화된 advantage를 계산합니다. 속도장은 모든 분기를 함께 쓰는 pull-push 목적함수로 갱신됩니다. 보상이 높았던 분기 쪽으로는 끌어당기고 낮았던 분기에서는 밀어내되, 방향에 따른 감쇠와 SDE 분산 정규화를 적용합니다. 여러 목표를 동시에 맞출 때는 그래디언트를 직접 합치지 않고 보상 단계에서 정규화 점수를 합쳐 충돌을 피합니다.

실험은 SD3.5-Medium을 512×512 해상도에서 LoRA로 미세조정하는 조건에서 이뤄졌습니다. 분기 수 K는 8, 노이즈 수준은 0.7입니다. 보상으로는 GenEval(구성 정확도), OCR 문자 단위 정확도, PickScore와 HPSv2(선호도)를 썼습니다.

단일 보상 학습에서 Self-OPD는 각 목표 지표를 기존 방법보다 높였습니다. GenEval strict 기준으로 원본 SD3.5-Medium이 0.5222인데 Self-OPD는 0.9536, Flow-GRPO는 0.9005, GRPO-Guard는 0.9155입니다. OCR은 원본 0.5833에서 Self-OPD 0.9745, Flow-GRPO 0.9253, GRPO-Guard 0.9348입니다. PickScore는 원본 22.41에서 Self-OPD 24.47로 올랐습니다.

혼합 보상 학습에서는 교사 기반인 DiffusionOPD와 직접 비교했습니다. Self-OPD가 GenEval strict 0.9521, OCR 0.9597, PickScore 23.87, HPSv2 0.3214를 기록해 DiffusionOPD의 0.9150, 0.9464, 22.72, 0.2676을 모두 앞섰습니다.

시간도 함께 보고했습니다. DiffusionOPD는 교사 세 개를 병렬로 학습(각각 46.9시간, 33.2시간, 85.8시간)한 뒤 학생 증류에 11.3시간을 더 써서 총 97.0시간이 듭니다. Self-OPD는 처음부터 학습해도 OCR 0.946 수준에 약 62시간, GenEval 0.915 수준에 약 90시간이 걸렸다고 적었습니다.

의미와 한계

교사를 없앴다는 점이 실용적으로 가장 큽니다. 목표가 바뀔 때마다 전용 교사를 다시 학습시키는 비용이 사라지면, 보상 함수를 자주 갈아 끼우는 현장에서 시도 횟수를 늘릴 수 있습니다. 보상 수준에서 점수를 합치는 다목적 방식도 여러 보상을 함께 쓸 때 생기는 그래디언트 충돌을 우회하는 간단한 접근입니다.

다만 수치를 목표별로 뜯어보면 특화의 대가가 드러납니다. OCR만 보상으로 쓴 Self-OPD는 OCR 0.9745를 얻지만 GenEval strict는 0.4186으로 원본 0.5222보다 낮습니다. 하나를 올리면 다른 하나가 내려가는 현상이 남아 있고, 그래서 실제 쓰임에는 혼합 보상 설정이 더 가깝습니다.

검증 범위도 좁습니다. 실험은 SD3.5-Medium 한 모델, 512×512 한 해상도, LoRA 미세조정 한 방식에 묶여 있습니다. 더 큰 모델이나 영상 생성으로 옮겼을 때 매 스텝 K개 분기를 굴리는 비용이 어떻게 늘어나는지는 논문에 나오지 않습니다. 논문에 별도의 한계 절이 없다는 점도 함께 봐야 합니다. 보상 모델 점수가 올랐다는 사실과 사람이 보기에 결과물이 나아졌다는 판단이 같은지는 이 지표들만으로 답하기 어렵습니다. 이 부분은 추측이지만, 자기 탐색만으로 보상을 올리는 구조는 보상 모델의 허점을 파고들 여지도 그만큼 크다고 볼 수 있습니다.

한 줄 정리

Self-OPD는 교사 모델 없이 학생의 자체 탐색만으로 flow matching 모델을 정렬해, 교사 기반 방법보다 짧은 시간에 더 높은 점수를 냈습니다.