Surrogate-Assisted Evolutionary Optimization for Diffusion Models: Perspectives on Personalization and Distillation

Abstract

Text-to-image diffusion models have achieved strong generative quality and are widely used for image synthesis from natural language descriptions. Their practical deployment, however, requires more than high-quality generation. Pretrained models must often be adapted to individual user preferences at inference time, and large diffusion architectures must be compressed for resource-constrained environments. These two problems involve discrete deployment decisions whose evaluation requires costly procedures such as image generation, preference assessment, distillation training, or benchmark evaluation.

This dissertation studies two deployment-stage decisions in text-to-image diffusion models. The first is the ordering of a fixed prompt keyword set for inference-time personalization, and the second is the selection of recoverable distillation paths for U-Net compression. It formulates these decisions as expensive combinatorial black-box optimization problems and constructs level-specific surrogates. For the input-level search, the surrogate is built from pairwise preference evidence accumulated from evaluated prompt orders. For the structure-level search, it uses attribution-preservation features derived from cross-attention.

The personalization problem is addressed through Interactive Prompt Permutation Optimization. Model personalization is formulated as a combinatorial search problem over prompt permutations while keeping the pretrained diffusion model and the user-provided keyword set fixed. Sparse preference feedback is accumulated into an Ordering Matrix that scores candidate prompt orders through pairwise keyword precedence, and a permutation genetic algorithm searches the factorial prompt space using this surrogate. Controlled experiments show that the Ordering Matrix provides useful rank guidance and that prompt structure can steer generation toward specified preferences without model fine-tuning.

The compression problem is addressed through DELTA-Diff, a recoverability-aware distillation path optimization method. Model compression is formulated as multi-stage distillation path selection rather than parameter reduction alone. DELTA-Diff uses a hybrid surrogate that combines conventional output-level metrics with a Semantic Similarity metric derived from cross-attention attribution preservation. In Stable Diffusion U-Net compression experiments, the proposed surrogate guides the selection of intermediate architectures and improves high-ratio compression performance compared with a single-step distillation baseline.

This dissertation further develops the Cross-Attention Surrogate Design Principle. The principle states that, when a deployment objective is mediated by cross-attention-related structure, the surrogate should be constructed from the part of the model or evaluation signal most directly affected by the deployment variable. IPPO instantiates this at the input level through preference-derived pairwise ordering evidence, whereas DELTA-Diff instantiates it at the structure level through cross-attention attribution preservation. Together, the two studies indicate that level-specific surrogate design can improve the efficiency of deployment-stage optimization under limited evaluation budgets. These results provide a methodological basis for adapting pretrained diffusion models to user preferences and hardware constraints without exhaustive retraining or infeasible search.|텍스트-이미지 확산 모델은 자연어 설명으로부터 고품질 이미지를 생성하는 주요 생성 모델로 널리 사용되고 있다. 그러나 사전학습된 확산 모델을 실제 환경에 배포하기 위해서는 생성 품질의 향상만으로는 충분하지 않다. 사전학습 모델은 추론 시점에서 개별 사용자의 선호에 맞게 조정될 수 있어야 하며, 대규모 확산 모델 아키텍처는 자원 제약이 있는 환경에서 실행될 수 있도록 압축되어야 한다. 이 두 문제는 모두 이산적인 배포 의사결정 변수를 가지며, 이미지 생성, 선호 평가, 지식 증류 학습, 성능 평가와 같은 비용이 큰 절차를 통해서만 실제 목적함수를 평가할 수 있다.

본 논문은 추론 시점 개인화와 확산 모델 경량화를 배포 단계의 비용이 큰 조합적 블랙박스 최적화 문제로 정식화한다. 두 문제는 목적과 제약 조건이 서로 다르지만, 전수 탐색이 어렵고 직접 평가의 비용이 크다는 공통 구조를 가진다. 이를 해결하기 위해 본 논문은 각 배포 변수가 영향을 미치는 수준에서 사용할 수 있는 대리 신호를 구성하는 대리 모델 보조 진화 최적화 방법을 개발한다.

개인화 문제에 대해서는 대화형 프롬프트 최적화 프레임워크 IPPO를 제안한다. IPPO는 사전학습된 확산 모델과 사용자가 제공한 키워드 집합을 고정한 상태에서, 프롬프트 키워드 순서를 순열 공간 위의 조합 탐색 문제로 정식화한다. 희소한 선호 피드백은 키워드 쌍의 선후 관계를 누적하는 대리 모델로 변환되며, 순열 유전 알고리즘은 이 대리 모델을 이용해 팩토리얼 크기의 프롬프트 공간을 탐색한다. 통제된 실험 결과는 대리 모델이 유용한 순위 유도 신호를 제공하며, 모델 미세조정 없이도 프롬프트 구조를 통해 생성 결과를 사용자 표현 선호 또는 기준 기반 선호 방향으로 조정할 수 있음을 보인다.

경량화 문제에 대해서는 회복 가능성을 고려한 증류 경로 최적화 방법인 DELTA-Diff를 제안한다. DELTA-Diff는 모델 경량화를 단순한 파라미터 감소 문제가 아니라 다단계 지식 증류 경로 선택 문제로 정식화한다. 제안 방법은 일반적인 출력 수준 지표와 크로스 어텐션 맵으로부터 유도한 의미 유사도 지표를 결합한 하이브리드 대리 모델을 사용한다. 스테이블 디퓨젼 U-Net 압축 실험에서 이 대리 모델은 중간 아키텍처 선택을 안내하며, 단일 단계 지식 증류 기준선과 비교하여 높은 압축률에서의 성능을 개선한다.

본 논문은 또한 크로스 어텐션 기반 대리 신호 설계 원칙을 제안한다. 이 원칙은 배포 목적함수가 크로스 어텐션 관련 구조에 의해 매개되는 경우, 배포 변수가 주로 영향을 미치는 모델 수준 또는 평가 신호에서 대리 신호를 구성해야 한다는 것이다. IPPO는 입력 수준의 쌍별 선호 증거를 사용하고, DELTA-Diff는 구조 수준의 크로스 어텐션 귀인 보존 정보를 사용한다. 두 연구는 수준별 대리 신호 설계가 제한된 평가 예산 하에서 배포 단계 최적화의 평가 비용을 줄일 수 있음을 보인다. 이러한 결과는 사전학습된 확산 모델을 사용자 선호와 하드웨어 제약에 맞게 조정하기 위한 방법론적 기반을 제공한다.