GAN 학습이 어려운 이유

원글 출처 : https://chaelin0722.github.io/gan/6-Why-it-is-so-hard-to-train-Generative-Adversarial-Networks!/

 

GAN

GAN 은 정규 분포 또는 균일 분포를 사용하여 잡음 z 를 샘플링 하고 심층 네트워크 생성기 GG 를 사용하여 이미지 x(x=G(z))x(x=G(z))를 생성 합니다.

GAN에서는 판별자 입력이 실제인지 생성되었는지 구별하기 위해 판별자를 추가합니다. 입력이 실제일 확률을 추정하기 위해 값 D(x)을 출력합니다 .

 

목적 함수와 기울기

GAN은 다음과 같은 목적 함수를 갖는 minmax game 으로 정의됩니다.

minGmaxDV(D,G)=Ex∼Pdata(x)[logD(x)]+Ex∼pz(z)[log(1−D(G(z)))]]minGmaxDV(D,G)=Ex∼Pdata(x)[logD(x)]+Ex∼pz(z)[log(1−D(G(z)))]]

아래 다이어그램은 해당 기울기를 사용하여 판별자와 생성기를 훈련하는 방법을 요약합니다.

 

GAN 문제

많은 GAN 모델은 다음과 같은 주요 문제를 겪고 있다.

Non-convergence : 모델 매개변수가 진동하고 불안정하며 수렴하지 않는다. Mode collapse : 제한된 종류의 샘플을 생성하는 생성자가 붕괴된다. Diminished gradient : 구분자(discriminator)가 매우 성공적이어서 생성자의 기울기가 감소되어버려 아무것도 학습하지 못한다. genarator과 discriminator의 균형이 맞지 않아 오버피팅을 야기하고 하이퍼파라미터의 값에 따라 매우 예민하다.

 

Mode

- 작성중...

 

 

 

 

 

*영어 원문 글은 여기에서 참고