《计算机视觉课件》课件1210v1-8.pptx

《《计算机视觉课件》课件1210v1-8.pptx》由会员分享，可在线阅读，更多相关《《计算机视觉课件》课件1210v1-8.pptx（19页珍藏版）》请在文字多文库上搜索。

1、目录,背景介绍,Contents,章节概述,小节介绍,本章总结,背景介绍,BACKGROUND,生成对抗网络（GAN,Generative Adversarial Networks）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。本章主要介绍生成对抗网络的结构和它的简单原理，并通过多种GANs的应用实例展示对抗网络的思维。,ONE,GANs模型,GANs的简单理论推导,背 景 介 绍,GANs应用,生成对抗网络模型

2、架构,1.文本转图像,2.照片风格转化,3.人脸肖像编辑,4.定制类别生成,本章主要介绍生成对抗网络的结构和它的简单原理，并通过多种GANs的应用实例向读者展示对抗网络的思维。第1节将会介绍GANs的模型设计，首先会介绍生成模型与判别模型各自计算的内容，然后会讲述对抗网络思想，并基于这一思想阐述对抗网络模型的搭建方式。第2节会从理论上介绍生成对抗网络的来龙去脉，从数学计算式上推导生成器与判别器的计算本质。最后在第3节会介绍生成对抗网络在应用上的实践，包括文本转图像、图像风格转换、变脸术和定制图片生成四个内容。,章节概述,CHAPTER OVERVIEW,TWO,章 节 概 述,小节介绍,SEC

3、TION INTRODUCTION,8.1 GANs模型介绍 8.2 GANs的简单理论推导 8.3 GANs的应用介绍,THREE,8.1 GANs模型介绍,生成模型与判别模型：理解对抗网络，首先要了解生成模型和判别模型。判别模型比较好理解，就像分类一样，有一个判别界限，通过这个判别界限去区分样本。从概率角度分析就是获得样本x属于类别y的概率，是一个条件概率P（y|x）。而生成模型是需要在整个条件内去产生数据的分布，就像高斯分布一样，需要去拟合整个分布，从概率角度分析就是样本x在整个分布中的产生的概率，即联合概率P（xy）。,对抗网络思想：理解了生成模型和判别模型后，再来理解对抗网络就很直接

4、了，对抗网络只是提出了一种网络结构，总体来说，GANs简单的想法就是用两个模型，一个生成模型，一个判别模型。判别模型用于判断一个给定的图片是不是真实的图片（从数据集里获取的图片），生成模型的任务是去创造一个看起来像真的图片一样的图片。而在开始的时候这两个模型都是没有经过训练的，这两个模型一起对抗训练，生成模型产生一张图片去欺骗判别模型，然后判别模型去判断这张图片是真是假，最终在这两个模型训练的过程中，两个模型的能力越来越强，最终达到稳态。,生成对抗网络模型架构,详细实现过程：,模型输入 对于生成网络，我们随机产生一个随机向量作为生成模型的数据，然后经过生成模型后产生一个新的向量，作为Fake

5、Image，记作D(z)。另外从数据集中随机选择一张图片，将图片转化成向量，作为Real Image,记作x。然后根据图片类型是Fake Image或Real Image将判别网络的输入数据的label标记为0或者1。即判别模型的输入类型为(,0)或者(,1)。2.模型输出 生成网络的输出记作；判别网络的输出值为一个0到1之间的数，用于表示输入图片为Real Image的概率，real为1，fake为0。,前向传播过程：,8.1 GANs模型介绍,反向传播过程：,第一步：优化D,第二步：优化G,总的损失函数：,生成对抗网络模型架构,详细实现过程：,8.1 GANs模型介绍,图像空间分布,生成器

6、的目标表达式,判别器的采样过程,我们需要训练出这样的生成器，对于一个已知分布的数据z，它可以把数据z转化成一个未知分布的数据x，这个未知分布可以与z所在的分布完全不一样，我们把它称作()，并且我们希望()与()之间的距离散度（Divergence，下称Div）越小越好。如果能找到这样的，那也就意味着我们找到了真实数据分布 的近似解，也就意味着我们能够生成各种各样符合真实分布规律的数据。现在一个最关键的问题是，这个Div要如何计算出来呢？,8.2 GANs的简单理论推导,判别器计算Div的推导：,最大化V（G，D）问题的求解实际上就是在求解 与 之间JS Div的值。,8.2 GANs的简单理论

7、推导,理论推导总结：GANs训练时，第一个部分是训练判别器，先从真实数据分布 P data(x)中抽样x，然后从先验分布中抽样z，并通过生成器产生仿造数据 x 接着把x和 x 丢入判别器中训练，使得目标函数 V 最大；第二个部分是训练生成器，从先验分布中抽样新的z，接着把z丢入生成器中训练，使得目标函数 V 最小。这样循环交替，最终生成器产生的数据 x 就会越来越接近真实数据x。,8.2 GANs的简单理论推导,图片转文字功能,8.3.1 文本转图片算法CGAN,CGAN的G,CGAN的D,CGAN即带有条件限制的生成网络（Conditional GAN），可以实现指定类别的定向生成；CGAN

8、不同于GANs的部分为：CGAN的生成器有两个输入，一个是条件词：c，另外一个是从原始图片中采样出的分布z，它的输出是一个图片：x，它希望这个x尽可能地符合条件c的描述，同时足够清晰，CGAN的判别器的输入同样被替换成了两组向量：c和x，输出有两个部分，一个是判断x是否是真实图片，另一个是x和c是否是匹配的。,8.3 GANs的应用介绍,8.3.1 文本转图片算法CGAN,CGAN的算法流程,CGAN的算法流程：重点关注两个损失函数即可。,1.对于判别器的损失函数来说（如上），第一项是正确条件与真实图片的pair，应该给高分；第二项是正确条件与仿造图片的pair，应该给低分（于是加上了“”）；

9、第三项是错误条件与真实图片的pair，也应该给低分。,2.对于生成器的损失函数来说（如上），由于其目的就是让判别器给仿造图片的得分越高越好，这与传统GANs本质上是一致的，,8.3 GANs的应用介绍,8.3.2 照片风格转化算法CycleGAN,CycleGAN原理,CycleGAN的核心思想：通过循环一致性损失，让A风格照片转换成B风格后，再通过另一个生成器使得B风格能转换回A风格，保障信息的不丢失。,8.3 GANs的应用介绍,8.3.3 局部变脸术算法StarGAN,StarGAN原理,StarGAN的核心思想：首先目标domain和输入图片会被输入到生成器然后生成器伪造图片一方面会被

10、传给判别器，判别器会判别这张图片的真假以及domain分类是哪，另一方面这个伪造图片会被再次传回给这个生成器（中图），不过目标domain改成了原始的来源domain，那模型会希望第二次输出的图片能和最开始的输入图片尽可能相似。其实整套训练流程与CycleGAN是非常相似的，不同之处在于CycleGAN使用了两个生成器做风格的来回变换，而在StarGAN中仅使用了一个生成器实现这一变换。,8.3 GANs的应用介绍,8.3.4 定制图片生成算法InfoGAN,InfoGAN架构,InfoGAN的核心思想：把输入的向量z拆分成子向量c和子向量，其中子向量c就是控制生成图片所含内容信息的部分。InfoGAN与CGAN的功能非常像，但不同的是，InfoGAN通过分类器提取出的向量c逼近原始向量c的方式，去逼迫生成器学习到c包含的类别信息。,8.3 GANs的应用介绍,本章总结,CHAPTER SUMMARY,本章较为简易地介绍了生成对抗网络。首先第一节介绍了GANs的模型架构，也就是将生成模型与判别模型组合在一起，实现对抗训练；然后第二节从理论上解释了这样的模型架构的运行原理，并证明出它是能够生效的；最后第三节介绍了4个GANs在应用方面的实例，用实践的示例进一步展示对抗网络的巧妙思维。,FOUR,