生成模型(GenerativeModel)是一种可以通过学习训练样本来产生更多类似样本的模型。在所有生成模型当中,最具潜力的是生成对抗网络(Generative Adversarial Networks, GANs)。GANs是非监督机器学习的一种,它的运作方式可被看做是两个神经网络相互竞争的零和游戏(zero-sum game)。
,Ian Goodfellow等人在《GenerativeAdversarial Nets》一文中首次提出了GANs,标志着GANs的诞生。
原文链接:/pdf/1406.2661v1.pdf
PPT链接:/slides/-12-04-NIPS.pdf
源码链接:/goodfeli/adversarial
视频链接:/watch?v=HN9NRhm9waY
本文总结了一系列关于GANs的前沿工作进展
一、最新研究论文(根据Google Scholar的引用数进行降序排列)
基于深度卷积生成对抗网络的无监督学习(Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks (DCGANs))
原文链接:/pdf/1511.06434v2.pdf
对抗实例的解释和利用(Explaining and Harnessing Adversarial Examples)
原文链接:/pdf/1412.6572.pdf
基于深度生成模型的半监督学习( Semi-Supervised Learning with Deep Generative Models )
原文链接:/pdf/1406.5298v2.pdf
基于拉普拉斯金字塔生成式对抗网络的深度图像生成模型(Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks)
原文链接:/paper/5773-deep-generative-image-models-using-a-laplacian-pyramid-of-adversarial-networks.pdf
训练GANs的一些技巧(Improved Techniques for Training GANs)
原文链接:/pdf/1606.03498v1.pdf
条件生成对抗网络(Conditional Generative Adversarial Nets)
原文链接:/pdf/1411.1784v1.pdf
生成式矩匹配网络(Generative Moment Matching Networks)
原文链接:http://proceedings.mlr.press/v37/li15.pdf
超越均方误差的深度多尺度视频预测(Deep multi-scale video prediction beyond mean square error)
原文链接:/pdf/1511.05440.pdf
通过学习相似性度量的超像素自编码(Autoencoding beyond pixels using a learned similarity metric)
原文链接:/pdf/1512.09300.pdf
对抗自编码(Adversarial Autoencoders)
原文链接:/pdf/1511.05644.pdf
InfoGAN:基于信息最大化GANs的可解释表达学习(InfoGAN:Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets)
原文链接:/pdf/1606.03657v1.pdf
上下文像素编码:通过修复进行特征学习(Context Encoders: Feature Learning by Inpainting)
原文链接:http://www.cv-/openaccess/content_cvpr_/papers/Pathak_Context_Encoders_Feature_CVPR__paper.pdf
生成对抗网络实现文本合成图像(Generative Adversarial Text to Image Synthesis)
原文链接:http://proceedings.mlr.press/v48/reed16.pdf
基于像素卷积神经网络的条件生成图片(Conditional Image Generation with PixelCNN Decoders)
原文链接:/pdf/1606.05328.pdf
对抗特征学习(Adversarial Feature Learning)
原文链接:/pdf/1605.09782.pdf
结合逆自回归流的变分推理(Improving Variational Inference with Inverse Autoregressive Flow )
原文链接:/paper/6581-improving-variational-autoencoders-with-inverse-autoregressive-flow.pdf
深度学习系统对抗样本黑盒攻击(Practical Black-Box Attacks against Deep Learning Systems using Adversarial Examples)
原文链接:/pdf/1602.02697.pdf
参加,推断,重复:基于生成模型的快速场景理解(Attend, infer, repeat: Fast scene understanding with generative models)
原文链接:/pdf/1603.08575.pdf
f-GAN: 使用变分散度最小化训练生成神经采样器(f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization )
原文链接:/paper/6066-tagger-deep-unsupervised-perceptual-grouping.pdf
在自然图像流形上的生成视觉操作(Generative Visual Manipulation on the Natural Image Manifold)
原文链接:/pdf/1609.03552.pdf
通过平均差异最大优化训练生成神经网络(Training generative neural networks via Maximum Mean Discrepancy optimization)
原文链接:/pdf/1505.03906.pdf
对抗性推断学习(Adversarially Learned Inference)
原文链接:/pdf/1606.00704.pdf
基于循环对抗网络的图像生成(Generating images with recurrent adversarial networks)
原文链接:/pdf/1602.05110.pdf
生成对抗模仿学习(Generative Adversarial Imitation Learning)
原文链接:/paper/6391-generative-adversarial-imitation-learning.pdf
基于3D生成对抗模型学习物体形状的概率隐空间(Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling)
原文链接:/pdf/1610.07584.pdf
学习画画(Learning What and Where to Draw)
原文链接:/pdf/1610.02454v1.pdf
基于辅助分类器GANs的条件图像合成(Conditional Image Synthesis with Auxiliary Classifier GANs)
原文链接:/pdf/1610.09585.pdf
隐生成模型的学习(Learning in Implicit Generative Models)
原文:/pdf/1610.03483.pdf
VIME:变分信息最大化探索(VIME: Variational Information Maximizing Exploration)
原文链接:/paper/6591-vime-variational-information-maximizing-exploration.pdf
生成对抗网络的展开(Unrolled Generative Adversarial Networks)
原文链接:/pdf/1611.02163.pdf
训练生成对抗网络的基本方法(Towards Principled Methods for Training Generative Adversarial Networks)
原文链接:/pdf/1701.04862.pdf
基于内省对抗网络的神经图像编辑(Neural Photo Editing with Introspective Adversarial Networks)
原文链接:/pdf/1609.07093.pdf
基于解码器的生成模型的定量分析(On the Quantitative Analysis of Decoder-Based Generative Models )
原文链接:/pdf/1611.04273.pdf
结合生成对抗网络和Actor-Critic 方法(Connecting Generative Adversarial Networks and Actor-Critic Methods)
原文链接:/pdf/1610.01945.pdf
通过对抗网络使用模拟和非监督图像训练( Learning from Simulated and Unsupervised Images through Adversarial Training)
原文链接:/pdf/1612.07828.pdf
基于上下文RNN-GANs的抽象推理图的生成(Contextual RNN-GANs for Abstract Reasoning Diagram Generation)
原文链接:/pdf/1609.09444.pdf
生成多对抗网络(Generative Multi-Adversarial Networks)
原文链接:/pdf/1611.01673.pdf
生成对抗网络组合(Ensembles of Generative Adversarial Network)
原文链接:/pdf/1612.00991.pdf
改进生成器目标的GANs(Improved generator objectives for GANs)
原文链接:/pdf/1612.02780.pdf
生成对抗模型的隐向量精准修复(Precise Recovery of Latent Vectors from Generative Adversarial Networks)
原文链接:/pdf?id=HJC88BzFl
生成混合模型(Generative Mixture of Networks)
原文链接:/pdf/1702.03307.pdf
记忆生成时空模型(Generative Temporal Models with Memory)
原文链接:/pdf/1702.04649.pdf
停止GAN暴力:生成性非对抗模型(Stopping GAN Violence: Generative Unadversarial Networks)
原文链接:/pdf/1703.02528.pdf
二、理论学习
1.训练GANs的技巧,
参见链接:/paper/6124-improved-techniques-for-training-gans.pdf
2.Energy-Based GANs以及Yann Le Cun的相关研究
参见链接:/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
3.模式正则化GAN
参见链接:/pdf/1612.02136.pdf
三、报告
1.Ian Goodfellow的GANs报告
参见链接:/slides/-12-04-NIPS.pdf
2.Russ Salakhutdinov的深度生成模型
参见链接:http://www.cs.toronto.edu/~rsalakhu/talk_Montreal__Salakhutdinov.pdf
四、课程/教程
1.NIPS 教程:生成对抗网络
参见链接:/pdf/1701.00160.pdf
2.训练GANs的技巧和窍门
参见链接:/soumith/ganhacks
3.OpenAI生成模型
参见链接:/generative-models/
4.用Keras实现MNIST生成对抗模型
参见链接:/index.PHP//07/01/mnist-generative-adversarial-model-in-keras/
5.用深度学习TensorFlow实现图像修复
参见链接:http://bamos.github.io//08/09/deep-completion/
五、Github资源以及模型
1.深度卷积生成对抗模型(DCGAN)
参见链接:/Newmu/dcgan_code
2.TensorFlow实现深度卷积生成对抗模型(DCGAN)
参见链接:/carpedm20/DCGAN-tensorflow
3.Torch实现深度卷积生成对抗模型(DCGAN)
参见链接:/soumith/dcgan.torch
4.Keras实现深度卷积生成对抗模型(DCGAN)
参见链接:/jacobgil/keras-dcgan
5.使用神经网络生成自然图像(Facebook的Eyescream项目)
参见链接:/facebook/eyescream
6.对抗自编码(AdversarialAutoEncoder)
参见链接:/musyoku/adversarial-autoencoder
7.利用ThoughtVectors实现文本到图像的合成
参见链接:/paarthneekhara/text-to-image
8.对抗样本生成器(Adversarialexample generator)
参见链接:/e-lab/torch-toolbox/tree/master/Adversarial
9.深度生成模型的半监督学习
参见链接:/dpkingma/nips14-ssl
10.GANs的训练方法
参见链接:/openai/improved-gan
11. 生成式矩匹配网络(Generative Moment Matching Networks, GMMNs)
参见链接:/yujiali/gmmn
12. 对抗视频生成
参见链接:/dyelax/Adversarial_Video_Generation
13. 基于条件对抗网络的图像到图像翻译(pix2pix)
参见链接:/phillipi/pix2pix
14. 对抗机器学习库Cleverhans,
参见链接:/openai/cleverhans
五、框架以及学习库(根据GitHub的星级排序)
1.谷歌的TensorFlow [C++ and CUDA]
主页链接:/
Github链接:/tensorflow/tensorflow
2. Berkeley Vision and LearningCenter (BVLC) 的Caffe [C++]
主页链接:/
Github链接:/BVLC/caffe
安装指南:/blog/Caffe_Installation/README.md
3. François Chollet的Keras[Python]
主页链接:https://keras.io/
Github链接:/fchollet/keras
4. Microsoft Cognitive Toolkit -CNTK [C++]
主页链接:/en-us/research/product/cognitive-toolkit/
Github链接:/Microsoft/CNTK
5. Amazon 的MXNet [C++]
主页链接:http://mxnet.io/
Github链接:/dmlc/mxnet
6. Collobert, Kavukcuoglu &Clement Farabet的Torch,被Facebook广泛采用[Lua]
主页链接:http://torch.ch/
Github链接:/torch
Andrej Karpathy 的Convnetjs [JavaScript]
主页链接:http://cs.stanford.edu/people/karpathy/convnetjs/
Github链接:/karpathy/convnetjs
Université de Montréal的 Theano [python]
主页链接:/software/theano/
Github链接:/Theano/Theano
startup Skymind 的Deeplearning4j [Java]
主页链接:/
Github链接:/deeplearning4j/deeplearning4j
Baidu 的Paddle[C++]
主页链接:/
Github链接:/PaddlePaddle/Paddle
Amazon 的Deep Scalable Sparse Tensor Network Engine (DSSTNE) [C++]
Github链接:/amzn/amazon-dsstne
Nervana Systems 的Neon [Python & Sass]
主页链接:/docs/latest/
Github链接:/NervanaSystems/neon
Chainer [Python]
主页链接:/
Github链接:/pfnet/chainer
h2o [Java]
主页链接:https://www.h2o.ai/
Github链接:/h2oai/h2o-3
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA) 的Brainstorm [Python]
Github链接:/IDSIA/brainstorm
Andrea Vedaldi 的Matconvnet by [Matlab]
主页链接:/matconvnet/
Github链接:/vlfeat/matconvnet
更多细节请参考原文链接:/blog/delving-deep-into-gans