在正在进行的GTC2019上，NVIDIA展示了GauGAN，这是一种新的交互式应用程序，它使用生成对抗网络将分割图转换为逼真的图像。这是NVIDIA继PGGAN和StyleGAN之后提出的又一强大方法，相关论文在CVPR2019上被接受为口头论文。
什么，你的意思是摄影师没有拍出这些美丽的照片？
NVIDIA新方法对FlickrLandscapes数据集的启示图像合成结果不是真人拍摄的~
新手艺术家可以在粗糙的画布上绘画，创造出令人惊叹的日落场景，其中崎岖的、白雪皑皑的山峰倒映在玻璃湖中，但他们最终可能会得到看起来像色墨水斑点的东西。
但英伟达开发的一种新方法却达到了相反的效果。这意味着您可以轻松地将粗糙的涂鸦变成令人惊叹的逼真杰作。该方法利用生成对抗网络将分割图转换为逼真的图像。应用该模型的交互式应用程序被命名为GauGAN，以纪念后印象派画家保罗高更(PaulGauguin)。
GauGAN可以为建筑师、城市规划师、景观设计师、开发人员等提供创建虚拟世界的强大工具。借助了解现实世界的人工智能，这些专家可以改进想法原型并快速更改复合场景。
英伟达应用深度学习研究副总裁布莱恩卡坦扎罗(BryanCatanzaro)表示“用简单的草图集思广益设计要容易得多，这项技术可以将草图转化为非常逼真的图像。”
Catanzaro将GauGAN的技术比作“智能画笔”，可以填充粗略分割图的细节，这是显示场景中物体位置的高级轮廓。
GauGAN允许用户绘制自己的分割图并操纵场景，用沙子、天空、海洋或雪等标签来标记每个分割块。
经过数百万张图像的训练，该模型能够以惊人的效果填充景观。当您绘制池塘时，附近的树木和岩石等元素会反射在水中。将其中一个片段标签从“草”更改为“雪”会将整个场景更改为冬季场景，使原来枝繁叶茂的树木露。
卡坦扎罗说“这就像一本色图画书，解释了树木在哪里、太阳在哪里、天空在哪里。然后，神经网络可以根据它对现实的了解来填充所有细节、纹理和反射。”。“他说。图像、阴影和颜色……这项技术不仅可以整合其他图像或剪切和粘贴图像纹理，而且实际上可以合成新的图像，就像画家画一幅画一样。”
据介绍，GauGAN主要采用了NVIDIA最新的SPADE技术，相关研究在CVPR2019上被接受为口头论文。
论文使用空间自适应正则化的语义图像合成
论文地址
摘要我们提出了一种空间自适应正则化方法，该方法通过考虑输入的语义布局来实现简单有效的真实感图像合成层。在以前的方法中，语义布局直接作为深度网络的输入，然后通过卷积、归一化和非线性层对深度网络进行处理。我们的实验表明，这种方法并不是最理想的，因为正则化层往往会“洗掉”语义信息。为了解决这个题，我们建议使用输入布局通过空间自适应学习变换来调整正则化层的激活函数。对几个具有挑战性的数据集的实验证明了与现有方法相比，所提出的方法在视觉保真度和输入布局对齐方面的优势。最后，我们的模型允许用户控制合成图像的含义和风格。代码地址
语义图像合成
空间自适应正则化
假设语义分割掩码mL^HW。这里，L是表示语义标签的一组整数，H和W分别是图像的高度和宽度，m中的每个条目表示像素的语义标签。给定一个包含N个样本的batch，h^i表示深度卷积网络第i层的激活，C^i表示卷积层的通道数，H^i和W^i是表示的激活图。层分别具有高度和宽度。与批量归一化类似，SPADE方法的激活函数对每个通道进行归一化，然后根据学习到的尺度和偏差项进行调整。
当时的激活值为
在，
标准化前点的激活。
和
分别是通道c的激活值的均值和标准差。
下右图为SPADE方法设计。
一些常见的正则化技术（例如批量标准化）通常在实际标准化步骤之后应用学习的仿射层。SPADE方法的仿射层是从语义分割图中学习的。这与条件正则化类似，但SPADE中学习的仿射参数必须是空间自适应的。这意味着每个语义标签必须使用不同的缩放和偏差。这种简单的方法允许我们将语义信号应用于任何层的输出，而不会因标准化过程而丢失语义信息。此外，由于语义信息是由SPADE层提供的，因此可以使用任意潜在向量作为网络的输入来控制生成图像的风格。在SPADE中，首先将掩模投影到嵌入空间中，然后通过卷积运算生成条件参数和。与现有的条件归一化方法不同，和是具有空间维度的张量而不是向量。将所得的和相乘并相加以获得按元素归一化的激活值。
如下图所示，SPADE使用最近邻下采样来缩放语义分割图，以匹配相应特征图的分辨率。和函数是通过简单的两层卷积网络实现的。
铲形发电机
使用SPADE，无需将分割图提供给生成器的第一层。这是因为获得的调制参数已经编码了有关标签布局的足够信息。因此研究人员放弃了生成器的编码部分。这种简化使得网络变得更轻。此外，与现有的分类条件生成器类似，这种新的生成器可以输入随机向量，提供简单自然的多模态合成方法。
图4显示了使用多个ResNet块和上采样层的生成器架构。通过SPADE获得所有层的归一化调制参数。由于每个残差块以不同的尺度运行，SPADE对语义掩模进行下采样以匹配空间分辨率。
图4在SPADE生成器中，每个归一化层都使用语义掩码来调整层激活函数。使用SPADE的残差块结构。生成器由带采样SPADE残差块序列组成。该架构通过消除主图像到图像转换网络的下采样层，以更少的参数实现更好的性能。
为什么SPADE如此有效？
简而言之，它比典型的标准化层更好地保留了语义信息。特别是，InstanceNorm方法的正则化层是所有SOTA条件图像合成模型的几乎重要组成部分，并且在应用于均匀或平滑的分割掩模时往往会消除所有语义信息。
图3应用集成分割图的比较结果SPADE生成器生成逼真的纹理，而pix2pixHD由于标准化层后语义信息的丢失而生成完全相同的输出。
在具有不同场景和标签的具有挑战性的COCO-Stuff数据集上，SPADE显着优于现有方法CRN和pix2pixHD。和实际照片对比一下，滤镜是不是不一样？
实验
研究人员将谱范数应用于生成器和鉴别器的所有层。生成器和鉴别器的学习率分别设置为00001和00004。使用ADAM，研究人员设置_1=0，_2=0999。所有实验均在配备8个V100GPU的NVIDIADGX1上进行。研究人员使用同时均值和方差计算，这意味着数据是从所有GPU收集的。
本研究中使用的数据集包括COCO-Stuff、ADE20K、ADE20K-outdoor、Cityscapes和FlickrLandscapes。
图5基于COCO-Stuff数据集的语义图像合成结果的视觉比较。该方法成功地从语义标签合成了真实的细节。
图6基于ADE20K室外和城市景观数据集的语义图像合成结果的视觉比较。该方法根据空间和语义布局生成逼真的图像。
表1在所有基准数据集上，该方法在语义分割分数和FID方面均优于当前领先的方法。mIoU和像素精度值越高越好。FID值越低越好。
表2用户偏好研究。该数字表明用户更喜欢此方法的结果而不是其他方法。
图8COCO-Stuff的语义图像合成结果。本研究中的方法成功地从各种场景（包括动物和活动）生成了逼真的图像。
表3当对pix2pixHD++中的解码器架构和编码器-解码器架构使用SPADE层时，mIoU分数有所提高。另一方面，简单地连接来自每一层的语义输入并不能完成此任务。此外，深度较小的简约模型优于本研究中所有层的所有基线。
表4SPADE发电机配置各不相同。研究人员改变了生成器的输入、应用于分割图的卷积核的大小、网络容量和无参数正则化方法。本研究中使用的设置以粗体显示。
图9在图像编码器上训练后，模型获得多模态合成特征。在部署过程中，模型使用各种随机噪声来合成具有不同形状但与输入掩码具有相同语义布局的输出。为了进行推理，地面真实图像显示在输入分割掩模内。
一、歌词有夕阳是什么歌？
《夕阳》是一首华语摇滚歌曲，由罗大佑作曲，徐常德作词，收录于罗大佑、金小燕联合制作的同名专辑《夕阳》中。歌词让人感受到时光流逝的无奈和悲伤，主角回忆过去，感叹岁月流逝，岁月无情。随着年龄的增长，我越发意识到生命的无常和短暂，但我要踏踏实实地过好每一天，不忘初心，珍惜现在拥有的美好时光。下面是这首歌的一些歌词。夕阳西下，失恋者在世界尽头。欢乐和悲伤总是残酷的，还没迈出第一步，欢笑就已肆虐。青山还在。多少个太阳。渚河上白发苍苍的渔民和樵夫，习惯了观察秋月和春风。喝着一瓶白酒，相见甚欢，谈笑风生，古今中外。
二、大自然治愈心情的文案？
大自然可以治愈你的心情。许多研究表明，大自然可以对人类心理健康产生积极影响。在美丽的自然环境中漫步，看大海、听鸟语、享受阳光，都可以缓解压力、改善心情、增加情绪稳定性。同时，身处自然环境中也可以帮助人们更轻松地放松下来，不再感受到城市的喧嚣。所以，当你情绪低落时，找一个可以享受大自然的美丽和宁静的地方，比如被绿色植物包围的公园、海滩或湖边。即使是一些与自然有关的简单活动，例如拍照、涂鸦或看日落，也能产生良好的心理效果。这些活动不需要太多时间和金，但可以有效缓解压力、减少焦虑、改善情绪。
本文主要讲解了手机涂鸦简单夕阳，以及一些简单好看的手机壳涂鸦相应的热门话题，希望对诸位有一定的帮助。
No Comment