渐进式图像重构网络:像画画一样重构图像

时间:2019-07-12 来源:www.parladitutto.com

太阳城娱乐官网

渐进式图像重建网络:重建图像像绘画

作者:盛佑,宁友,潘敏雪

在绘画时,我们通常首先勾勒轮廓,然后逐步细化和着色,最后完成绘画。图像生成也可以按照这一步骤进行吗?受此启发,研究人员建立了一个渐进式图像重建网络。网络根据稀疏边缘和色域的三个阶段进行仿真,重建和微调,生成详细的真实图像。

8a6e2a4ca1034832adaa9da9fed1a114.gif

49334dd793c04ecd91f2911b3664afb4.gif

演示演示图像

引言

图像重建(IR)对于物理和生命科学中的图像应用是必不可少的,其目标是基于从地面实况图像提取的各种类型的信息来重建图像。

粗细和边界强度)的草图难以编辑或绘制。具有渐变的二进制等高线图也可以表示图像,但是仅限于图像编辑领域。简而言之,通过上述方法提取的内容不够稀疏且不易控制。

件生成对抗网络(cGAN)部署循环框架。这些方法将图像的内容和样式分离以进行单独提取。但是,在边缘到图像(E2I)转换领域,示例引导样式输入无法在输出中准确地重建高保真样式或颜色。

上述限制允许我们考虑如何解决更稀疏的输入和更可控的样式空间之间的矛盾。本文在一定程度上受绘画过程的启发,绘画过程可归纳为三个部分:临沂,初始绘画和微调。绘画界认为,有抱负的年轻画家可以通过临沂大师绘画时的绘画来增强他们的基本技能。在绘画开始时,一些简单的轮廓和背景填充提供了图片和结构信息的基本元素。在微调阶段,随着图像颜色层的不断改进所带来的光影效果,整个画面可以逐渐细化。

与此绘画过程类似,研究人员提出了一种通用图像重建方法,以显示具有二进制稀疏边缘和平面颜色域的详细图像。二进制边缘和色域的输入足够稀疏和简单,因此可以提取(图1(a)),手绘(图1(b))或可编辑(图1(c))。为了提高图像样式的可控性和可解释性,研究人员没有像在I2I变换中那样提取隐式潜在模式向量,而是作为显式样式特征进入色域。具体而言,研究人员基于生成的对抗网络建立的模型还包括三个阶段:模拟阶段,生成阶段和微调阶段,分别对应于绘画过程的三个部分。如图1所示,在E2I转换域内,模型PI-REC在稀疏输入的用户定义样式测试中表现良好。与以前的方法相比,PI-REC模型可以生成更准确的颜色样式的内容细节。

论文代码见:

本文的主要贡献如下:

提出了一种新颖的通用图像重建架构,其中使用的渐进策略使得模型PI-REC能够从稀疏输入重建高保真图像。

研究人员使用平面色域作为显式样式输入,而不是提取I2I转换中常用的潜在隐式向量,从而提高了可控性和可解释性。

研究人员为模型PI-REC提出了超参数混淆(HC)操作,从而产生了显着的手绘草图转换结果。希望这项研究能够促进自动绘画技术的发展。

8e33ad0c48474f46ad363f3e7d14a68d.jpeg

图1:(a)图像重建结果。这里的方法能够从提取的稀疏边缘和平面颜色域重建真实图像。 (b)手绘草图转换。本文中的方法可用于基于手绘草图合成精确和微调的图像。 (c)用户定义的E2I转换。用户可以将自定义和像素级样式图像注入模型PI-REC,以准确获得所需的输出。

论文:具有边缘和色域的PI-REC:渐进式图像重建网络

dc43f325266b458c961cd0d3500fd845.jpeg

论文地址:

研究人员已经提出了一种通用图像重建方法,以显示仅从二进制稀疏边缘和平面颜色域重建的详细图像。受绘画过程的启发,研究人员建立了一个基于对抗网络生成的框架,该网络由三个阶段组成:初始化网络的模拟阶段,重建初始图像的重建阶段,以及初始图像的微调。对最终的详细输出进行微调。阶段。该框架允许模型基于稀疏输入信息生成大量高频细节。

研究人员还探索了从图像隐式分解潜在空间的可能性,表明模型中的显式色域在可控性和可解释性方面表现更好。在实验中,研究人员在重建真实图像和将手绘草图转换成令人满意的图像方面取得了出色的成果。此外,在边缘到图像(E21)转换任务中,研究人员建立的PI-REC模型是对真实性和准确性进行定量和定性评估的最佳方法。

PI-REC

本文的最终目标是仅基于二进制稀疏边和颜色域重建真实图像。因此,研究人员提出了PI-REC模型架构,它由三个阶段组成:模拟阶段,生成阶段和微调阶段,所有阶段都只使用一个发生器和一个鉴别器。在训练期间在同一个生成器上使用增量策略可以减少时间和RAM内存成本。

预处理培训数据

预处理训练数据需要注意三个方面:边缘,颜色域和超参数混淆。

在本文中,边缘被视为图像的内容。研究人员选择Canny算法来获得粗略但实体的二进制边缘,这增强了具有相对稀疏输入的模型的泛化。

以明确的方式提取对应于样式特征的色域。研究人员使用中值滤波算法和K均值算法来获得平均色域。然后再次使用中值滤波器来模糊边界线的清晰度。

超参数混淆(HC):当从输入图像中提取边缘或颜色区域时,某些算法需要超参数。在训练过程中,研究人员使用了一系列不同的超参数随机值,可以增强训练数据并防止过度拟合。同时,HC混淆将以一定的概率去除边缘像素信息,进一步增强了模型在处理手绘输入时的泛化能力。

实验

数据集

为了训练模型,研究人员使用了不同类型的数据集:edge2shoes,edges2handbags,getchu的动漫面孔,CelebA。

控制变量研究

建筑优势。如图3所示,本文方法在重建高频图像方面具有优势。具体来说,研究人员将U网络架构与G_1-2架构进行了比较(图3d/e)。来自BicycleGAN(pytorch版本项目)的U网络生成粗糙的高频细节,具有更多的棋盘格伪影,使得逐渐提高图像质量变得极其困难。

输入的稀疏性。如图4所示,本文中的模型对一组固定参数不太敏感,其中C和σ是控制稀疏性的K-means算法和Canny算法的超参数。与预期一致,如果输入的信息更详细,输出会更好。

定性评估

手绘草图转换。研究人员设计了一个绘图软件,用于分别记录边缘和颜色区域。此外,研究人员可以轻松观察实时合成草图和输出的结果,如图5和图1(b)所示。交互式软件演示显示在补充中。一方面,边缘在生成内容中起着重要作用。尽管输入信息非常稀疏,但由于模型的优异泛化能力,仍然可以生成各种细节,例如刘海(图5c/d/h)和嘴(图5f)。 ),头发(图5a/b/g)。另一方面,该模型折衷高保真合成图像的边缘和色域。

与基线比较。在图6中,研究人员使用数据集edges2shoes和edges2handbags来定性比较E2I任务中PI-REC和基线的结果。结果表明,本文模型在内容和风格重构方面超越了最先进的方法。就内容级别而言,本文中的模型可生成更准确的详细信息(图6的上半部分)。同时,该模型基于用户指定的颜色样式生成更准确的颜色,而不是仅基于样本指导图像生成粗略的颜色分布(图6的底部)。

定量评估

评估指标。研究人员在真实性和准确性方面对产量进行了定量评估。在真实性方面,考虑到通过各种方法生成的图像对,五名工作人员在没有时间限制的情况下选择了更逼真的图像。此外,研究人员使用logits输出的内核-MMD和FID分数来定量评估输出质量。

真实性准确性评估。如表3所示,研究人员将本文中的模型与BicycleGAN和MUNIT进行了比较,后者分别是监测I2I变换和无监督I2I变换领域的代表性方法。为了获得最佳质量的重建结果,研究人员将真实图像作为样式图像导入MUNIT和BicycleGAN。此外,为了公平比较,研究人员还将色域作为风格图像进入。

7c4e94de8bdc423fb130066071872c38.jpeg

表1:S2I合成,I2I转化和IR三个领域的主要方法的主要差异。表示不同功能的输入,表示输出质量。

7c7137f342e842d0928b2f0b053e064c.jpeg

图2:PI-REC的网络架构。它由三个阶段组成:模拟阶段,生成阶段和微调阶段,在增量训练期间只有一个发生器和一个鉴别器。

图3:不同发电机架构之间输出结果的比较:带有U网络的IR(来自BicycleGAN),PI-REC的独特生成阶段,带模拟阶段的生成阶段和整体阶段。

87ce43863cbe484c9f5fd3c38d65b6d7.jpeg

图4:a)不同稀疏水平输入的结果。由于培训期间的HC操作,本文中的模型对用于测试的一组特定超参数不敏感。 b)输出结果与HC操作和无HC操作的比较。在培训中应用HC操作时,研究人员可以在局部细节上获得更好的质量,并从非常稀疏的内容或样式中获得令人满意的输出。

dc6c3d8e7a1342f5b7c5d0938ebf54c8.jpeg

表2:数据集信息

5701e7828e404f4c90c5bf3327fd4c17.jpeg

图5:手绘草图转换。顶行表示手绘草图与编辑的边缘和颜色字段组合在一起。底线显示对草图输入中的小变化敏感的输出。

98720a610b3a4ec2b6da417d621c25d5.jpeg

图6:PI-REC与基线的定性比较。对于MUNIT和BicycleGAN,研究人员将真实图像和色域作为样式输入,以获得最佳的重建输出。显然,微调PI-REC模型可以更准确地重建内容和颜色细节。

baa85afe29394b41b891c7e2dfc7a7fa.jpeg

图7:具有类似内容的I2I转换。

看看更多