当前位置:文档之家› 基于深度学习的图像风格迁移技术的前沿进展

基于深度学习的图像风格迁移技术的前沿进展

纹理表述和艺术风格表述近似等同。

因此,图像风格迁移技术主要解决三大问题:第一,如何提取图像纹理特征而不夹杂内容特征;第二,如何提取图像内容特征而不夹杂纹理特征;第三,如何将两种特征融合生成目标图像。

纹理可以用统计模型来描述,该模型表述图像局部特征。

2015年前,图像纹理大多是手动建模,但这样需要细致观察,也就是说要用到专业经验,并要用到复杂的数学公式。

但该模型往往与具体风格化场景有关,如果场景变化,往往需要重新设置特征。

和所有的计算机视觉领域任务一样,人工成本较大,阻碍了图像分割迁移领域的发展。

2015年后,鉴于卷积神经网络等深度学习算法在图像特征提取方面的突出表现,以及VGG-19网络与图像风格提取和内容提取任务的契合,卷积神经网络成为该领域各大研究的主流框架。

1 图像风格迁移任务概述图像艺术风格标准不一,品类繁杂,例如中国风、立体主义、印象派、现代主义、超现实主义、表现主义等等,在艺术领域尚且无标准定义,无法用函数精确表达。

但计算机视觉领域重点解决图像风格较为强烈的风格迁移问题,此时的图像风格约等于图像纹理,而图像问题则是较容易定义的信息。

神经网络出现之前,图像风格迁移共同的框架是:首先人工分析图像风格,然后建立数学或统计模型,再改变目标图像使其更贴合与模型,本质是一个数学建模和模型应用的问题。

手动建模的核心思想在于:图像局部特征的统计模型可以代表纹理,例如栗子的开口就可以用两条以特定角度相交的弧线表示。

因此,计算机视觉领域的研究者们依据图像分类等基础任务的经验,尝试加入更多的人工统计特征,用更加复杂的模型来归纳生成纹理,开启了传统图像风格迁移领域的研究历程。

和传统计算机视觉任务一样,人工建模了传统情况下,为了观察图像的细致特征,需要将图像分成小块分别提取,却不能自动确定图像重点的缺陷。

其中VGG-19在图像风格迁移领域表现最好,被最先应用物体识别领域。

和经典的卷积神经网络一样,该网络逐层提取更加抽象、更加复杂的特征,直到该特征能识别出物体。

2015年Gatys在两篇论文中提出,将神经网络算法应用于图像风格迁移。

第一篇中提到的纹理生成算法创新点在于:VGG-19可以作为局部特征识别器,也就是说可以用深度学习来做纹理建模。

实验利用事先训练好的网络参数抽取特征矩阵,然后用格拉姆矩阵计算局部特征之间的相关性,将其变化为统计模型。

由此,利用深度学习提取特征而避免了手工建模。

虽然说纹理近似等于图像风格,但二者是有区别的,要想要成风格迁移,还需要单独提取图像内容而不包括图像风格。

在第二篇论文中,Gatys再次利用训练好的物体识别模型,将抽取的局部特征看做图片内容。

最后,使用Deep Dream算法将纹理特征和内容特征相结合生成目标图片。

2 卷积神经网络的作用传统的图像技术主要分成两步第一步为特征提取,第二步为分类器处理。

然而特征提取算法的设计的缺点有很多例如:需要人工经验,成本高,且适应场景受限,当切换场景就需要重新设置相应的算法。

而神经网络的提出彻底改变了这一现状。

且由于图像本身的联系性,有论文提出了可视化算法,就是将每一层卷积网络的输出映射为图像。

研究发现,卷积神经网络随着网络层数的加深,提取到的特征也越来越抽象,更能体现问题本质的特征。

卷积神经网络之所以适用于计算机视觉,是有生物学依据的。

在多层卷积加非线性激活函数操作下,特征反复迭代,相当于人在看到一个物体时视觉系统不断运转的过程。

86 | 电子制作 2018年9月卷积神经网络分为两步进行操作第一步进行卷积池化层操作,第二步为全链接层操作。

其在传统的神经网络上主要进行了参数数量和训练难度上的优化。

传统的卷积神经网络各层之间采用的是全链接操作,所以会导致参数数量很多,所以需要很多的数据去训练这个网络才能达到一定的训练效果,这就限制了整个网络的深度和大小。

而卷积神经网络技术使用了两种机制分别为局部视野机制和参数共享机制,这就大大的减少了参数的数量。

这两种机制都是有生物学依据的,局部视野就像是人的眼睛,在我们观察世界是并不是全局去观察往往是分部观察,每一个分部都可以观察到一个特征将他们组合起来就是整个全部视野的特征了。

参数共享就好比每个人观察物体时用的都是人眼,小狗用的狗眼都是同样的视觉观察系统参数共享就好比是每个人观察不同的物体时所用的都是同样的视觉系统,最后的神经元个数就等于很类结果的个数。

3 选择VGG-19卷积神经网络运用到风格化迁移技术的原因如今卷积神经网络已经成为许许多多的科学家研究的热点,因为它不同于传统神经网络不用进行复杂的图像前期的预处理,可以直接输入原始的图像,省时省力,所以在许多科技领域成为了研究的热点,就产生了很多与之相关的技术例如,如图像分类、目标检测、图像语义分割、图像摘要和问答等。

图像处理中最难的便是,当周围环境出现变化导致图像成像本身的变化时,如何准确识别。

例如拍摄角度、光照变化、物体本身的多样性和物体本身的遮盖和形变等等。

卷积神经网络有许多个变种,但整体的网络框架保持不变,变化的超参数包括:网络层数、卷积核的大小、卷积核的数量、卷积时的步长,以及池化的大小和步长、已经池化算法等等。

VGG网络是Google团队在2014年提出的,它整体网络层数为19层,卷积层数为16,卷积核大小为3,全连接层数为3,全连接层大小为(4096,4096,1000),使用了Dropout技术和数据增强技术。

其中数据增强技术是为了应对周围环境变化对任务准确率的影响,包括水平翻转、随机裁剪、平移变换、颜色和光照变化。

以上,我们可以选择VGG网络应用于图像风格迁移技术,主要用作特征提取任务。

但深度学习作为80年代就提出的算法,之所以当下才被广泛应用是有原因的。

最重要的原因是其参数较多,训练难度大。

因为深度学习只解决了训练难度大的问题,无法解决参数过多的问题所以在80年代并没有获得广泛的应用,但现在可以有卷积神经网络技术来解决关于参数过多的问题,在这两个技术结和的条件下,科技领域有提出了如残差网络等技术让深度学习可以更为广泛的应用。

4 基于深度学习的图像风格迁移技术的前沿目前图像风格化迁移技术在镜头滤镜和字形设计两个领域发展较为成熟。

(1)镜头滤镜用过prisma的人都知道只要把照片上传上去然后选择相应的艺术风格,不一会就出来了相应的图片。

这其中就运用了图像风格化迁移的技术,如果把图像风格化迁移的技术做成手机应用运用它去照相那么拍出来的照片会跟名画一样很有艺术感,如果提高图像风格化迁移的速度的话也可以用它拍视频或电影如暮光之城女主角克里斯汀·斯图尔特拍摄的电影《Come swim》中,也利用了神经风格迁移技术将印象派绘画风格和电影画面相融合。

他就很好的利用了图像风格化迁移技术从而拍出了很好的效果(2)字形设计文字是平面设计中很突出的视觉元素。

艺术家投入大量时间来设计不同的字形,使得它与其他元素在形状和纹理上相协调。

这个过程是需要大量劳动力的,之前艺术家通常只设计标题或注释所需的字形子集,再在需要的地方加以调配,如果字集中没有的话又要重新设计非常麻烦,消耗大量人力财力,但现在可以利用图像风格化迁移技术去提取偏旁与笔触风格再加上需要风格迁移的目标文字输出需要的文字,节省了很多的时间。

5 结语图像风格迁移是计算机视觉领域的新课题,深度学习算法在几乎所有的计算机视觉任务上都不同程度的发挥着作用。

深度学习算法并不是完全抛弃传统算法,相反,利用深度学习的架构,将传统特征提取算法提取的特征,替代图像本身,作为网络输入,会取得更好的效果。

一方面,每个领域、每个任务有其适用的深度学习算法;另一方面,每个深度学习算法也需要不断寻找合适的领域去验证,从而实现算法更新。

目前,比较前沿的思想是,将强化学习与卷积神经网络相结合实现无标注任务学习,利用迁移学习将大数据量任务上的网络参数利用到小数据量任务上,使得小数据量的任务也能利用深度学习提升准确率和效率。

参考文献* [1]吴国琴. 迁移学习在图像分类中的应用研究[D].安徽大学,2017.(下转第93页)www�ele169�com | 87力用户的数目存在何种差别,其用电量都存在高峰期和低谷期,用户基数和总用电量基础决定了高峰期和低谷期的差值,差值越大,电力系统供电稳定性的可控程度越低,越容易出现风险。

因此当用电高峰期来临时,要求各地电力部门针对当地(配电变压器台区范围内)进行广泛调查和数据挖掘,了解本年度用电量的基值以及其增长幅度,并以所获数值为基础,评估当前变压器性能,分析是否存在更新的必要。

如当地10kV配电变压器长期处于60~70%左右的负载水平,用电增加量每年不超过2~3%,该变压器理论上依然满足使用需要。

在具体工作中,要求人员对变压器进行检查,主要了解变压器负载以及温度情况,即便变压器额定功能满足使用需求,也要求根据温度变化分析其性能,最大限度避免安全事故[3]。

■2.3 做好负荷测试和变压器更换负荷测试工作应长期实时进行,变压器更换则根据老化情况和使用年限具体酌定。

负荷测试方面,各地用电部门可以建立集中控制、分布监测工作系统,在变压器以及其附属设备端(比如临近的输电线路)设置若干智能化温度监测系统,系统以每小时为间隔,持续将变压器以及附属设备的工作温度信息传递给控制端,控制端以数字输出设备为主,集中对所有温度信息参数进行匹配分析,匹配对象为变压器和附属设备的标准温度值,计算二者差异,了解变压器等的工作态势,该方式的基本原理是设备工作负荷越大、温度越高的基本原则,可用于评估系统工作的安全性,如果实时参数和标准温度值差异过大,应进行分析处理,避免出现烧毁事故。

表2 变压器更换的参考标准分析指标参数值工作负荷(%)50以下50-6060-8080以上使用年限(年)3年以下3-55-66年以上是否更换不更换加强检查准备更换更换变压器的更换工作需要考虑两个基本参数,即老化情况和使用年限,结合我国配电变压器工作的基本情况,给出参考标准如表2所示。

使用年限以“年”表达,老化情况以长期工作负荷值(%)表达。

■2.4 事故分析某地10kV配电变压器烧毁,应用常规方式检查,并更换了变压器,但并未解决问题,新变压器依然在投入使用1个月后烧毁。

专业技术人员进行分析后,发现该配电变压器所在台区面临用电负荷急剧变化的问题,当地新建某大型工厂,在生产作业中会大量消耗电能,除此之外,其他电力用户用电量不大,而且较为稳定。

在选取配电变压器时,当地虽然考虑了工厂用电的增加值,但没有分析峰值用电带来的急剧变化,导致变压器在工厂生产作业时总是过负荷工作,工作压力超过额定最大值的20~25%,导致长期的单相电流过大,变压器因此烧毁。

技术人员拟采用大容量配电变压器处理该问题,变压器经更换后,技术人员进行了3个月观察,设备较好的完成了持续供电作业,后续工作中也未发生烧毁问题。

相关主题