雷锋网按:本文原载于微信公众号“网路冷眼”,作者 Hanson Lau 。作者已授权雷锋网发布。原文地址:链接
最近,我将Isola等人做的pix2pix移植到了Tensorflow 平台。Tensorflow 平台包含在Tensorflow的图像到图像翻译(Image-to-ImageTranslation in Tensorflow)论文中。我采用了一些预训练的模型,并制作了一个网络互动的程序可以直接尝试玩玩。建议使用 Chrome 浏览器来查看效果。
pix2pix模型通过对图像对进行训练来工作,例如给建筑物的立面添加建筑物立面的标签,然后尝试从任何输入图像生成相应的输出图像。这个想法是直接从pix2pix 论文( pix2pix paper)而来,这是一篇好文章。
立面(facades)
在建筑立面数据库上训练有标签的建筑立面。它似乎不知道如何处理一个大的空白区域,但如果放上足够的窗口,那么结果往往合理。绘制“墙”颜色矩形来擦除东西。
我没有建筑立面给定不同部分的名字,所以我只是猜测它们叫什么。
边缘转换成猫咪(edges2cats)
在约2k 存储猫照片和从那些照片自动生成的边缘之上训练。生成了彩色猫对象和一些带有噩梦的脸。我所见过的最好的一个是猫猫。
一些图片看起来特别蠕动,因为对动物辨识产生误判,特别是在眼睛周围。自动检测的边缘在很多情况下不是很好,没有检测到猫的眼睛,使得训练图像翻译模型效果更差。
边缘转换成鞋(edges2shoes)
在从Zappos收集的?50k鞋子图片以及从那些图片自动生成的边缘的数据库上训练之后。如果你真的擅长绘制鞋子的边缘,可以尝试产生一些新的设计。请记住,因为是在真实的对象上进行训练,所以如果你可以绘制更多的3D物体,所以似乎工作得更好。
边缘转换成手袋(edges2handbags)
和前面类似,在从亚马逊收集的?137k手袋图片及从那些照片自动生成边缘数据库上训练。如果你在这里画一个鞋而不是手提包,你会得到一只非常奇怪的纹理鞋。
实现
使用pix2pix-tensorflow的pix2pix.py脚本训练和导出模型。交互式演示是使用Canvas API 以 Javascript 编写的,并与通过Tensorflow运行图像的后端服务器通信。后端服务器可以运行Tensorflow本身,或者将请求转发到由Google运行的托管Tensorflow服务的Cloud ML 上。
预训练模型在GitHub上的数据集部分提供。所有的发布与原来的pix2pix实现应该都是可用的。模型可以使用pix2pix.py脚本从预训练的模型中导出,导出的模型从GitHub上的服务器README链接过来的。
猫照片的边缘是使用整体嵌套边缘检测(Holistically-Nested EdgeDetection)生成的,并且将功能添加到process.py脚本中,并将依赖项添加到Docker镜像中。
除非另有说明,否则本网站上的所有代码示例都以公共领域协议发布,并托管在GitHub上。
原文:http://affinelayer.com/pixsrv/
作者:Christopher Hesse
雷锋网相关阅读:
如何用 TensorFlow 搞定知乎验证码;深层神经网络的致命问题详解 | AI 开发者日报
TensorFlow和Caffe、MXNet、Keras等其他深度学习框架的对比