百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

使用 pix2pix-tensorflow 的交互式图象到图象翻译的演示

toqiye 2024-08-17 23:21 4 浏览 0 评论

雷锋网按:本文原载于微信公众号“网路冷眼”,作者 Hanson Lau 。作者已授权雷锋网发布。原文地址:链接

最近,我将Isola等人做的pix2pix移植到了Tensorflow 平台。Tensorflow 平台包含在Tensorflow的图像到图像翻译(Image-to-ImageTranslation in Tensorflow)论文中。我采用了一些预训练的模型,并制作了一个网络互动的程序可以直接尝试玩玩。建议使用 Chrome 浏览器来查看效果。

pix2pix模型通过对图像对进行训练来工作,例如给建筑物的立面添加建筑物立面的标签,然后尝试从任何输入图像生成相应的输出图像。这个想法是直接从pix2pix 论文( pix2pix paper)而来,这是一篇好文章。

立面(facades)

在建筑立面数据库上训练有标签的建筑立面。它似乎不知道如何处理一个大的空白区域,但如果放上足够的窗口,那么结果往往合理。绘制“墙”颜色矩形来擦除东西。

我没有建筑立面给定不同部分的名字,所以我只是猜测它们叫什么。

边缘转换成猫咪(edges2cats)

在约2k 存储猫照片和从那些照片自动生成的边缘之上训练。生成了彩色猫对象和一些带有噩梦的脸。我所见过的最好的一个是猫猫。

一些图片看起来特别蠕动,因为对动物辨识产生误判,特别是在眼睛周围。自动检测的边缘在很多情况下不是很好,没有检测到猫的眼睛,使得训练图像翻译模型效果更差。

边缘转换成鞋(edges2shoes)

在从Zappos收集的?50k鞋子图片以及从那些图片自动生成的边缘的数据库上训练之后。如果你真的擅长绘制鞋子的边缘,可以尝试产生一些新的设计。请记住,因为是在真实的对象上进行训练,所以如果你可以绘制更多的3D物体,所以似乎工作得更好。

边缘转换成手袋(edges2handbags)

和前面类似,在从亚马逊收集的?137k手袋图片及从那些照片自动生成边缘数据库上训练。如果你在这里画一个鞋而不是手提包,你会得到一只非常奇怪的纹理鞋。

实现

使用pix2pix-tensorflow的pix2pix.py脚本训练和导出模型。交互式演示是使用Canvas API 以 Javascript 编写的,并与通过Tensorflow运行图像的后端服务器通信。后端服务器可以运行Tensorflow本身,或者将请求转发到由Google运行的托管Tensorflow服务的Cloud ML 上。

预训练模型在GitHub上的数据集部分提供。所有的发布与原来的pix2pix实现应该都是可用的。模型可以使用pix2pix.py脚本从预训练的模型中导出,导出的模型从GitHub上的服务器README链接过来的。

猫照片的边缘是使用整体嵌套边缘检测(Holistically-Nested EdgeDetection)生成的,并且将功能添加到process.py脚本中,并将依赖项添加到Docker镜像中。

除非另有说明,否则本网站上的所有代码示例都以公共领域协议发布,并托管在GitHub上。

原文:http://affinelayer.com/pixsrv/

作者:Christopher Hesse

雷锋网相关阅读:

如何用 TensorFlow 搞定知乎验证码;深层神经网络的致命问题详解 | AI 开发者日报

TensorFlow和Caffe、MXNet、Keras等其他深度学习框架的对比

相关推荐

基于Python查找图像中最常见的颜色

如果我们能够得知道一幅图像中最多的颜色是什么的话,可以帮助我们解决很多实际问题。例如在农业领域中想确定水果的成熟度,我们可以通过检查水果的颜色是否落在特定范围内,来判断它们是否已经成熟。接下来我们将使...

出大要几次/圣彼得堡悖论

程序:fromrandomimportrandomdeffn():n=1whilerandom()<0.5:n+=1returnny=[fn()...

使用OpenCV测量图像中物体之间的距离

原文链接:https://www.pyimagesearch.com/2016/04/04/measuring-distance-between-objects-in-an-image-with-op...

让颜色更加饱满和有冲击力:图像颜色校正

大家拍照或图片时,获取会遇到图像颜色与实际颜色存在色差的现象。我们看一个标准色卡的图片:第一张图片就是有色差的图片,这种现象一般是相机或光线的原因造成的,我们可以通过标准色卡进行校正。第一张图片是有色...

Python 数据分析 : 实例

1、构建矩阵生成4x4形式的矩阵,矩阵中的数据是1~10之间的随机数random_list=np.random.random(16)random_list=np.round(...

用这些免费开源的图标库,为你的项目画龙点睛

精致好看的图标能够为你的项目增色不少,今天我就整理了一期图标库精选系列,希望你可以从中找到自己喜欢的图标库。下面就跟我来一场视觉的盛宴,我会一一介绍GitHub上品牌、流行、极小,各具特色的免费精...

ICON设计规范之图标尺寸

编辑导语:图标设计是UI设计中不可缺少的元素,它看似简单,但其实内含门道。本篇文章里,作者就对icon设计的相关知识和icon绘制方法做出经验介绍。如果你对icon设计也想要有所了解的话,那就点进来看...

PHP开发必备VSCode插件(大全)

通用chinese(simplified...):简体中文语言包liveserverhtml:实时预览prettier-codeformatter:最流行的代码格式化插件...

增强用户体验:前端开发中HTML5和CSS3表格属性的应用与优化研究

摘要:本文探讨了在前端开发中HTML5和CSS3表格属性的应用与优化。首先介绍了HTML5中常用的表格元素和CSS3中丰富的表格样式属性,旨在帮助开发人员定制表格的外观和样式。其次,研究了表格结构的优...

产品经理小技术:图片素材随手找,原型设计快又好

数十万互联网从业者的共同关注!作者:牛冰峰博客:http://uxfeng.com/画图——这项古老而精细的做法,是一代代产品狗们得以传承的立足之本。草图、线框图、思维导图、PPT插图、数据汇报图表、...

MAUI Blazor 项目实战 - 从0到1轻松构建多平台应用UI

前言最近在项目中尝鲜了MAUI,总体感受下来还是挺不错的,优缺点并存,但是瑕不掩瑜,目前随着.Net版本的迭代升级对它的支持也越来越友好,相信未来可期!感兴趣的朋友欢迎关注。文章中如有不妥的地方,也请...

webstorm常用的插件

1、AtomMaterialIcons推荐原因:这款插件不仅...

「智能家居」自动化平台nodered第三方节点dashboard的使用

自带节点库讲完了,开始说说第三方节点库dashboard,该库提供另一个可配置的UI页面,可以配置一些表单元素,以及图表。先来看一下别人使用dashboard制作的面板吧,是不是很漂亮。接下来我们一...

「炫丽」从0开始做一个WPF+Blazor对话小程序

大家好,我是沙漠尽头的狼。...

MAUI使用Masa blazor组件库

上一篇(点击阅读)我们实现了UI在Web端(BlazorServer/Wasm)和客户端(Windows/macOS/Android/iOS)共享,这篇我加上MasaBlazor组件库的引用,并...

取消回复欢迎 发表评论: