waifu2x
跳到导航
跳到搜索
基本资料 | |
软件名 | waifu2x |
---|---|
其他名字 | |
开发者 | nagadomi |
操作系统 | 线上、开放源代码 |
语言 | 多国语 |
软件类型 | 图片处理 |
许可协议 | MIT License |
首次发布 | v0.9(2015年10月12日) |
稳定版本 | v0.13.2(2018年11月18日) |
waifu2x是使用深度卷積神經網路的图片超解析系統,针对二次元圖片效果最佳。
传统插值拉伸放大几乎都无法避免锯齿、线条模糊、色块、马赛克等问题。二次元图片描黑边和色块上色的特点,线条的锐利度和色块的纯净度直接影响观感。waifu2x就是针对二次元图片这个特点开发的,经过6000张高解析度PNG图片训练而成。得益于waifu2x算法的超解析度成像(Super-resolution)+降噪机制,可以放大图片而在大部分情况不出现插值拉伸的问题。
历史
2015年10月12日,nagadomi[1]在GitHub上上传第一个版本的代码,同时网页版上线。
于2016年4月16日添加了简体中文翻译。
系统需求
处理工作在服务器中进行,不受客户主机性能限制,只需访问网页版即可使用然而有个reCAPTCHA,所以还要连镜像站/推倒墙娘。
功能
网页版的特性如下:
- 上传文件
- 文件大小最大为5MB;
- 可进行降噪处理的图像最大为3000x3000px;
- 可进行放大处理的图像最大为1500x1500px;
- 处理风格:可选择插图或是照片风格,默认为插图
选择照片风格时有彩蛋; - 降噪程度:用于消除JPEG等图像因有损压缩产生的色块和噪点,使画面看起来更干净,有低、中、高、最高四个等级,外加一个不降噪的选项,默认为中(当然降噪本质上是在削减原图信息,破坏细节,所以这个程度需要人为把握。降噪力度过强,可能连鼻子都会被抹掉);
- 放大倍数:有不放大、1.6x、2x三级。
只有这个网站是lltcggie自己开发及管理的,其他基于waifu2x的网站和软件(Big jpg、waifu2x-caffe等)并非他管理,采用的模型也有不同。
waifu2x-caffe
waifu2x-caffe是由lltcggie制作的第三方单机版,基于Caffe平台,是流传最广的waifu2x第三方版本。配图为中文版操作界面。
基本资料 | |
软件名 | waifu2x-caffe |
---|---|
开发者 | lltcggie |
操作系统 | Microsoft Windows |
语言 | 多国语 |
软件类型 | 图片处理 |
许可协议 | MIT License |
首次发布 | ver 1.0.0(2015年5月31日) |
稳定版本 | ver 1.2.0.4(2020年9月5日) |
系统需求
- 操作系统:Windows Vista或更新的64位系统(没有32位的EXE文件);
- 内存:1GB以上的可用内存(根据模型和图像大小有差异);
- 图形处理器(GPU):计算能力(Compute Capability)3.0以上的NVIDIA GPU(使用CPU转换时毋须此项,但转换效率极低,不建议采用,GitHub上有适用于AMD GPU的OpenCL版及Vulkan版、适用于MacOS和ios的waifu2x-metal);
- 程序框架:需要安装Microsoft Visual C++ 2015 Redistributable Update 3(x64版)。
- iOS&macOS版本已全面是适配Mac Catalyst用户界面的版本现在已经可以在水果全家桶上使用已经优化的waifu2x版本,
功能
单机版相较网页版功能和设置更加详尽。
- 批量处理(理论上可用于处理视频,但转换速度很慢,需要将视频遂帧变为图片格式处理)
- 多种图像格式的输入和输出,有损图像格式的输出质量和图像的色彩深度;
- 没有了对于源文件大小的限制(如果显卡显存够大,一些条件好的图片拉成8K以上都是可以的,本身条件不好的图拉的太大效果会稍差,线条看起来会发虚);
- 提供了一个自动降噪和放大的模式,只在源文件为JPEG时去除噪点;
- 降噪等级目前只有0、1、2、3四个等级;
- 任意的放大倍率,还可仅针对放大后的尺寸进行设定;
- 注意waifu2x-caffe的任意放大率是通過在放大後縮小圖像來實現的[2];
- 提供了多个放大模型可供选择
- 最适合转换的模型根据输入的图像内容而有所差别,故在实际使用中可以多多尝试:
- 2D插图系
- Y模型:仅对图像的亮度(YCbCr色彩空间中的Y成分)进行转换的模型;
- RGB模型(ver 1.0.5):对图像的RGB均进行转换的模型,适用于2D插图;
- UpRGB模型(ver 1.1.4):较RGB模型高速且有着同等以上转换效果的模型,对GPU的VRAM需求较RGB模型大;
- UpResNet10模型(ver 1.1.9):从waifu2x-chainer移植而来的模型,较UpRGB模型有着更高的转换品质但对硬件需求更高,根据分割尺寸大小输出结果可能有变化;
- CUnet模型(ver 1.2.0):现2D插图系中转换品质最高的模型,对硬件需求最高,根据分割尺寸大小输出结果可能有变化;
- 照片或动画系
- Photo模型(ver 1.0.5):适用于照片和动画(アニメ)的模型;
- UpPhoto模型(ver 1.1.5):较Photo模型高速且有着同等以上转换效果的模型,对VRAM需求较Photo模型大;
- TTA(Test-Time Augmentation)模式
- 转换时间较未选中时增加八倍,提高0.15的峰值信噪比(PSNR),效果可能不明显;
- 可使用cuDNN处理(根据GPU的情况而定加快处理速度并减少VRAM使用);
- CUI版本有更多巨细的参数设定。
其他基于waifu2x技术的软件
waifu2x-ncnn-vulkan
Github用戶nihui在2019年4月21日發佈,可在 64bit Windows/Linux/MacOS 操作系統運行的本地端waifu2x。基於vulkan API,適用於所有現代Intel/AMD/Nvidia GPU。
waifu2x-ncnn
Android系統的本地端waifu2x,同樣基於vulkan API,支持Android7.0及以上版本,適配大部分手機GPU。目前具有CUnet、UpRGB(Anime)、Up photo (photo)三個模型。
Video2x
Video2x由Github用戶k4yt3x在2017年制作,基于Waifu2x-Caffe或waifu2x-ncnn-vulkan,整合了FFMPEG等,直接用于处理视频。Video2X GUI版本在2019年8月4日上线。現行版本除了Waifu2x之外也有多種適用于不同情況的運算模型。
waifu2x-Extension GUI
waifu2x-Extension GUI由Aaron Feng制作並持續更新。高級版價格為36RMB,有更多自定義設定和不會再彈出升級圖標。基于多個影像超解析模型,包括Waifu2x-Caffe,同時可處理影片補幀。