waifu2x
| |
| 基本资料 | |
| 软件名 | waifu2x |
|---|---|
| 其他名字 | |
| 开发者 | nagadomi |
| 操作系统 | 线上、开放源代码 |
| 语言 | 多国语 |
| 软件类型 | 图片处理 |
| 许可协议 | MIT License |
| 首次发布 | v0.9（2015年10月12日） |
| 稳定版本 | v0.13.2（2018年11月18日） |
waifu2x是使用深度卷积神经网络的图片超解析系统，针对二次元图片效果最佳。
传统插值拉伸放大几乎都无法避免锯齿、线条模糊、色块、马赛克等问题。二次元图片描黑边和色块上色的特点，线条的锐利度和色块的纯净度直接影响观感。waifu2x就是针对二次元图片这个特点开发的，经过6000张高分辨率PNG图片训练而成。得益于waifu2x算法的超分辨率成像（Super-resolution）+降噪机制，可以放大图片而在大部分情况不出现插值拉伸的问题。
历史
2015年10月12日，nagadomi[1]在GitHub上上传第一个版本的代码，同时网页版上线。
于2016年4月16日添加了简体中文翻译。
系统需求
处理工作在服务器中进行，不受客户主机性能限制，只需访问网页版即可使用然而有个reCAPTCHA，所以还要连镜像站/推倒墙娘。
功能
网页版的特性如下：
- 上传文件
- 文件大小最大为5MB；
- 可进行降噪处理的图像最大为3000x3000px；
- 可进行放大处理的图像最大为1500x1500px；
- 处理风格：可选择插图或是照片风格，默认为插图
选择照片风格时有彩蛋； - 降噪程度：用于消除JPEG等图像因有损压缩产生的色块和噪点，使画面看起来更干净，有低、中、高、最高四个等级，外加一个不降噪的选项，默认为中（当然降噪本质上是在削减原图信息，破坏细节，所以这个程度需要人为把握。降噪力度过强，可能连鼻子都会被抹掉）；
- 放大倍数：有不放大、1.6x、2x三级。
只有这个网站是lltcggie自己开发及管理的，其他基于waifu2x的网站和软件（Big jpg、waifu2x-caffe等)并非他管理，采用的模型也有不同。
waifu2x-caffe
waifu2x-caffe是由lltcggie制作的第三方单机版，基于Caffe平台，是流传最广的waifu2x第三方版本。配图为中文版操作界面。
| |
| 基本资料 | |
| 软件名 | waifu2x-caffe |
|---|---|
| 开发者 | lltcggie |
| 操作系统 | Microsoft Windows |
| 语言 | 多国语 |
| 软件类型 | 图片处理 |
| 许可协议 | MIT License |
| 首次发布 | ver 1.0.0（2015年5月31日） |
| 稳定版本 | ver 1.2.0.4（2020年9月5日） |
系统需求
- 操作系统：Windows Vista或更新的64位系统（没有32位的EXE文件）；
- 内存：1GB以上的可用内存（根据模型和图像大小有差异）；
- 图形处理器（GPU）：计算能力（Compute Capability）3.0以上的NVIDIA GPU（使用CPU转换时毋须此项，但转换效率极低，不建议采用，GitHub上有适用于AMD GPU的OpenCL版及Vulkan版、适用于MacOS和ios的waifu2x-metal）；
- 程序框架：需要安装Microsoft Visual C++ 2015 Redistributable Update 3（x64版）。
- iOS&macOS版本已全面是适配Mac Catalyst用户界面的版本现在已经可以在水果全家桶上使用已经优化的waifu2x版本，
功能
单机版相较网页版功能和设置更加详尽。
- 批量处理（理论上可用于处理视频，但转换速度很慢，需要将视频遂帧变为图片格式处理）
- 多种图像格式的输入和输出，有损图像格式的输出质量和图像的色彩深度；
- 没有了对于源文件大小的限制（如果显卡显存够大，一些条件好的图片拉成8K以上都是可以的，本身条件不好的图拉的太大效果会稍差，线条看起来会发虚）；
- 提供了一个自动降噪和放大的模式，只在源文件为JPEG时去除噪点；
- 降噪等级目前只有0、1、2、3四个等级；
- 任意的放大倍率，还可仅针对放大后的尺寸进行设定；
- 注意waifu2x-caffe的任意放大率是通过在放大后缩小图像来实现的[2]；
- 提供了多个放大模型可供选择
- 最适合转换的模型根据输入的图像内容而有所差别，故在实际使用中可以多多尝试：
- 2D插图系
- Y模型：仅对图像的亮度（YCbCr色彩空间中的Y成分）进行转换的模型；
- RGB模型（ver 1.0.5）：对图像的RGB均进行转换的模型，适用于2D插图；
- UpRGB模型（ver 1.1.4）：较RGB模型高速且有着同等以上转换效果的模型，对GPU的VRAM需求较RGB模型大；
- UpResNet10模型（ver 1.1.9）：从waifu2x-chainer移植而来的模型，较UpRGB模型有着更高的转换品质但对硬件需求更高，根据分割尺寸大小输出结果可能有变化；
- CUnet模型（ver 1.2.0）：现2D插图系中转换品质最高的模型，对硬件需求最高，根据分割尺寸大小输出结果可能有变化；
- 照片或动画系
- Photo模型（ver 1.0.5）：适用于照片和动画（アニメ）的模型；
- UpPhoto模型（ver 1.1.5）：较Photo模型高速且有着同等以上转换效果的模型，对VRAM需求较Photo模型大；
- TTA（Test-Time Augmentation）模式
- 转换时间较未选中时增加八倍，提高0.15的峰值信噪比（PSNR），效果可能不明显；
- 可使用cuDNN处理（根据GPU的情况而定加快处理速度并减少VRAM使用）；
- CUI版本有更多巨细的参数设定。
其他基于waifu2x技术的软件
waifu2x-ncnn-vulkan
Github用户nihui在2019年4月21日发布，可在 64bit Windows/Linux/MacOS 操作系统运行的本地端waifu2x。基于vulkan API，适用于所有现代Intel/AMD/Nvidia GPU。
waifu2x-ncnn
Android系统的本地端waifu2x，同样基于vulkan API，支持Android7.0及以上版本，适配大部分手机GPU。目前具有CUnet、UpRGB(Anime)、Up photo (photo)三个模型。
Video2x
Video2x由Github用户k4yt3x在2017年制作，基于Waifu2x-Caffe或waifu2x-ncnn-vulkan，整合了FFMPEG等，直接用于处理视频。Video2X GUI版本在2019年8月4日上线。现行版本除了Waifu2x之外也有多种适用于不同情况的运算模型。
waifu2x-Extension GUI
waifu2x-Extension GUI由Aaron Feng制作并持续更新。高级版价格为36RMB，有更多自定义设定和不会再弹出升级图标。基于多个影像超解析模型，包括Waifu2x-Caffe，同时可处理影片补帧。