waifu2x
| |
| 基本資料 | |
| 軟體名 | waifu2x |
|---|---|
| 其他名字 | |
| 開發者 | nagadomi |
| 作業系統 | 線上、開放原始碼 |
| 語言 | 多國語 |
| 軟體類型 | 圖片處理 |
| 許可協議 | MIT License |
| 首次發布 | v0.9（2015年10月12日） |
| 穩定版本 | v0.13.2（2018年11月18日） |
waifu2x是使用深度卷積神經網路的圖片超解析系統，針對二次元圖片效果最佳。
傳統插值拉伸放大幾乎都無法避免鋸齒、線條模糊、色塊、馬賽克等問題。二次元圖片描黑邊和色塊上色的特點，線條的銳利度和色塊的純淨度直接影響觀感。waifu2x就是針對二次元圖片這個特點開發的，經過6000張高解析度PNG圖片訓練而成。得益於waifu2x算法的超解析度成像（Super-resolution）+降噪機制，可以放大圖片而在大部分情況不出現插值拉伸的問題。
歷史
2015年10月12日，nagadomi[1]在GitHub上上傳第一個版本的代碼，同時網頁版上線。
於2016年4月16日添加了簡體中文翻譯。
系統需求
處理工作在伺服器中進行，不受客戶主機性能限制，只需訪問網頁版即可使用然而有個reCAPTCHA，所以還要連鏡像站/推倒牆娘。
功能
網頁版的特性如下：
- 上傳文件
- 文件大小最大為5MB；
- 可進行降噪處理的圖像最大為3000x3000px；
- 可進行放大處理的圖像最大為1500x1500px；
- 處理風格：可選擇插圖或是照片風格，默認為插圖
選擇照片風格時有彩蛋； - 降噪程度：用於消除JPEG等圖像因有損壓縮產生的色塊和噪點，使畫面看起來更乾淨，有低、中、高、最高四個等級，外加一個不降噪的選項，默認為中（當然降噪本質上是在削減原圖信息，破壞細節，所以這個程度需要人為把握。降噪力度過強，可能連鼻子都會被抹掉）；
- 放大倍數：有不放大、1.6x、2x三級。
只有這個網站是lltcggie自己開發及管理的，其他基於waifu2x的網站和軟體（Big jpg、waifu2x-caffe等)並非他管理，採用的模型也有不同。
waifu2x-caffe
waifu2x-caffe是由lltcggie製作的第三方單機版，基於Caffe平台，是流傳最廣的waifu2x第三方版本。配圖為中文版操作界面。
| |
| 基本資料 | |
| 軟體名 | waifu2x-caffe |
|---|---|
| 開發者 | lltcggie |
| 作業系統 | Microsoft Windows |
| 語言 | 多國語 |
| 軟體類型 | 圖片處理 |
| 許可協議 | MIT License |
| 首次發布 | ver 1.0.0（2015年5月31日） |
| 穩定版本 | ver 1.2.0.4（2020年9月5日） |
系統需求
- 作業系統：Windows Vista或更新的64位系統（沒有32位的EXE文件）；
- 內存：1GB以上的可用內存（根據模型和圖像大小有差異）；
- 圖形處理器（GPU）：計算能力（Compute Capability）3.0以上的NVIDIA GPU（使用CPU轉換時毋須此項，但轉換效率極低，不建議採用，GitHub上有適用於AMD GPU的OpenCL版及Vulkan版、適用於MacOS和ios的waifu2x-metal）；
- 程序框架：需要安裝Microsoft Visual C++ 2015 Redistributable Update 3（x64版）。
- iOS&macOS版本已全面是適配Mac Catalyst用戶界面的版本現在已經可以在水果全家桶上使用已經優化的waifu2x版本，
功能
單機版相較網頁版功能和設置更加詳盡。
- 批量處理（理論上可用於處理視頻，但轉換速度很慢，需要將視頻遂幀變為圖片格式處理）
- 多種圖像格式的輸入和輸出，有損圖像格式的輸出質量和圖像的色彩深度；
- 沒有了對於源文件大小的限制（如果顯卡顯存夠大，一些條件好的圖片拉成8K以上都是可以的，本身條件不好的圖拉的太大效果會稍差，線條看起來會發虛）；
- 提供了一個自動降噪和放大的模式，只在源文件為JPEG時去除噪點；
- 降噪等級目前只有0、1、2、3四個等級；
- 任意的放大倍率，還可僅針對放大後的尺寸進行設定；
- 注意waifu2x-caffe的任意放大率是通過在放大後縮小圖像來實現的[2]；
- 提供了多個放大模型可供選擇
- 最適合轉換的模型根據輸入的圖像內容而有所差別，故在實際使用中可以多多嘗試：
- 2D插圖系
- Y模型：僅對圖像的亮度（YCbCr色彩空間中的Y成分）進行轉換的模型；
- RGB模型（ver 1.0.5）：對圖像的RGB均進行轉換的模型，適用於2D插圖；
- UpRGB模型（ver 1.1.4）：較RGB模型高速且有著同等以上轉換效果的模型，對GPU的VRAM需求較RGB模型大；
- UpResNet10模型（ver 1.1.9）：從waifu2x-chainer移植而來的模型，較UpRGB模型有著更高的轉換品質但對硬體需求更高，根據分割尺寸大小輸出結果可能有變化；
- CUnet模型（ver 1.2.0）：現2D插圖系中轉換品質最高的模型，對硬體需求最高，根據分割尺寸大小輸出結果可能有變化；
- 照片或動畫系
- Photo模型（ver 1.0.5）：適用於照片和動畫（アニメ）的模型；
- UpPhoto模型（ver 1.1.5）：較Photo模型高速且有著同等以上轉換效果的模型，對VRAM需求較Photo模型大；
- TTA（Test-Time Augmentation）模式
- 轉換時間較未選中時增加八倍，提高0.15的峰值信噪比（PSNR），效果可能不明顯；
- 可使用cuDNN處理（根據GPU的情況而定加快處理速度並減少VRAM使用）；
- CUI版本有更多巨細的參數設定。
其他基於waifu2x技術的軟體
waifu2x-ncnn-vulkan
Github用戶nihui在2019年4月21日發佈，可在 64bit Windows/Linux/MacOS 操作系統運行的本地端waifu2x。基於vulkan API，適用於所有現代Intel/AMD/Nvidia GPU。
waifu2x-ncnn
Android系統的本地端waifu2x，同樣基於vulkan API，支持Android7.0及以上版本，適配大部分手機GPU。目前具有CUnet、UpRGB(Anime)、Up photo (photo)三個模型。
Video2x
Video2x由Github用戶k4yt3x在2017年製作，基於Waifu2x-Caffe或waifu2x-ncnn-vulkan，整合了FFMPEG等，直接用於處理視頻。Video2X GUI版本在2019年8月4日上線。現行版本除了Waifu2x之外也有多種適用於不同情況的運算模型。
waifu2x-Extension GUI
waifu2x-Extension GUI由Aaron Feng製作並持續更新。高級版價格為36RMB，有更多自定義設定和不會再彈出升級圖標。基於多個影像超解析模型，包括Waifu2x-Caffe，同時可處理影片補幀。