本篇文章帶給大家的內容是關於Python OpenCV圖像風格遷移的實作方法講解,有一定的參考價值,有需要的朋友可以參考一下,希望對你有幫助。
現在很多人都喜歡拍照(自拍)。有限的濾鏡和裝飾玩多了也會膩,所以就有APP 提供了模仿名畫風格 的功能,比如prisma、versa 等,可以把你的照片變成梵高、畢卡索、蒙克 等大師的風格。
這種功能叫做“ 圖像風格遷移 ”,幾乎都是基於CVPR 2015 的論文《 A Neural Algorithm of Artistic Style 》和ECCV 2016 的論文《 Perceptual Losses for Real-Time Style Transfer and Super-Resolution 》中提出的演算法,以及後續相關研究的基礎上開發出來的。
通俗來講,就是藉助於 神經網路 ,預先將名畫中的風格訓練成出模型,在將其應用在不同的照片上,產生新的風格化圖像。
來自《A Neural Algorithm of Artistic Style》
而因為神經網路在電腦視覺上的應用越來越廣,著名的視覺開發庫OpenCV 在3.3 版本中正式引入DNN(深度神經網路) ,支援Caffe、TensorFlow、Torch/PyTorch 等主流框架的模型,可用以實現圖像的識別、檢測、分類、分割、著色等功能。
我最近才發現在 OpenCV 的 Sample 程式碼中就有圖像風格遷移的 Python 範例(原諒我的後知後覺),是基於 ECCV 2016 論文中的網路模型實作。所以,即使身為人工智慧的菜鳥,也可以拿別人訓練好的模型來玩一玩,體會下神經網路的奇妙。
(相關程式碼與模型的取得請見文末)
OpenCV 官方程式碼位址:https://github.com/opencv/opencv/blob/3.4.0/samples/dnn/fast_neural_style .py
目錄下透過執行指令執行程式碼:
python fast_neural_style.py --model starry_night.t7
model
參數是提供預先訓練好的模型檔案路徑,OpenCV 沒有提供下載,但給予的參考項目https://github.com/jcjohnson/fast-neural-style 中可以找到
#其他可設定參數有:
##input 可以指定原始圖片/視頻,如果不提供就預設使用攝像頭即時採集。
width、
height,調整處理影像的大小,設定小一點可以提高運算速度。在我自己的電腦上,300x200 的轉換影片可以達到 15 幀/秒。
median_filter 中值濾波的視窗大小,用來對結果影像進行平滑處理,這個對結果影響不大。
原始圖片
ECCV16 models##instance_norm models
核心程式碼其實很短,就是
載入模型- > 讀取圖片-> 進行計算-> 輸出圖片,我在官方範例基礎上進一步簡化了一下:import cv2
# 加载模型
net = cv2.dnn.readNetFromTorch('the_scream.t7')
net.setPreferableBackend(cv2.dnn.DNN_BACKEND_OPENCV);
# 读取图片
image = cv2.imread('test.jpg')
(h, w) = image.shape[:2]
blob = cv2.dnn.blobFromImage(image, 1.0, (w, h), (103.939, 116.779, 123.680), swapRB=False, crop=False)
# 进行计算
net.setInput(blob)
out = net.forward()
out = out.reshape(3, out.shape[2], out.shape[3])
out[0] += 103.939
out[1] += 116.779
out[2] += 123.68
out /= 255
out = out.transpose(1, 2, 0)
# 输出图片
cv2.imshow('Styled image', out)
cv2.waitKey(0)
另外還改了個多效果即時比較的版本(計算量大了,很卡頓),也一併上傳在程式碼中。
PS:前兩天看趙雷演唱會的時候我還說:他演唱會的背景MV 大量使用了影像二值化、邊緣偵測等操作,讓我想到以前數位影像處理課的大作業…現在影像風格遷移的效率達到了即時,想必以後也會經常被使用吧。
#以上是Python+OpenCV影像風格遷移的實作方法講解的詳細內容。更多資訊請關注PHP中文網其他相關文章!