基於psnr和ssim的高斯白噪聲控制系統的高斯白影象去噪器技術設計

介紹

大多數影象去噪器技術專注於去除AWGN（高斯白噪聲）。通常，噪聲是綜合新增的並且涉及各種技術來去除這些影象。但是隨著深度學習的進步，重點已轉向為現實世界中的嘈雜彩色影象設計降噪架構。實際的嘈雜影象是透過具有不同設定或在弱光條件下的不同攝像機獲得的。在較低的相機ISO設定下或在強光條件下，也可以獲得相應的清晰影象。具有乾淨且嘈雜的影象對，我們可以訓練深度學習卷積體系結構以對影象進行降噪。影象去噪效果可能是肉眼可見的。我使用PSNR和SSIM指標來衡量影象去噪器效能。

要解決的問題

不能完全保證在攝影中提供高質量的影象。有時由於光線不足或相機快門速度慢而導致影象損壞。影象在傳輸過程中以及壓縮時都會被破壞。對這些低質量影象進行降噪以使其與理想條件下的影象相匹配是一個非常苛刻的問題。

將歸納到DL的問題

我們有兩個影象對，一個是嘈雜的，另一個是乾淨或真實的影象。我們訓練卷積架構以消除噪聲。這不是分類問題。在分類中，將“ X”視為特徵，將“ Y”視為二進位制值或分類值。在影象降噪器中，我們將“ X”作為噪點影象，將“ Y”作為真實影象或乾淨影象。當我們在影象畫素級別上進行操作時，我們將平方損耗用作損耗函式。我們試圖使總畫素級別損失最小化。諸如adadelta，adam之類的任何現代最佳化器都可以用作最佳化器。

測量指標：

PSNR：PSNR塊計算兩個影象之間的峰值信噪比，以分貝為單位。該比率用作原始影象和壓縮影象之間的質量度量。 PSNR越高，壓縮或重構影象的質量越好。

均方誤差（MSE）和峰值信噪比（PSNR）用於比較影象壓縮質量。 MSE代表壓縮影象和原始影象之間的累積平方誤差，而PSNR代表峰值誤差的量度。 MSE的值越小，誤差越小。

PSNR = 10log10（R * R / MSE）

R =畫素的最大值

MSE =乾淨畫素和噪聲畫素的均方誤差

SSIM：這是一種預測數字電視和電影影象以及其他型別的數字影象和影片的感知質量的方法。 SSIM用於測量兩個影象之間的相似度。 SSIM索引是完整的參考指標；換句話說，影象質量的測量或預測基於初始未壓縮或無失真的影象作為參考。

資料來源

我從下面的連結中收集了“Renoir”和“ NIND”資料集。歸功於準備這些資料集的人員。從下面的連結中找到有關專案和資料集相關人員的資訊。

arxiv：1906。00270

我最初從這些來源收集了約600張影象。影象平均大小為30 MB，並且大小超過2500 * 2500。由於在訓練時很難將這些影象適配到記憶體中，因此我將它們的大小調整為256 * 256並訓練了模型。但是後來我發現調整大小並不是一個好主意，因為它會在壓縮時增加自身的噪音或資訊丟失。然後，我將原始影象切成小塊，這很好，沒有任何資訊丟失。例如，如果影象尺寸為2560 * 2560，我將其切成100塊256 * 256。僅用一張影象，我就生成了100多幅影象用於訓練。這樣，我準備了3791張影象進行訓練而577張影象進行測試的資料集。

資料擴充應用於翻轉和旋轉資料集。

嘈雜和乾淨的影象的例子

不同的架構/模型

三星MRDNet

三星團隊在NTIRE 2020挑戰中使用了此體系結構。

相關論文

arxiv。org：2005。04117。本文提出了10多種用於現實世界影象降噪的架構，作為2020年CVPRW競賽的一部分。我使用的是獲得第三名的架構。

基於多尺度殘差密集塊的實像去噪。三星SLSI MSL團隊在“NTIRE 2020真實影象降噪挑戰”競賽中提出了MRDN體系結構。

多尺度殘差密集網路（Multi-scale Residual Dense Network， MRDN）是基於一種新的基本模組——多尺度殘差密集塊（Multi-scale Residual Dense Block， MRDB），如圖2 （a）所示。MRDB結合了來自ASPP的多尺度特徵和傳統殘差密集塊（Residual Dense Block， RDB）的其他特徵。如圖2 （b）所示，ASPP包含四個並行網路塊，分別是Conv 1×1、Conv Rate 6、Conv Rate 12和pooling。Conv Rate 6和Conv Rate 12分別表示3×3膨脹卷積，膨脹率為6和12。Conv Rate 6、Conv Rate 12和影象池化可以很好地捕獲塊輸入的多尺度特徵。從ASPP輸出的特性被連線和壓縮以與RDB的其他特性相結合。為了有一個無縫的本地剩餘連線，這個連線特性被另一個Conv 1×1壓縮在一個元素級加器之前。MRDB的輸出保持了輸入的通道數不變，從而避免了複雜度的指數級增長。MRDB作為構建模組，MRDN採用與RDN類似的方式構建網路，MRDB之間透過密集連線進行級聯。採用Conv 1×1對mrdb的輸出進行級聯壓縮，並採用全域性殘差連接獲取乾淨特徵。

Keras 程式碼實現

def denseBlock（previous_output，ks，depth）：

op_x1=Conv2D（depth，（ks，ks），padding=‘same’，kernel_initializer=‘he_normal’，kernel_regularizer=l2（0。03），\

bias_regularizer=l2（0。03））（previous_output）

op_x2=Activation（‘relu’）（op_x1）

conc1=concatenate（［previous_output，op_x2］，axis=-1）

op_x3=Conv2D（depth，（ks，ks），padding=‘same’，kernel_initializer=‘he_normal’，kernel_regularizer=l2（0。03）， \

bias_regularizer=l2（0。03））（conc1）

op_x4=Activation（‘relu’）（op_x3）

conc2=concatenate（［previous_output，conc1，op_x4］，axis=-1）

op_x5=Conv2D（depth，（ks，ks），padding=‘same’，kernel_initializer=‘he_normal’，kernel_regularizer=l2（0。03）， \

bias_regularizer=l2（0。03））（conc2）

op_x6=Activation（‘relu’）（op_x5）

conc3=concatenate（［previous_output，conc1，conc2，op_x6］，axis=-1）

op_x7=Conv2D（depth，（ks，ks），padding=‘same’，kernel_initializer=‘he_normal’，kernel_regularizer=l2（0。03）， \

bias_regularizer=l2（0。03））（conc3）

op_x8=Activation（‘relu’）（op_x7）

out_aspp=ASPP（previous_output，depth）

conc3=concatenate（［previous_output，conc1，conc2，conc3，op_x8，out_aspp］，axis=-1）

mdr_out=Conv2D（128，（1，1）， padding=‘same’，kernel_regularizer=l2（0。03）， bias_regularizer=l2（0。03））（conc3）

final_mdr_out=Add（）（［mdr_out，previous_output］）

return final_mdr_out

#ASPP block

def ASPP（previous_output，depth）：

op_x1=Conv2D（depth，（3，3），padding=‘same’，kernel_initializer=‘he_normal’，kernel_regularizer=l2（0。03）， \

bias_regularizer=l2（0。03））（previous_output）

op_x2=Activation（‘relu’）（op_x1）

op_x3 = Conv2D（depth，（1，1）， padding=‘same’，kernel_regularizer=l2（0。03）， bias_regularizer=l2（0。03））（op_x2）

op_x3 = Dropout（0。3）（op_x3）

op_x4 = Conv2D（depth，（3，3）， padding=‘same’，dilation_rate=6，kernel_regularizer=l2（0。03）， \

bias_regularizer=l2（0。03））（op_x2）

op_x4 = Dropout（0。3）（op_x4）

op_x5 = Conv2D（depth，（3，3）， padding=‘same’，dilation_rate=12，kernel_regularizer=l2（0。03）， \

bias_regularizer=l2（0。03））（op_x2）

op_x5 = Dropout（0。3）（op_x5）

op_x6 = MaxPooling2D（（3，3）， strides=（1，1）， padding=‘same’）（op_x2）

conc4 = concatenate（［op_x3，op_x4，op_x5，op_x6］，axis=-1）

op_x7 = Conv2D（depth，（1，1）， padding=‘same’，kernel_regularizer=l2（0。03）， bias_regularizer=l2（0。03））（conc4）

return op_x7

#Sequential model starts from here。

depth=128

first_input=Input（shape=（256，256，3））

inp1 = Conv2D（depth，（3，3）， padding=‘same’，kernel_regularizer=l2（0。03）， bias_regularizer=l2（0。03））（first_input）

inp2 = Conv2D（depth，（3，3）， padding=‘same’，kernel_regularizer=l2（0。03）， bias_regularizer=l2（0。03））（inp1）

inp3 = denseBlock（inp2，3，128）

inp3 = Dropout（0。3）（inp3）

inp4 = denseBlock（inp3，3，128）

inp4 = Dropout（0。3）（inp4）

conc = concatenate（［inp2，inp3，inp4］，axis=-1）

conv3 = Conv2D（depth，（1，1）， padding=‘same’，kernel_regularizer=l2（0。03）， bias_regularizer=l2（0。03））（conc）

conv4 = Conv2D（depth，（3，3）， padding=‘same’，kernel_regularizer=l2（0。03）， bias_regularizer=l2（0。03））（conv3）

add = Add（）（［inp1，conv4］）

conv5 = Conv2D（depth，（3，3）， padding=‘same’，kernel_regularizer=l2（0。03）， bias_regularizer=l2（0。03））（add）

outfinal = Conv2D（3，（3，3）， padding=‘same’，kernel_regularizer=l2（0。03）， bias_regularizer=l2（0。03））（conv5）

#create model

model=Model（inputs=first_input，outputs = outfinal）

在下面的圖中可以看到使用上述模型的預測影象的去噪效果。

MWRCAnet

上述去噪架構由百度Research Vision和HITVPC&HUAWEI團隊提出。

arxiv：2005。04117。作為NTIRE 2020年競賽的一部分，本文介紹了10多個用於真實世界影象去噪的架構。我使用的是一個贏得了第二排名的架構，如上所示。該體系結構包括一個稱為Residual Channel attention block的特殊塊。

class dwt（Layer）：

def __init__（self， **kwargs）：

super（）。__init__（**kwargs）

def get_config（self）：

config = super（）。get_config（）。copy（）

return config

def call（self， x）：

x1 = x［：， 0：：2， 0：：2，：］ #x（2i−1， 2j−1）

x2 = x［：， 1：：2， 0：：2，：］ #x（2i， 2j-1）

x3 = x［：， 0：：2， 1：：2，：］ #x（2i−1， 2j）

x4 = x［：， 1：：2， 1：：2，：］ #x（2i， 2j）

print（x1）

x_LL = x1 + x2 + x3 + x4

x_LH = -x1 - x3 + x2 + x4

x_HL = -x1 + x3 - x2 + x4

x_HH = x1 - x3 - x2 + x4

return Concatenate（axis=-1）（［x_LL， x_LH， x_HL， x_HH］）

class iwt（Layer）：

def __init__（self， **kwargs）：

super（）。__init__（**kwargs）

def get_config（self）：

config = super（）。get_config（）。copy（）

return config

def call（self， x）：

x_LL = x［：，：，：， 0：x。shape［3］//4］

x_LH = x［：，：，：， x。shape［3］//4：x。shape［3］//4*2］

x_HL = x［：，：，：， x。shape［3］//4*2：x。shape［3］//4*3］

x_HH = x［：，：，：， x。shape［3］//4*3：］

x1 = （x_LL - x_LH - x_HL + x_HH）/4

x2 = （x_LL - x_LH + x_HL - x_HH）/4

x3 = （x_LL + x_LH - x_HL - x_HH）/4

x4 = （x_LL + x_LH + x_HL + x_HH）/4

y1 = K。stack（［x1，x3］， axis=2）

y2 = K。stack（［x2，x4］， axis=2）

shape = K。shape（x）

return K。reshape（K。concatenate（［y1，y2］， axis=-1）， K。stack（［shape［0］，\

shape［1］*2， shape［2］*2， shape［3］//4］））

def channel_attention（input_feature，channel，ratio）：

x=GlobalAveragePooling2D（）（input_feature）

x=Reshape（（1，1，channel））（x）

assert x。shape［1：］ == （1，1，channel）

x=Conv2D（channel // ratio，1，activation=‘relu’，kernel_initializer=‘he_normal’，\

use_bias=True，bias_initializer=‘zeros’）（x）

assert x。shape［1：］ == （1，1，channel//ratio）

x = Conv2D（channel，1，activation=‘sigmoid’，kernel_initializer=‘he_normal’，\

use_bias=True，bias_initializer=‘zeros’）（x）

x = multiply（［input_feature， x］）

return x

#channel_attention（first_input，64，4）

def RCAB（prev_input，filters，kernal_size，blocks）：

for i in range（blocks）：

if （i==0）：

x=Conv2D（filters，kernal_size，padding=‘same’）（prev_input）

else：

x=Conv2D（filters，kernal_size，padding=‘same’）（lip）

x= PReLU（alpha_initializer=‘he_normal’）（x）

x=Conv2D（filters，1，padding=‘same’）（x）

x=channel_attention（x，filters，4）

if （i==0）：

lip=Add（）（［prev_input，x］）

else：

lip=Add（）（［lip，x］）

x=Conv2D（filters，kernal_size，padding=‘same’）（x）

x=Add（）（［prev_input，x］）

return x

#return Model（inputs=prev_input，outputs=x）

def Model_Creation（）：

first_input=Input（shape=（256，256，3））

#encoder3

first=dwt（）（first_input）

inp=Conv2D（64，3，padding=‘same’）（first）