深度融合特征提取網(wǎng)絡(luò)及其在化工過程軟測(cè)量中的應(yīng)用

近年來，隨著現(xiàn)代流程工業(yè)的飛速發(fā)展，生產(chǎn)規(guī)模越來越龐大。然而，受到技術(shù)或預(yù)算的限制，現(xiàn)代流程工業(yè)中往往存在部分難以通過在線傳感器直接進(jìn)行檢測(cè)的關(guān)鍵變量，尤其是關(guān)鍵的質(zhì)量指標(biāo)。因此，為了解決關(guān)鍵質(zhì)量指標(biāo)的估計(jì)和控制問題，軟測(cè)量技術(shù)越發(fā)得到人們的重視。該技術(shù)建立易測(cè)的過程變量與難測(cè)的質(zhì)量變量之間的數(shù)學(xué)模型，具有成本低、配置靈活、實(shí)時(shí)性好和維護(hù)簡(jiǎn)單等優(yōu)點(diǎn)[1-3]。

軟測(cè)量技術(shù)通常分為兩大類，分別為機(jī)理模型和數(shù)據(jù)驅(qū)動(dòng)模型。由于流程工業(yè)過程日趨復(fù)雜，建立準(zhǔn)確的機(jī)理模型也愈發(fā)困難。隨著傳感器技術(shù)的高速發(fā)展以及集散控制系統(tǒng)的廣泛應(yīng)用，通過分析海量的現(xiàn)場(chǎng)數(shù)據(jù)，基于數(shù)據(jù)驅(qū)動(dòng)的軟測(cè)量技術(shù)得到了快速發(fā)展[4-5]。這項(xiàng)技術(shù)通過歷史數(shù)據(jù)建立預(yù)測(cè)模型，無須先驗(yàn)知識(shí)和操作經(jīng)驗(yàn)，在復(fù)雜流程工業(yè)監(jiān)測(cè)與軟測(cè)量領(lǐng)域得到了廣泛的應(yīng)用。目前，常見的數(shù)據(jù)驅(qū)動(dòng)軟測(cè)量技術(shù)主要包括多元統(tǒng)計(jì)方法和機(jī)器學(xué)習(xí)方法。常用的模型有主成分回歸 (principal component regression, PCR)、偏最小二乘回歸 (partial least squares regression, PLSR)、支持向量機(jī) (support vector machine, SVM)以及人工神經(jīng)網(wǎng)絡(luò)(artificial neural network, ANN)等[6-9]。

目前常用的數(shù)據(jù)驅(qū)動(dòng)軟測(cè)量技術(shù)絕大部分為靜態(tài)建模方法，而實(shí)際的復(fù)雜流程工業(yè)過程觀測(cè)數(shù)據(jù)往往包含很強(qiáng)的動(dòng)態(tài)特性。為提取數(shù)據(jù)的動(dòng)態(tài)特性或自相關(guān)特性，Ku等[10]首次提出動(dòng)態(tài)主成分分析(dynamic principal component analysis, DPCA)模型并用于過程監(jiān)控，而動(dòng)態(tài)偏最小二乘回歸模型(dynamic partial least squares regression, DPLSR)被提出以預(yù)測(cè)動(dòng)態(tài)過程數(shù)據(jù)[11-12]。Ge等[13]提出了動(dòng)態(tài)概率潛隱變量回歸(dynamic probabilistic latent variable model, DPLVM)模型，在線性動(dòng)態(tài)系統(tǒng)[14-15]的框架之下有效地捕捉數(shù)據(jù)的自相關(guān)性的特征，并用于工業(yè)過程在線監(jiān)測(cè)以及關(guān)鍵質(zhì)量變量預(yù)測(cè)。Zhou等[16-17]提出了一種切換的自回歸動(dòng)態(tài)潛隱變量模型，并給出了模態(tài)切換的后驗(yàn)估計(jì)方法，用于解決多模態(tài)動(dòng)態(tài)過程建模問題。然而，上述方法均屬于線性建模方法，無法準(zhǔn)確提取觀測(cè)數(shù)據(jù)間的非線性相關(guān)關(guān)系。

針對(duì)非線性數(shù)據(jù)建模問題，常見的方法主要包括機(jī)器學(xué)習(xí)建模方法和神經(jīng)網(wǎng)絡(luò)模型。傳統(tǒng)的非線性機(jī)器學(xué)習(xí)建模方法有核主成分分析(kernel principal component analysis, KPCA)、核最小二乘法(kernel partial least squares, KPLS)等[18-19]。近年來，神經(jīng)網(wǎng)絡(luò)模型，尤其是深度學(xué)習(xí)建模方法得到了快速發(fā)展。但是與傳統(tǒng)的機(jī)器學(xué)習(xí)模型相比，基于深度學(xué)習(xí)的軟測(cè)量技術(shù)仍存在一定的缺陷。其主要問題在于深度學(xué)習(xí)方法屬于黑箱模型，無法準(zhǔn)確描述模型的運(yùn)作機(jī)制，可解釋性差，從而增大了模型優(yōu)化和超參數(shù)選擇的難度。Kingma等[20]提出了一種變分自編碼器模型(variational autoencoder, VAE)，將變分貝葉斯模型與自編碼器結(jié)構(gòu)結(jié)合，利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)變分推導(dǎo)的參數(shù)，并且對(duì)編碼器添加約束，限制潛隱變量服從單位高斯分布，增強(qiáng)了模型的可解釋性。VAE模型能有效提取數(shù)據(jù)的深層非線性特征，已被廣泛應(yīng)用于流程工業(yè)過程建模與監(jiān)控領(lǐng)域[21-22]。

此外，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，研究者初步研究了非線性動(dòng)態(tài)建模問題。Odiowei等[23]提出了典型變量分析與核密度估計(jì)相結(jié)合的方法，在典型變量分析模型的基礎(chǔ)上，更新了相關(guān)變量的概率密度以及指標(biāo)的估計(jì)方法，使其適用于非線性動(dòng)態(tài)過程監(jiān)控。Yuan等[24]提出了基于有監(jiān)督長(zhǎng)短記憶網(wǎng)絡(luò)建模的軟測(cè)量方法(supervised long short-term memory network, SLSTM)，同時(shí)利用過程變量和質(zhì)量變量來構(gòu)建LSTM網(wǎng)絡(luò)。此外，考慮到觀測(cè)數(shù)據(jù)同時(shí)存在互相關(guān)和自相關(guān)關(guān)系，Yuan等[25]進(jìn)一步提出了基于時(shí)空注意力機(jī)制的長(zhǎng)短記憶網(wǎng)絡(luò)模型(spatiotemporal attention-based long short-term memory, STA-LSTM)，通過給予每個(gè)變量不同的權(quán)重系數(shù)，可自適應(yīng)地計(jì)算潛隱信息與質(zhì)量變量的相關(guān)程度。Yao等[26]提出了增量式動(dòng)態(tài)特征提取及傳遞模型(incremental dynamic features extracting and transferring model, IDFETM)，在提取到非線性動(dòng)態(tài)特征的同時(shí)，采用增量學(xué)習(xí)方法，使模型獲得了快速吸收和優(yōu)化歷史信息的能力。另有一些學(xué)者基于現(xiàn)有的深度學(xué)習(xí)框架提出了一系列改進(jìn)模型，有效提高了動(dòng)態(tài)過程建模準(zhǔn)確度和預(yù)測(cè)性能，并提高了模型魯棒性[27-30]。此外，Shen等[31]在VAE的基礎(chǔ)上提出了一種有監(jiān)督非線性動(dòng)態(tài)系統(tǒng) (supervised nonlinear dynamic system, SNDS)。該模型基于時(shí)間窗提取數(shù)據(jù)的動(dòng)態(tài)特性，并利用VAE模型，將傳統(tǒng)的動(dòng)態(tài)潛隱變量模型擴(kuò)展至非線性概率形式，兼具動(dòng)態(tài)潛隱變量建模方法和深度學(xué)習(xí)技術(shù)的優(yōu)點(diǎn)，能有效提取非線性動(dòng)態(tài)特征。在SNDS中，雖然每個(gè)潛隱變量都被用于和相應(yīng)的質(zhì)量變量擬合訓(xùn)練，但在進(jìn)行在線質(zhì)量預(yù)報(bào)時(shí)，通常只使用最后一個(gè)潛隱變量進(jìn)行質(zhì)量預(yù)測(cè)。當(dāng)針對(duì)強(qiáng)動(dòng)態(tài)數(shù)據(jù)時(shí)，需設(shè)置較大的時(shí)間窗以提取完整的動(dòng)態(tài)信息。雖然相鄰潛隱變量間可進(jìn)行有效的信息交互，但是該模型存在歷史潛隱變量信息在傳遞過程中被稀釋的問題。為解決上述問題，本文提出一種新的深度融合特征提取網(wǎng)絡(luò)(deep fusion feature extraction network, DFFEN)。該方法在VAE框架下構(gòu)建非線性動(dòng)態(tài)潛隱變量，同時(shí)，引入自注意力機(jī)制[32-33]融合時(shí)間窗內(nèi)的所有動(dòng)態(tài)潛隱信息，優(yōu)化因時(shí)間窗過長(zhǎng)而導(dǎo)致的動(dòng)態(tài)潛隱特征被遺忘的問題。此外，在后端網(wǎng)絡(luò)構(gòu)建動(dòng)態(tài)潛隱變量和關(guān)鍵質(zhì)量變量之間的回歸模型，以實(shí)現(xiàn)關(guān)鍵質(zhì)量變量的預(yù)報(bào)。

本文提出深度融合特征提取網(wǎng)絡(luò)及其相應(yīng)的化工過程軟測(cè)量方法，并通過實(shí)驗(yàn)驗(yàn)證本文提出方法的有效性。

1 有監(jiān)督非線性動(dòng)態(tài)系統(tǒng)（SNDS）模型回顧

SNDS結(jié)合VAE的框架，將線性動(dòng)態(tài)系統(tǒng)擴(kuò)展至非線性形式[31]，其結(jié)構(gòu)可被表示為

h(1)=μ(1)+σ(1)ε(1)h(t)=P(t)h(t-1)+W(t)μ(t)+σ(t)ε(2)X?(t)=F[h(t)]+v(t)(3)Y?(t)=G[h(t)]+w(t)(4)

式中，h(t)是動(dòng)態(tài)潛隱變量；轉(zhuǎn)移矩陣P(t)用于構(gòu)建h(t)和h(t-1)之間的關(guān)系，以傳遞動(dòng)態(tài)潛隱變量之間的自相關(guān)信息；轉(zhuǎn)移矩陣W(t)用于計(jì)算第t個(gè)VAE生成的均值μ(t)和當(dāng)前潛隱變量h(t)之間的關(guān)系，以便通過重采樣方式生成潛隱變量h(t)；Y?(t)是重構(gòu)的輸出樣本；和VAE模型中的重構(gòu)公式類似，F(*)和G(*)表示非線性變換過程，F(*)代表自編碼器的解碼過程，用于重構(gòu)輸入數(shù)據(jù)，而G(*)用于將生成的潛隱變量h(t)和輸出變量樣本數(shù)據(jù)擬合，從而構(gòu)建回歸模型，對(duì)關(guān)鍵質(zhì)量變量進(jìn)行預(yù)測(cè)；ε、v(t)和w(t)代表高斯噪聲，其分布分別為ε~N(0,I)，v(t)~N(0,σx2I)和w(t)~N(0,σy2I)。

SNDS的模型結(jié)構(gòu)主要分為兩個(gè)部分，分別是特征提取部分以及回歸模型部分。首先通過多個(gè)相互連接的自編碼器提取動(dòng)態(tài)潛隱變量，再進(jìn)行有監(jiān)督訓(xùn)練，是一種可解釋性較強(qiáng)的深度學(xué)習(xí)模型。

2 深度融合特征提取網(wǎng)絡(luò)（DFFEN）模型及其軟測(cè)量方法

2.1 DFFEN模型結(jié)構(gòu)

雖然在處理非線性動(dòng)態(tài)工業(yè)數(shù)據(jù)時(shí)，SNDS能通過提取非線性動(dòng)態(tài)信息實(shí)現(xiàn)對(duì)關(guān)鍵質(zhì)量變量的預(yù)測(cè)，但仍存在一些不足之處。實(shí)際的化工過程數(shù)據(jù)往往具有較強(qiáng)的動(dòng)態(tài)特性。針對(duì)強(qiáng)動(dòng)態(tài)數(shù)據(jù)，需要構(gòu)建長(zhǎng)時(shí)間窗來描述數(shù)據(jù)的強(qiáng)自相關(guān)性。而當(dāng)時(shí)間窗過長(zhǎng)時(shí)，會(huì)導(dǎo)致較早時(shí)間的動(dòng)態(tài)相關(guān)信息在傳遞時(shí)易被弱化，存在信息稀釋的問題。為解決上述問題，本文提出了一種新的深度融合特征提取網(wǎng)絡(luò)。該模型融合了自注意力機(jī)制[32-33]，通過計(jì)算時(shí)間窗內(nèi)的動(dòng)態(tài)潛隱變量權(quán)重，有效提取非線性動(dòng)態(tài)數(shù)據(jù)的相關(guān)關(guān)系。

DFFEN的模型結(jié)構(gòu)如圖1所示。該模型主要分為兩部分：前端網(wǎng)絡(luò)進(jìn)行自監(jiān)督訓(xùn)練，用于獲取融合后的動(dòng)態(tài)潛隱變量信息；后端網(wǎng)絡(luò)通過擬合潛隱變量與質(zhì)量變量樣本，完成有監(jiān)督訓(xùn)練。前端與后端網(wǎng)絡(luò)共同組成了一個(gè)完整的軟測(cè)量模型。

圖1

圖1   DFFEN模型結(jié)構(gòu)

Fig.1   Model structure of the DFFEN

作為一類動(dòng)態(tài)特征提取網(wǎng)絡(luò)，首先需要對(duì)樣本進(jìn)行預(yù)處理，采用滑動(dòng)窗口策略對(duì)標(biāo)準(zhǔn)化后的時(shí)間序列樣本進(jìn)行劃分。選擇合適的模型長(zhǎng)度T后，可以將過程變量以及質(zhì)量變量樣本各自劃分為T組。

X(1)={x(1),x(2),x(3),?,x(M-T+1)}Y(1)={y(1),y(2),y(3),?,y(M-T+1)}X(2)={x(2),x(3),x(4),?,x(M-T+2)}Y(2)={y(2),y(3),y(4),?,y(M-T+2)}??X(T)={x(T),x(T+1),x(T+2),?,x(M)}Y(T)={y(T),y(T+1),y(T+2),?,y(M)}(5)

式中，x(t)和y(t)分別代表t時(shí)刻的過程變量樣本以及質(zhì)量變量樣本；M為總樣本大小。這種數(shù)據(jù)劃分策略既能保護(hù)輸入樣本的時(shí)序性，又便于后續(xù)的動(dòng)態(tài)建模過程。

DFFEN的前端網(wǎng)絡(luò)由T個(gè)相互連接的VAE組成，每個(gè)自編碼器負(fù)責(zé)產(chǎn)生對(duì)應(yīng)的潛隱變量h(t)。當(dāng)時(shí)間序列X(1)至X(T)作為訓(xùn)練集輸入到前端網(wǎng)絡(luò)訓(xùn)練完成后，得到相應(yīng)的動(dòng)態(tài)潛隱變量信息h(t)，其結(jié)構(gòu)如式（6）所示。

h(1)=μ(1)+σ(1)ε,ε~N(0,I)h(t)=P(t)h(t-1)+W(t)μ(t)+σ(t)ε(6)

式中，t∈[2,T]；μ(t)、σ(t)以及ε分別代表第t個(gè)VAE的均值、方差以及高斯噪聲；P(t)為h(t)和h(t-1)之間的轉(zhuǎn)移矩陣；W(t)是系數(shù)矩陣，用于計(jì)算潛隱變量h(t)與均值μ(t)的相關(guān)關(guān)系。

通過重采樣方式，第一個(gè)自編碼器訓(xùn)練得到的參數(shù)μ(1)、σ(1)和ε可被用于構(gòu)造潛隱變量h(1)。同理可得到h(2)至h(T)。而引入高斯噪聲ε，有效提高了網(wǎng)絡(luò)的魯棒性。其中，動(dòng)態(tài)潛隱變量之間的連接方式類似于信息傳遞鏈，通過累加的方式，潛隱變量信息由前向后傳遞。構(gòu)建動(dòng)態(tài)潛隱變量信息傳遞通道有利于提取完整的動(dòng)態(tài)潛隱變量，為后續(xù)的有監(jiān)督擬合提供了更加可靠的關(guān)鍵信息。

T個(gè)相互連接的VAE可用于產(chǎn)生相對(duì)應(yīng)的潛隱變量h(t)，且信息傳遞鏈的構(gòu)造使得潛隱變量包含了動(dòng)態(tài)特性。然而，當(dāng)實(shí)際工業(yè)過程數(shù)據(jù)包含了強(qiáng)動(dòng)態(tài)相關(guān)性時(shí)，模型長(zhǎng)度T往往很大，從而導(dǎo)致各VAE提取到的動(dòng)態(tài)潛隱變量信息隨著信息傳遞過程而逐漸損失，以至影響潛隱信息提取效果以及后端網(wǎng)絡(luò)預(yù)測(cè)精度。因此，網(wǎng)絡(luò)結(jié)構(gòu)[式(6)]在處理強(qiáng)動(dòng)態(tài)相關(guān)工業(yè)數(shù)據(jù)時(shí)的建模效果會(huì)被削弱。

為改善上述問題，自注意力機(jī)制被用于融合時(shí)間窗內(nèi)的動(dòng)態(tài)潛隱變量信息。其結(jié)構(gòu)如式(7)所示。

Q(t)=h(t)WQ(t)K(t)=h(t)WK(t)V(t)=h(t)WV(t)z(t)=expQ(t)K(t)·dkV(t)V=∑t=1Tz(t)α(t)(7)

式中，Q(t)、K(t)和V(t)分別代表動(dòng)態(tài)潛隱變量期望投影的向量空間，相應(yīng)地，WQ(t)、WK(t)和WV(t)為各自的權(quán)重矩陣；dk為距離參數(shù)；z(t)代表t時(shí)刻潛隱變量變換后的輸出。最后利用訓(xùn)練完成的系數(shù)α(t)整合所有變換后的動(dòng)態(tài)潛隱變量信息，得到特征融合后的非線性動(dòng)態(tài)潛隱變量V。之后，利用融合后的非線性動(dòng)態(tài)潛隱變量進(jìn)行解碼，完成前端網(wǎng)絡(luò)搭建。

在后端網(wǎng)絡(luò)中，將提取到的動(dòng)態(tài)潛隱變量信息和關(guān)鍵質(zhì)量變量擬合，其結(jié)構(gòu)如式(8)、式(9)所示。

X?(t)=F(V)+w1,w1~N(0,I)(8)Y?(T)=G(V)+w2,w2~N(0,I)(9)

式中，t∈[1,T]；F(*)和G(*)分別代表解碼層以及擬合層的非線性變換過程；w1和w2為高斯噪聲。

2.2 DFFEN網(wǎng)絡(luò)損失函數(shù)

為估計(jì)DFFEN的模型參數(shù)，首先需要確定模型的損失函數(shù)。VAE的目的是生成服從原數(shù)據(jù)集分布的潛隱變量h(t)。根據(jù)VAE的模型結(jié)構(gòu)，可得出其邊緣概率的對(duì)數(shù)似然函數(shù)方程。

lnp(X|δ)=∫hq(h)lnp(X|δ)dh=∫hq(h|ω)lnp(X,h|δ)q(h|ω)dh+DKL[q(h|ω)||p(h|δ)]=ELBO+DKL[q(h|ω)||p(h|δ)](10)

式中，X代表輸入樣本；h代表潛隱變量；q(h|ω)及p(X,h|δ)分別被定義為編碼層和解碼層的輸出的概率分布；ω和δ分別為編碼層和解碼層的參數(shù)。通過推導(dǎo)可得VAE的似然函數(shù)分為證據(jù)下界（evidence lower bound，ELBO）以及KL散度(Kullback-Leibler divergence)兩部分。變分推斷的目標(biāo)是尋求一個(gè)概率密度函數(shù)q(h|ω)來近似p(h|δ)。以該優(yōu)化方案為目標(biāo)，需要使KL散度最小，相當(dāng)于最大化ELBO。

針對(duì)DFFEN模型，其最大化聯(lián)合概率函數(shù)的問題可轉(zhuǎn)化為ELBO的最大化問題，該目標(biāo)函數(shù)為

max(ELBO)=max∑t=1TELBO(t)=max∑t=1TEh(t)lnp[X(t)|h(t)]-DKLq[h(1)|ω(1)]||p[h(t)|δ(t)]-∑t=2TDKLq[h(t)|h(t-1),ω(t)]||p[h(t)|h(t-1),δ(t)](11)

其中，第一項(xiàng)為后驗(yàn)分布期望值；第二、三項(xiàng)代表KL散度。初始先驗(yàn)概率服從高斯分布為p[h(t)|δ(t)]=N(0,I)。隨后動(dòng)態(tài)先驗(yàn)分布滿足p[h(t)|h(t-1),δ(t)]=N[P(t)h(t-1),I]。q[h(1)|ω(1)]及q[h(t)|h(t-1),ω(t)]作為后驗(yàn)概率的估計(jì)值也服從高斯分布。由以上條件可得到DFFEN模型的損失函數(shù)如式(12)所示。

JDFFEN(X)=-∑t=1T||X(t)-X?(t)||2+DKLq[h(1)|ω(1)]||N(0,I)+∑t=2TDKLq[h(t)|h(t-1),ω(t)]||N[P(t)h(t-1),I](12)

2.3 DFFEN優(yōu)化器選擇

為更高效地優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，須選擇合適的優(yōu)化函數(shù)。Adam優(yōu)化器因其計(jì)算高效、收斂速度快等優(yōu)點(diǎn)，得到了廣泛使用。Adam優(yōu)化器的梯度更新規(guī)則如式（13）所示。

m?t=mt1-μtv?t=vt1-vtθt=θt-1-ηm?tv?t+ε(13)

式中，mt和vt分別是對(duì)梯度的一階矩估計(jì)和二階矩估計(jì)；m?t和v?t分別是對(duì)mt和vt的校正；η代表學(xué)習(xí)率，而-m?tv?t+ε可對(duì)學(xué)習(xí)率形成動(dòng)態(tài)約束。Adam優(yōu)化器利用梯度的一階矩和二階矩估計(jì)動(dòng)態(tài)調(diào)整各個(gè)參數(shù)的學(xué)習(xí)率，有效緩解了梯度振蕩與梯度稀釋問題。

2.4 基于有監(jiān)督DFFEN的軟測(cè)量

為預(yù)測(cè)最終的質(zhì)量變量，需構(gòu)建相應(yīng)的回歸模型。本文使用兩層全連接網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練，其損失函數(shù)采用最小平方誤差。

JDFFEN(Y)=-∑t=1T||Y(T)-Y?(T)||2(14)

前端網(wǎng)絡(luò)的損失函數(shù)用于重構(gòu)近似輸入樣本的同時(shí)，生成概率分布的近似值，以保證構(gòu)造的非線性動(dòng)態(tài)潛隱變量服從設(shè)定的分布。后端網(wǎng)絡(luò)用于擬合潛隱變量信息和關(guān)鍵質(zhì)量變量樣本之間的輸入輸出關(guān)系。基于DFFEN的化工過程軟測(cè)量方法的具體步驟如下。

①收集化工過程的過程變量X以及質(zhì)量變量Y組成訓(xùn)練樣本。

②將建模樣本進(jìn)行標(biāo)準(zhǔn)化處理后，利用滑動(dòng)窗口策略，得到T組過程變量樣本和T組質(zhì)量變量樣本。

③固定優(yōu)化器為Adam優(yōu)化器，選擇合適的訓(xùn)練次數(shù)、批次大小以及隱層數(shù)目，并設(shè)置合適的模型長(zhǎng)度T以及動(dòng)態(tài)潛隱變量維度。

④初始化DFFEN的模型參數(shù)。

⑤進(jìn)行前端網(wǎng)絡(luò)的訓(xùn)練。當(dāng)損失不再降低時(shí)，保留模型參數(shù)。

⑥提取融合后的動(dòng)態(tài)潛隱變量V，用于后端網(wǎng)絡(luò)的訓(xùn)練。

⑦輸入測(cè)試數(shù)據(jù)集，得到預(yù)測(cè)的質(zhì)量變量樣本Y?test(T)。

基于有監(jiān)督DFFEN的軟測(cè)量流程如圖2所示。

圖2

圖2   基于DFFEN的軟測(cè)量流程圖

Fig.2   Flow chart of DFFEN for soft sensing

為評(píng)估軟測(cè)量模型的性能，通常使用均方根誤差(RMSE)和擬合優(yōu)度R2兩個(gè)指標(biāo)。RMSE和R2的計(jì)算公式如式(15)、式(16)所示。

RMSE=∑j=1Nt(yj-y?j)2/Nt(15)R2=1-∑j=1Nt(yj-y?j)2/∑j=1Nt(yj-yˉt)2(16)

式中，yj代表第j個(gè)質(zhì)量變量樣本的實(shí)際值；y?j代表第j個(gè)質(zhì)量變量樣本的預(yù)測(cè)值；Nt代表樣本數(shù)目；yˉt代表實(shí)際質(zhì)量變量樣本的均值。RMSE用來表示樣本實(shí)際值和預(yù)測(cè)值的平均平方差，R2用于描述樣本預(yù)測(cè)值和實(shí)際值的匹配程度。模型性能越好，預(yù)測(cè)值越接近實(shí)際值，RMSE越小，R2越高。

3 實(shí)驗(yàn)案例

本節(jié)將通過一個(gè)數(shù)值案例和一個(gè)實(shí)際的合成氨生產(chǎn)過程驗(yàn)證基于DFFEN的軟測(cè)量方法的有效性。

3.1 數(shù)值案例

本節(jié)首先構(gòu)建了一個(gè)非線性動(dòng)態(tài)系統(tǒng)，其具體結(jié)構(gòu)如式（17）、式（18）所示。

h(t)=Ah(t-1)+Bcos[h(t-2)]-Csin[h(t-3)]+w1(t)x(t)=Dh(t)+w2(t)y(t)=Eh(t)+w3(t)(17)A=-0.2042-0.67320.57840.9147B=-0.29301.1031-0.22620.3766C=0.18340.83230.1109-1.5659E=-0.0715-0.2001D·=1.84461.9036-0.1830-1.0627-1.19990.65241.00770.5808-0.8719-0.93331.7151-0.07330.30362.01360.5088-1.1795(18)

式中，h(t)代表動(dòng)態(tài)潛隱變量；x(t)代表過程變量；y(t)代表質(zhì)量變量。此外，為描述實(shí)際工業(yè)過程中包含的測(cè)量噪聲，分別加入白噪聲w1(t)、w2(t)和w3(t)，其中w1(t)和w2(t)是均值為0、方差為0.7的高斯噪聲；w3(t)是均值為0、方差為0.1的高斯噪聲。

利用上述非線性動(dòng)態(tài)系統(tǒng)，本文共生成了1000個(gè)樣本。前500個(gè)數(shù)據(jù)作為訓(xùn)練集，用于訓(xùn)練模型參數(shù)。后500個(gè)數(shù)據(jù)作為測(cè)試集，用于評(píng)價(jià)模型預(yù)測(cè)性能。此外，本文還選擇了概率主成分回歸(probabilistic principal component regression, PPCR)模型、SNDS和有監(jiān)督堆棧自編碼器(supervised-stacked autoencoder, SSAE)作為對(duì)比模型。DFFEN模型的隱層維度設(shè)置為n=8，擬合層的神經(jīng)元數(shù)量設(shè)置為150個(gè)。同時(shí)，對(duì)比模型SNDS和SSAE的隱層神經(jīng)元個(gè)數(shù)也設(shè)置為n=8，擬合層神經(jīng)元個(gè)數(shù)設(shè)置為150個(gè)，其中SNDS的模型長(zhǎng)度T=4，SSAE設(shè)置為三層特征提取層，PPCR的潛隱變量維度設(shè)置為n=2。

為獲取更有效的模型參數(shù)，本文測(cè)試了DFFEN在不同參數(shù)T設(shè)置下的預(yù)測(cè)性能。不同參數(shù)T下的多次實(shí)驗(yàn)平均評(píng)價(jià)指數(shù)如圖3所示?？梢缘贸觯?dāng)T=4時(shí)，DFFEN模型達(dá)到最佳性能。各模型在本數(shù)值案例的實(shí)驗(yàn)結(jié)果如表1所示。不同模型的軟測(cè)量結(jié)果和預(yù)測(cè)誤差如圖4和圖5所示。受到非線性數(shù)據(jù)結(jié)構(gòu)的影響，線性模型PPCR的預(yù)測(cè)效果最差。SSAE通過提取深層特征進(jìn)行有監(jiān)督訓(xùn)練，SNDS利用自編碼器的架構(gòu)提取到了動(dòng)態(tài)潛隱變量，其模型預(yù)測(cè)精度均優(yōu)于線性模型。而DFFEN能夠有效提取長(zhǎng)時(shí)間尺度的非線性動(dòng)態(tài)特征，模型預(yù)測(cè)效果最佳。

圖3

圖3   T與評(píng)價(jià)指標(biāo)R2和RMSE的關(guān)系

Fig.3   The evaluation indices R2 and RMSE versusT

表1   數(shù)值案例不同模型預(yù)測(cè)結(jié)果

Table 1  Prediction results for different models using numerical case

新窗口打開| 下載CSV

圖4

圖4   數(shù)值案例中不同模型的軟測(cè)量結(jié)果

Fig.4   Soft sensing results for different models in the numerical case

圖5

圖5   各模型的預(yù)測(cè)誤差

Fig.5   Predition error for different models

3.2 合成氨生產(chǎn)過程

在合成氨生產(chǎn)過程中，氫氣是主要原料之一。通常以甲烷作為原料，經(jīng)過甲烷轉(zhuǎn)化裝置得到高純度氫氣。該裝置包括預(yù)轉(zhuǎn)化爐、一段轉(zhuǎn)化爐和二段轉(zhuǎn)化爐。其中一段轉(zhuǎn)化爐的裝置流程如圖6所示。根據(jù)反應(yīng)機(jī)理，塔中的反應(yīng)溫度是爐內(nèi)制氫的關(guān)鍵。只有充足的燃?xì)赓Y源才能確保反應(yīng)順利進(jìn)行。因此，準(zhǔn)確地測(cè)量爐內(nèi)的氧含量對(duì)于降低生產(chǎn)成本同時(shí)保證氫氣的純度以及產(chǎn)量尤為重要。

圖6

圖6   一段轉(zhuǎn)化爐流程圖

Fig.6   The flowchart of primary reformer

本文選擇了一段轉(zhuǎn)化爐中的13個(gè)易測(cè)的輔助變量作為輸入，爐頂?shù)难鯘舛茸鳛楸活A(yù)測(cè)的關(guān)鍵質(zhì)量變量。各變量的具體描述如表2所示。本文共使用20500個(gè)樣本進(jìn)行模型訓(xùn)練和測(cè)試。其中20000個(gè)樣本作為訓(xùn)練集，另外500個(gè)樣本作為測(cè)試集驗(yàn)證模型的預(yù)測(cè)性能。此外，繼續(xù)選擇SNDS、PPCR和SSAE作為對(duì)比模型。

表2   一段轉(zhuǎn)化爐變量描述

Table 2  The description of the variables in primary reformer

新窗口打開| 下載CSV

由于實(shí)際的生產(chǎn)過程具有較強(qiáng)的動(dòng)態(tài)特性，DFFEN的模型長(zhǎng)度T需要設(shè)置得較大，經(jīng)過性能測(cè)試，T的值設(shè)置為33，隱層維度為11，擬合層為2層，其中神經(jīng)元個(gè)數(shù)為150個(gè)。SNDS的模型長(zhǎng)度設(shè)置T=33，同樣地，擬合層設(shè)置為2層，神經(jīng)元個(gè)數(shù)為150個(gè)。SSAE的特征提取層設(shè)置為3層，各層神經(jīng)元個(gè)數(shù)設(shè)置為n=11，擬合層和DFFEN及SNDS相同。PPCR的潛隱變量個(gè)數(shù)設(shè)置為n=11。不同模型在合成氨過程的預(yù)測(cè)結(jié)果如表3和圖7所示?？梢钥闯觯珼FFEN的預(yù)測(cè)精度最高，特別是250~500樣本區(qū)間。SSAE雖然也有較好的預(yù)測(cè)能力，但只是大致反應(yīng)質(zhì)量變量的變化趨勢(shì)，無法對(duì)其進(jìn)行精確預(yù)測(cè)。SNDS的預(yù)測(cè)值雖然能夠反映大致趨勢(shì)，但是波動(dòng)極大，與實(shí)際值存在較大誤差。此外，由于PPCR為靜態(tài)線性模型，不適用于非線性動(dòng)態(tài)建模，擬合效果過差。圖8展示了4種模型的預(yù)測(cè)誤差。如圖所示，DFFEN的預(yù)測(cè)誤差較另外3種模型更接近于0，誤差更小。而PPCR、SSAE和SNDS的預(yù)測(cè)誤差明顯偏高，尤其在1~100樣本區(qū)間內(nèi)最為明顯。因此，對(duì)比其余3種模型，DFFEN的預(yù)測(cè)值更接近實(shí)際值，性能最優(yōu)。

表3   各模型在合成氨過程的預(yù)測(cè)結(jié)果

Table 3  Prediction results for different models in the synthetic ammonia process

新窗口打開| 下載CSV

圖7

圖7   各模型在合成氨過程的預(yù)測(cè)結(jié)果

Fig.7   Prediction results for different models in the synthetic ammonia process

圖8

新窗口打開| 下載原圖ZIP| 生成PPT

圖8   各模型在合成氨過程中的預(yù)測(cè)誤差

Fig.8   Prediction error for different models in the synthetic ammonia process

4 結(jié)論

針對(duì)復(fù)雜化工過程的非線性和強(qiáng)動(dòng)態(tài)特性，本文提出了一種新的深度融合特征提取網(wǎng)絡(luò)。該模型在變分自編碼器的框架下提取非線性潛隱變量，并通過構(gòu)造信息傳遞鏈捕獲動(dòng)態(tài)特征。利用信息融合的方法，融合后的潛隱變量克服了動(dòng)態(tài)相關(guān)信息在傳遞過程中被稀釋的缺陷，有效提高了模型的預(yù)測(cè)精度。通過數(shù)值案例以及實(shí)際的合成氨生產(chǎn)過程驗(yàn)證了所提出方法的有效性。實(shí)驗(yàn)結(jié)果表明，該模型能夠有效處理復(fù)雜化工過程的非線性強(qiáng)動(dòng)態(tài)數(shù)據(jù)，模型預(yù)測(cè)效果較好，同時(shí)該模型具有較好的擴(kuò)展性，具備良好的應(yīng)用前景。