你看這景，美不美？

山脈郁郁蔥蔥，湖面宛如綠松石。

此情此景讓人忍不住吟唱：真是一種勃勃生機，萬物競發的境界（奉化口音）。

然而這寶石藍湖面，其實質則是水體富營養化導致的藍藻爆發。

湊近看，湖面可能是這樣的：

漂浮死魚的畫面就不放了，怕你看見犯惡心。

所謂水體富營養化，簡單說就是水中氮、磷等物質含量過多引起的水污染現象。藻類及其它浮游生物瘋狂生長，使水中溶解氧下降，植物和魚類被“憋死”。

藻類勃勃生機，其它動植物萬籟俱寂。

既然污染的原因明確，如何防治就也清楚了——防治營養物質過多流入湖泊、河流。

國家《城鎮污水處理廠污染物排放標準》就對城市污水處理廠出水的氮磷含量做了嚴格要求。   

為保證排放達標，就需要及時知道處理廠出水中各物質濃度信息。

目前常用的檢測方法是化學法，例如對于總氮含量，一般用“堿性過硫酸鉀-消解紫外分光光度法”。先采集樣品，再消解水中有機氮，然后過濾分離，最后測總氮含量。

結果雖然精準，但費時費力，時效性差。等實驗室檢測出結果，有可能超標水已經排放好一陣了。

但基于機器學習的智能檢測方法，就可大大彌補化學法的短板，做到實時監測，實時預警。

下面基于數據建模軟件DTEmpower以及北京某污水處理廠的2萬多條數據，展示如何零編碼實現智能檢測。

一、數據建模目的

我們想擺脫時效性差的化學檢測法，利用數據法快速預測“出水總氮”的值。首先就要分析哪些因素可能會影響出水總氮。注意，是“可能會”。

出水總氮的影響因素可分為兩大類，一類是進水數據，另一類是污水處理過程數據。兩類加一起包含的可能影響因素有18個。

即對于下面這個函數，自變量共有18個。   

但18個變量如何影響出水總氮，哪個變量影響更大，不知道。

數據建模的最終目的，就是生成這個函數。你輸入自變量，快速給出因變量，即出水總氮。

數據建模通常包括三大步：數據預處理、變量分析、模型訓練。

二、數據預處理

數據預處理的目的有兩個：處理缺失值和異常值。

生產一線采集的數據往往不能直接用，容易存在空值或者明顯不正常的值。

比如一組數據正常應該有18個變量，但某個傳感器走神，最后只輸出了16個，就出現了缺失值。

再比如城市污水的PH值正常范圍應在0~14之間，但某個傳感器抽風，最后輸出個24，就出現了異常值。

對缺失值，DTEmpower的空值處理工具可按需對空值進行刪除或補全。

對異常值，DTEmpower的小提琴圖等可視化圖表工具，可直觀展示數據分布特征，輔助異常值清理。

數據清洗模塊AIOD還可調試風險閾值，自動篩除異常值。   

三、變量分析

變量分析的主要目的是數據降維，提高最終的建模精度。

前面我們說了，“出水總氮”的可能影響因素有18個。但真正的自變量很可能少于18個，經過數據降維就能剔除那些“假自變量”。

利用DTEmpower的重要性分析模塊，可對變量重要性進行排名，協助剔除不重要的變量。

在數據降維的基礎上，建模時可能還會用到“特征生成”功能——將已有的幾個自變量結合，生成新的變量。   

至于用哪幾個變量結合，如何結合，就要結合行業經驗了。在數據建模過程中，前人總結的寶貴行業經驗也要盡量利用，別浪費。

對于該案例，“進水負荷（load）”就是行業經驗，它和進水流量等三個參數有關。

DTEmpower的自定義腳本功能可輸入的表達式，生成新的變量“進水負荷”。

同時根據行業經驗，在不同的“進水負荷”區間，污水處理系統會對應不同的工況。因此在數據建模時，也考慮根據load的取值范圍，分段訓練模型。

四、模型訓練

數據預處理和變量分析后，來到正式的模型訓練環節。

對“進水負荷”load的不同取值范圍，分別用MLP、AIAgent和GBDT三種算法做模型訓練，然后做模型對比。   

下圖為DTEmpower的工程界面，零編碼拖拽式建模，相當人性化。

在模型對比時，通?？碦2、MAPE和MSE這幾個參數。其中R2最常用，反映模型的擬合程度。取值范圍0~1，越接近1表示精度越高。

對比結果顯示，在中負荷工況下，MLP算法訓練出的模型精度最高。在高和低負荷下，則是AIAgent算法訓練出的模型精度更高。

至此，我們就得到了一個分段函數。根據進水負荷的取值范圍，采用不同的模型來預測出水總氮，實時輸出結果實時預警。一旦發現出水總氮超標，第一時間拉閘停水，水安全大大提升。   

不止水處理，很多行業都有大量來自生產一線的數據。這些數據不加以利用，屬實可惜，不妨用建模工具DTEmpower一試。

歡迎前往天洑官網嘗試無門檻無成本，但很可能帶給你意想不到的驚喜。