供水/廢水系統(tǒng)的無(wú)線網(wǎng)絡(luò)升級(jí)，為美國(guó)Waterford鎮(zhèn)的公共工程部（DPW），帶來(lái)了監(jiān)控和數(shù)據(jù)采集（SCADA）系統(tǒng)的升級(jí)、云功能、網(wǎng)絡(luò)安全和物理安全的改善、以及來(lái)自儀器的更多信息以及其它好處。
Waterford 鎮(zhèn)建立于1834年，位于美國(guó)密歇根州奧克蘭縣的中部，有72000多名居民。該鎮(zhèn)擁有360英里的供水干線和355英里的污水管道，水資源管理是一項(xiàng)不小的任務(wù)。DPW負(fù)責(zé)運(yùn)營(yíng)和維護(hù)19口水井、3個(gè)儲(chǔ)罐、11個(gè)處理廠和63個(gè)污水提升站。
為了運(yùn)行這些系統(tǒng)，多年前他們投資集成了核心應(yīng)用，包括地理信息系統(tǒng)（GIS）、資產(chǎn)管理系統(tǒng)（AMS）、企業(yè)內(nèi)容管理（ECM）和SCADA系統(tǒng)。
圖1: DPW的傳統(tǒng)基礎(chǔ)設(shè)施依賴于RTU和RF發(fā)射機(jī)網(wǎng)絡(luò)，與辦公室的SCADA工作站進(jìn)行通信。圖片來(lái)源：Opto 22
升級(jí)的時(shí)機(jī)和網(wǎng)絡(luò)的選擇
2017年，DPW公共工程總監(jiān)Russell Williams和工程總監(jiān)Frank Fisher開(kāi)始著手啟動(dòng)升級(jí)其核心SCADA基礎(chǔ)設(shè)施的項(xiàng)目。過(guò)去，他們使用串行輪詢程序，利用遠(yuǎn)程遙測(cè)單元（RTU）網(wǎng)絡(luò)，從其多個(gè)站點(diǎn)請(qǐng)求更新，這些RTU通過(guò)許可的射頻（RF）發(fā)射器進(jìn)行通信。他們開(kāi)始利用較新的遠(yuǎn)程輸入/輸出（I/O）和工業(yè)蜂窩調(diào)制解調(diào)器取代這些設(shè)備，通過(guò)專用Verizon網(wǎng)絡(luò)進(jìn)行通信。
然而，在第二年，他們參加了一個(gè)關(guān)于邊緣控制器的會(huì)議，并對(duì)引入MQTT Sparkplug后，具有消除系統(tǒng)性限制的潛力而感到興奮。
由于在整個(gè)網(wǎng)絡(luò)上有90多個(gè)控制器，并且使用的是輪詢機(jī)制，再加上無(wú)線網(wǎng)絡(luò)的帶寬有限，這就意味著每個(gè)站點(diǎn)的數(shù)據(jù)只能每3到5分鐘更新一次。有時(shí)，提升站會(huì)在輪詢周期之間短暫運(yùn)行，從而造成數(shù)據(jù)的缺口，這就限制了運(yùn)行人員檢測(cè)問(wèn)題的能力，直到出現(xiàn)報(bào)警為止。他們?cè)谙到y(tǒng)中每增加一個(gè)I/O點(diǎn)，這種延遲就會(huì)惡化。
異常時(shí)才發(fā)布報(bào)告
很明顯，MQTT可以減少帶寬使用，并確保執(zhí)行重要任務(wù)的系統(tǒng)動(dòng)作。這是因?yàn)?，與循環(huán)輪詢相反，MQTT遵循嚴(yán)格的異常時(shí)才發(fā)布報(bào)告的規(guī)則。當(dāng)且僅當(dāng)監(jiān)控值發(fā)生變化時(shí)，現(xiàn)場(chǎng)設(shè)備和其它MQTT網(wǎng)絡(luò)客戶端才自行發(fā)送數(shù)據(jù)，而不是等待中央服務(wù)器（在MQTT術(shù)語(yǔ)中稱為代理）的指令。
在不依賴中央程序輪詢的情況下，他們還看到了消除系統(tǒng)瓶頸和潛在故障點(diǎn)的可能性。Williams說(shuō)：“我們有很多提升站，大部分時(shí)間它們什么都不做，那么為什么要一直傳輸數(shù)據(jù)呢？”
圖2:提升站控制面板的比較，展示了舊RTU布局以及基于Opto 22 GroovEPIC控制器和DIGI調(diào)制解調(diào)器的新布局。
將概念驗(yàn)證升級(jí)到生產(chǎn)
為了幫助實(shí)現(xiàn)他們的愿景， DPW聘請(qǐng)了Perceptive Controls公司，它是一家專門(mén)從事供水/廢水、食品和飲料以及石油和天然氣行業(yè)的工業(yè)和過(guò)程控制應(yīng)用的系統(tǒng)集成商。
Perceptive Controls的軟件工程師Kevin Finkler表示，第一次構(gòu)建MQTT系統(tǒng)會(huì)伴隨著學(xué)習(xí)曲線。“這是我第一次實(shí)施非嚴(yán)格意義上的客戶端服務(wù)器。主題系統(tǒng)和訂閱特定主題的方式截然不同?！?/div>
發(fā)布訂閱與輪詢網(wǎng)絡(luò)的5種不同方式
MQTT的發(fā)布訂閱通信模型，在以下幾個(gè)關(guān)鍵方面，與傳統(tǒng)工業(yè)協(xié)議通信有明顯的不同：
1、現(xiàn)場(chǎng)設(shè)備連接源自設(shè)備，而非代理。
2、每個(gè)現(xiàn)場(chǎng)設(shè)備僅連接到代理，而不管數(shù)據(jù)需要去哪里。
3、使用Sparkplug有效終端時(shí)，每個(gè)設(shè)備在建立到代理的連接時(shí)，發(fā)布（發(fā)送）其可用數(shù)據(jù)項(xiàng)（稱為主題）的列表。
4、其它MQTT客戶端也可以連接到代理，查看可用主題，然后訂閱（請(qǐng)求）現(xiàn)場(chǎng)設(shè)備的主題更新。
5、當(dāng)現(xiàn)場(chǎng)設(shè)備發(fā)布更新時(shí)，代理將該更新轉(zhuǎn)發(fā)給所有訂閱客戶端。
Waterford面臨的第一個(gè)挑戰(zhàn)，是將這種新的通信模型集成到現(xiàn)有的SCADA系統(tǒng)中。他們的系統(tǒng)只是缺乏使用MQTT協(xié)議的能力，所以他們嘗試一些較新的系統(tǒng)，并選擇了一個(gè)提供緊密集成MQTT的系統(tǒng)，包括作為MQTT代理本身的能力。
盡管在剛開(kāi)始時(shí)，理解MQTT通信模型需要費(fèi)些功夫，但一旦擁有了合適的工具，建立通信就很簡(jiǎn)單了。Finkler說(shuō)：“某種程度上，這是自動(dòng)發(fā)生的。定義幾個(gè)基本參數(shù)，就可以設(shè)置代理。每個(gè)邊緣控制器都非常簡(jiǎn)單。您只需將其指向代理，它就會(huì)開(kāi)始發(fā)送變量參數(shù)?！?/div>
圖3: DPW的現(xiàn)代化基礎(chǔ)設(shè)施，通過(guò)Verizon 4G LTE蜂窩網(wǎng)絡(luò)，將數(shù)據(jù)從Opto 22 GroovEPIC控制器，發(fā)布到云端托管的Ignition SCADA和MQTT代理。
構(gòu)建縱深防御網(wǎng)絡(luò)安全
當(dāng)Fisher為構(gòu)建新的SCADA基礎(chǔ)設(shè)施進(jìn)行考察時(shí)，他嘗試在亞馬遜云計(jì)算服務(wù)（AWS）上托管MQTT代理。由于蜂窩網(wǎng)絡(luò)已經(jīng)在建設(shè)中，這似乎是一個(gè)利用云計(jì)算來(lái)提高容錯(cuò)性和可擴(kuò)展性的好機(jī)會(huì)。
在成功測(cè)試了這個(gè)概念之后，F(xiàn)isher決定將SCADA系統(tǒng)直接部署在AWS上，他和Finkler開(kāi)始構(gòu)建保護(hù)新基礎(chǔ)設(shè)施的機(jī)制。
首先，將AWS上的防火墻配置為僅接受來(lái)自Waterford和Perceptive辦公室的邊緣控制器和特定SCADA客戶端的訪問(wèn)。蜂窩調(diào)制解調(diào)器上的防火墻，也配置為只接受受信任的IP。
然后，在每個(gè)邊緣控制器上安裝了客戶端SSL證書(shū)，以便使SCADA可以對(duì)連接進(jìn)行身份驗(yàn)證和加密，防止中間人攻擊，避免數(shù)據(jù)暴露或未經(jīng)授權(quán)的控制。
每個(gè)授權(quán)用戶都需要?jiǎng)?chuàng)建強(qiáng)密碼，才能訪問(wèn)系統(tǒng)中的任何邊緣控制器或SCADA客戶端。此外，在整個(gè)系統(tǒng)中跟蹤和報(bào)告每個(gè)用戶的登錄。
圖4:Waterford提升站新的控制屏幕。提升站安全面板顯示在左側(cè)中間部分。
他們甚至將物理站點(diǎn)安全集成到新的SCADA中。每個(gè)提升站都有一個(gè)帶鎖和鑰匙的外門(mén)，門(mén)上的物理開(kāi)關(guān)連接到就地邊緣控制器。SCADA監(jiān)控開(kāi)關(guān)狀態(tài)，以檢測(cè)何時(shí)有人進(jìn)入。如果在特定時(shí)間內(nèi)，未注冊(cè)具有特定房間訪問(wèn)權(quán)限的用戶登錄，SCADA將生成全局警報(bào)。
圖5:Waterford的新基礎(chǔ)設(shè)施，將數(shù)據(jù)更新速度從幾分鐘提高到不到一秒鐘。
聯(lián)網(wǎng)污水處理項(xiàng)目的好處
在所有63個(gè)污水提升站和6個(gè)清潔用水站完成升級(jí)后，新的面向邊緣的基礎(chǔ)設(shè)施，將現(xiàn)場(chǎng)更新周期從幾分鐘減少至不到1秒，而且是由事件驅(qū)動(dòng)發(fā)布。Waterford水務(wù)部門(mén)再也不會(huì)錯(cuò)過(guò)系統(tǒng)動(dòng)作或報(bào)警通知，運(yùn)行人員可以通過(guò)支持蜂窩通信的平板電腦隨時(shí)隨地保持連接。
由于MQTT基于異常行為報(bào)告，再加上每個(gè)邊緣控制器中的模擬I/O具有死區(qū)，新的基礎(chǔ)架構(gòu)減少了帶寬消耗，使用戶能夠發(fā)布比以前更多的數(shù)據(jù)。他們可以訪問(wèn)通信和控制器診斷（例如更新延遲、連接時(shí)間戳、消息大小和固件版本），在舊系統(tǒng)中這是不可能的。
此外，基于云的基礎(chǔ)設(shè)施，還具有更大的靈活性和可靠性。系統(tǒng)集成商可以以無(wú)線方式執(zhí)行控制器更新，從而減少差旅時(shí)間，并允許他們?cè)谡麄€(gè)新冠疫情期間有增無(wú)減地繼續(xù)開(kāi)發(fā)項(xiàng)目。如果在連接到位于俄亥俄州的心SCADA服務(wù)器的數(shù)據(jù)中心時(shí)出現(xiàn)問(wèn)題，F(xiàn)isher可以在30分鐘內(nèi)，將系統(tǒng)安裝到不同的數(shù)據(jù)中心并運(yùn)行。而且他還能夠設(shè)置完全冗余的服務(wù)器。
最近，公共工程部辦公室的互聯(lián)網(wǎng)發(fā)生故障，對(duì)新系統(tǒng)進(jìn)行了意外測(cè)試，實(shí)踐證明該系統(tǒng)是可靠的。
“我們的內(nèi)部客戶無(wú)法聯(lián)系到我們，但我們的iPad可以通過(guò)Verizon進(jìn)行連接。在這種情況下，因?yàn)榕f系統(tǒng)依賴于本地連接，無(wú)法發(fā)出報(bào)警。新系統(tǒng)對(duì)此則根本不受影響，因?yàn)樗鼪](méi)有運(yùn)行任何本地連接。” Fisher說(shuō)。
圖6：Waterford DPW的控制屏幕，提供了運(yùn)營(yíng)概述。
獲取更多來(lái)自現(xiàn)場(chǎng)的數(shù)據(jù)
Waterford將繼續(xù)通過(guò)其老舊SCADA系統(tǒng)管理幾個(gè)站點(diǎn)直至2022年底，屆時(shí)預(yù)計(jì)他們將完成所有剩余系統(tǒng)的升級(jí)改造。
隨著帶寬的大幅增加、MQTT Sparkplug的低管理開(kāi)銷，以及提供現(xiàn)場(chǎng)備用數(shù)據(jù)處理的邊緣控制器，Waterford可以在很長(zhǎng)一段時(shí)間內(nèi)繼續(xù)擴(kuò)展其系統(tǒng)。他們?cè)谔砑用總€(gè)新設(shè)備或應(yīng)用時(shí)，只需要連接到MQTT代理，即可為整個(gè)系統(tǒng)生成或使用數(shù)據(jù)。
“我們?nèi)栽谂μ剿?，還能做些什么。我們有許多其它儀器，希望能夠從現(xiàn)場(chǎng)提取數(shù)據(jù)，而在以前這并不切實(shí)可行……不僅在我們的提升站和水處理廠，而且在整個(gè)組織中?！盕isher說(shuō)：“我們要思考在哪里可以將MQTT與流量計(jì)結(jié)合使用？在哪些方面可以在所有資產(chǎn)中使用它，以便更好地了解工況？我們才剛剛開(kāi)始這一旅程?！?/div>
