國際紙業(yè)公司擁有 55,000 名員工，年銷售額超過 210 億美元，是世界上最大的紙漿和造紙公司。大規(guī)模的生產也會帶來大規(guī)模的數(shù)據：該公司目前跟蹤著全球 37 家工廠，近 200 萬個活躍的數(shù)據點。國際紙業(yè)公司的 PI System會產生大量的數(shù)據，可以從這些生產數(shù)據中挖掘業(yè)務洞察力。通過使用 PI System工具深入研究如何收集和組織數(shù)據，工程師們能夠將數(shù)據處理時間縮短 80% 以上，從而使公司新推出的機器學習計劃能夠更快執(zhí)行。

國際紙業(yè)訓練機器算法，作為其“未來之戰(zhàn)”現(xiàn)代化計劃的一部分

國際紙業(yè)公司的工程師致力于高效地處理他們正在使用和生成的海量數(shù)據?！拔覀兊墓こ處焸冃枰ㄙM他們 80% 到 90%的時間來檢索和清理數(shù)據，”國際紙業(yè)公司的化學工程師和流程信息經理Rick Smith 在 OSIsoft 的 PI World 2018 舊金山大會上這樣說。“我們支付工資讓他們進行決策并改進我們的流程。我們需要以適當?shù)念l率向工程師提供正確的數(shù)據，以便于他們工作?！?

幾年前，公司在減少數(shù)據檢索時間方面做了一些努力。使用 PI OLEDB 工具后，工程師可以將 PI System 數(shù)據存檔視為關系數(shù)據庫。通過運行 SQL 查詢可以將提取出來的數(shù)據自動填充到 Microsoft Excel 電子表格中，而無需在 Excel 內運行耗時的計算。采用這種方法后，國際紙業(yè)能夠將審計中經常使用的數(shù)據檢索過程從 3-12小時縮短到 15-45 分鐘。

這是一個良好的開端，但后面還有更大的挑戰(zhàn)。2017 年，國際紙業(yè)發(fā)起了一個以數(shù)據和機器學習為核心的試點項目，作為其“未來之戰(zhàn)”現(xiàn)代化計劃的一部分。為了訓練機器算法，工程師需要同時在數(shù)千個標簽上提取幾年的歷史數(shù)據并將這些數(shù)據輸入機器學習引擎。

為了獲取數(shù)據檢索過程所需的時間值，Smith提出了一個他稱之為“年標簽”的時間單位：即從單個 PI 數(shù)據標簽中檢索一年的信息所需的時間。因為不同的標簽收集數(shù)據的間隔不同，所以各個標簽的“年標簽”值不盡相同，有些甚至差異極大。

Smith 有關檢索數(shù)據所需時間的初步估計發(fā)人深省。使用 10,000 個數(shù)據標簽一到三年的數(shù)據，數(shù)據采集間隔為一分鐘，會產生大約 160 億行數(shù)據，整個過程需要耗時數(shù)月。

“對于我們的數(shù)據標簽，如果所有標簽都是上面這種情形，那么讀取三年的數(shù)據，將需要100 到 200 天的時間來檢索數(shù)據。我不了解其他公司的情況，但我們的副總裁可不想等待200 天才開始這個項目，” Smith 說。

國際紙業(yè)創(chuàng)建了另外的數(shù)據標簽，每隔一分鐘而不是每隔 1-2 秒寫一次數(shù)據，從而簡化了大數(shù)據機器學習的數(shù)據提取過程。

優(yōu)秀的數(shù)據管理員的價值

使用 PI System 工具，Smith 開始研究數(shù)據，探索如何能減少不必要的存儲與數(shù)據處理。他發(fā)現(xiàn)，在一家造紙廠，不到百分之一的數(shù)據標簽占據了存檔空間的近 37%。對于不同類型的分析，可能需要以不同的頻率采集數(shù)據。Smith 采用 Asset framework(PI Server 的一部分)為采集頻率密集的標簽同時設置了較低的采集頻率，以較長的間隔來收集相同的數(shù)據，在確保數(shù)據存檔豐富性的同時，實現(xiàn)更快的檢索速度。

對于某些數(shù)據標簽，密集的數(shù)據收集頻率對于存檔很重要，但并非所有分析都需要細粒度的數(shù)據。在對一組數(shù)據標簽進行分析時，Smith發(fā)現(xiàn)，與一秒鐘間隔的數(shù)據相比，一分鐘間隔的數(shù)據其數(shù)據讀取時間可以減少 85%。

對數(shù)據進行適當?shù)墓芾砗徒M織，也會使數(shù)據檢索時間在原來長度的基礎上大幅減少。在一項分析中，Smith 使用了 50 個數(shù)據標簽并在Asset framework 為它們構建了一個結構，這一舉措將讀取一年數(shù)據的時間從 15 分鐘以上縮短到 5 分鐘以內。通過使用數(shù)據平均值而不是工廠儀表上傳感器的原始值，將另一項分析的時間從 14 小時縮短到 40 秒。

仔細研究公司的數(shù)據如何生成、存儲和處理，這一工作平淡無奇，但它所產生的結果卻令人矚目。

“所有系統(tǒng)都需要管理者，”Smith 說?！懊總€人都想成為架構師。但我們更需要腳踏實地的數(shù)據管理員。”