NiFi術(shù)語
一、DataFlow Manager
DataFlow Manager(DFM)是NiFi用戶,具有添加,刪除和修改NiFi數(shù)據(jù)流組件的權(quán)限。
【資料圖】
二、FlowFile
FlowFile代表NiFi中的單個數(shù)據(jù)。FlowFile由屬性(attribute)和內(nèi)容(content)組成。內(nèi)容是FlowFile表示的數(shù)據(jù),屬性由鍵值對組成,提供有關(guān)數(shù)據(jù)的信息或上下文的特征。所有FlowFiles都具有以下標準屬性:
uuid:一個通用唯一標識符,用于區(qū)分各個FlowFiles。
filename:在將數(shù)據(jù)存儲到磁盤或外部服務(wù)時可以使用的可讀文件名
path:在將數(shù)據(jù)存儲到磁盤或外部服務(wù)時可以使用的分層結(jié)構(gòu)值,以便數(shù)據(jù)不存儲在單個目錄中。
三、Processor
處理器是NiFi組件,用于監(jiān)聽傳入數(shù)據(jù)、從外部來源提取數(shù)據(jù)、將數(shù)據(jù)發(fā)布到外部來源、路由,轉(zhuǎn)換或從FlowFiles中提取信息。
四、Relationship
每個處理器都有零個或多個關(guān)系。這些關(guān)系指示如何對FlowFile進行處理:處理器處理完FlowFile后,它會將FlowFile路由(傳輸)到其中一個關(guān)系。DFM能夠?qū)⒚恳粋€關(guān)系連接到其他組件,以指定FlowFile應(yīng)該在哪里進行下一步處理。
五、Connection
Connection可以將不同的Processor連接在一起創(chuàng)建自動的數(shù)據(jù)處理流程。
六、Controller Service
控制器服務(wù)是擴展點,在用戶界面中由DFM添加和配置后,將在NiFi啟動時啟動,并提供給其他組件(如處理器或其他控制器服務(wù))需要的信息。
七、Reporting Task
報告任務(wù)在后臺運行,以提供有關(guān)NiFi實例中發(fā)生情況的統(tǒng)計報告。
八、Funnel
漏斗是一個NiFi組件,用于將來自多個Connections的數(shù)據(jù)合并到一個Connection中。
九、Process Group
當(dāng)數(shù)據(jù)流變得復(fù)雜時,在更高,更抽象的層面上管理數(shù)據(jù)流是很有用的。NiFi允許將多個組件(如處理器)組合到一個Process group 中。可以通過界面查看組和操作組中的組件。
十、Port
一般用于遠程連接NiFi組使用。
十一、Remote Process Group
遠程組可以實現(xiàn)將數(shù)據(jù)從一個NiFi實例傳輸?shù)搅硪粋€NIFI實例。雖然NiFi提供了許多不同的機制來將數(shù)據(jù)從一個系統(tǒng)傳輸?shù)搅硪粋€系統(tǒng),但是如果將數(shù)據(jù)傳輸?shù)搅硪粋€NiFi實例,遠程進程組實現(xiàn)是最簡單方法。
十二、Bulletin(公告)
NiFi用戶界面提供了大量有關(guān)應(yīng)用程序當(dāng)前狀態(tài)的監(jiān)視和反饋。除了每個組件"黃色三角形"的警告以外,每個組件運行有錯誤時還會報告錯誤公告,這個錯誤會顯示在處理器的右上角,以紅色圖標顯示。系統(tǒng)級公告顯示在頁面頂部附近的狀態(tài)欄上。使用鼠標懸停在該圖標上將提供一個工具提示,顯示公告相關(guān)信息。
十三、Template
DataFlow由許多可以重用的組件組成,NiFi允許DFM選擇DataFlow的一部分(或整個DataFlow)并創(chuàng)建模板,達到復(fù)用的目的。
十四、flow.xml.gz
用戶界面畫布的所有組件內(nèi)容都實時寫入一個名為flow.xml.gz的文件,該文件默認位于$NIFI_HOME/conf目錄中。在畫布上進行的任何更改都會自動保存到此文件中。此外,NiFi在更新時會自動備份此文件,您可以使用這些備份來回滾配置,如果想要回滾,先停止NiFi,將flow.xml.gz替換為所需的備份,然后重新啟動NiFi。在集群環(huán)境中,停止整個NiFi集群,替換其中一個節(jié)點的flow.xml.gz,刪除自其他節(jié)點的flow.xml.gz,然后重啟集群,節(jié)點之間會自動同步"flow.xml.gz"備份文件。


