婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > 淺談實時計算框架Flink集群搭建與運行機制

淺談實時計算框架Flink集群搭建與運行機制

熱門標簽:打400電話怎么辦理收費 麗江真人語音電話外呼系統 宿城區電話機器人找哪家 上海申請高400開頭的電話 400電話辦理介紹信 福州企業電銷機器人排名 怎么找到沒有地圖標注的店 10086外包用的什么外呼系統 河南防封號電銷機器人是什么

一、Flink概述

1.1、基礎簡介

主要特性包括:批流一體化、精密的狀態管理、事件時間支持以及精確一次的狀態一致性保障等。Flink不僅可以運行在包括YARN、Mesos、Kubernetes在內的多種資源管理框架上,還支持在裸機集群上獨立部署。在啟用高可用選項的情況下,它不存在單點失效問題。

這里要說明兩個概念:

  • 邊界:無邊界和有邊界數據流,可以理解為數據的聚合策略或者條件;
  • 狀態:即執行順序上是否存在依賴關系,即下次執行是否依賴上次結果;

1.2、應用場景

Data Driven

事件驅動型應用無須查詢遠程數據庫,本地數據訪問使得它具有更高的吞吐和更低的延遲,以反欺詐案例來看,DataDriven把處理的規則模型寫到DatastreamAPI中,然后將整個邏輯抽象到Flink引擎,當事件或者數據流入就會觸發相應的規則模型,一旦觸發規則中的條件后,DataDriven會快速處理并對業務應用進行通知。

Data Analytics

和批量分析相比,由于流式分析省掉了周期性的數據導入和查詢過程,因此從事件中獲取指標的延遲更低。不僅如此,批量查詢必須處理那些由定期導入和輸入有界性導致的人工數據邊界,而流式查詢則無須考慮該問題,Flink為持續流式分析和批量分析都提供了良好的支持,實時處理分析數據,應用較多的場景如實時大屏、實時報表。

Data Pipeline

與周期性的ETL作業任務相比,持續數據管道可以明顯降低將數據移動到目的端的延遲,例如基于上游的StreamETL進行實時清洗或擴展數據,可以在下游構建實時數倉,確保數據查詢的時效性,形成高時效的數據查詢鏈路,這種場景在媒體流的推薦或者搜索引擎中十分常見。

二、環境部署

2.1、安裝包管理

[root@hop01 opt]# tar -zxvf flink-1.7.0-bin-hadoop27-scala_2.11.tgz

[root@hop02 opt]# mv flink-1.7.0 flink1.7

2.2、集群配置

管理節點

[root@hop01 opt]# cd /opt/flink1.7/conf

[root@hop01 conf]# vim flink-conf.yaml

jobmanager.rpc.address: hop01

分布節點

[root@hop01 conf]# vim slaves

hop02

hop03

兩個配置同步到所有集群節點下面。

2.3、啟動與停止

/opt/flink1.7/bin/start-cluster.sh

/opt/flink1.7/bin/stop-cluster.sh

啟動日志:

[root@hop01 conf]# /opt/flink1.7/bin/start-cluster.sh

Starting cluster.

Starting standalonesession daemon on host hop01.

Starting taskexecutor daemon on host hop02.

Starting taskexecutor daemon on host hop03.

2.4、Web界面

訪問:http://hop01:8081/

三、開發入門案例

3.1、數據腳本

分發一個數據腳本到各個節點:

/var/flink/test/word.txt

3.2、引入基礎依賴

這里基于Java寫的基礎案例。

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>1.7.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.11</artifactId>
        <version>1.7.0</version>
    </dependency>
</dependencies>

3.3、讀取文件數據

這里直接讀取文件中的數據,經過程序流程分析出每個單詞出現的次數。

public class WordCount {
    public static void main(String[] args) throws Exception {
        // 讀取文件數據
        readFile () ;
    }

    public static void readFile () throws Exception {
        // 1、執行環境創建
        ExecutionEnvironment environment = ExecutionEnvironment.getExecutionEnvironment();

        // 2、讀取數據文件
        String filePath = "/var/flink/test/word.txt" ;
        DataSet<String> inputFile = environment.readTextFile(filePath);

        // 3、分組并求和
        DataSet<Tuple2<String, Integer>> wordDataSet = inputFile.flatMap(new WordFlatMapFunction(
        )).groupBy(0).sum(1);

        // 4、打印處理結果
        wordDataSet.print();
    }

    // 數據讀取個切割方式
    static class WordFlatMapFunction implements FlatMapFunction<String, Tuple2<String, Integer>> {
        @Override
        public void flatMap(String input, Collector<Tuple2<String, Integer>> collector){
            String[] wordArr = input.split(",");
            for (String word : wordArr) {
                collector.collect(new Tuple2<>(word, 1));
            }
        }
    }
}

3.4、讀取端口數據

在hop01服務上創建一個端口,并模擬一些數據發送到該端口:

[root@hop01 ~]# nc -lk 5566

c++,java

通過Flink程序讀取并分析該端口的數據內容:

public class WordCount {
    public static void main(String[] args) throws Exception {
        // 讀取端口數據
        readPort ();
    }

    public static void readPort () throws Exception {
        // 1、執行環境創建
        StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment();

        // 2、讀取Socket數據端口
        DataStreamSource<String> inputStream = environment.socketTextStream("hop01", 5566);

        // 3、數據讀取個切割方式
        SingleOutputStreamOperator<Tuple2<String, Integer>> resultDataStream = inputStream.flatMap(
                new FlatMapFunction<String, Tuple2<String, Integer>>()
        {
            @Override
            public void flatMap(String input, Collector<Tuple2<String, Integer>> collector) {
                String[] wordArr = input.split(",");
                for (String word : wordArr) {
                    collector.collect(new Tuple2<>(word, 1));
                }
            }
        }).keyBy(0).sum(1);

        // 4、打印分析結果
        resultDataStream.print();

        // 5、環境啟動
        environment.execute();
    }
}

四、運行機制

4.1、FlinkClient

客戶端用來準備和發送數據流到JobManager節點,之后根據具體需求,客戶端可以直接斷開連接,或者維持連接狀態等待任務處理結果。

4.2、JobManager

在Flink集群中,會啟動一個JobManger節點和至少一個TaskManager節點,JobManager收到客戶端提交的任務后,JobManager會把任務協調下發到具體的TaskManager節點去執行,TaskManager節點將心跳和處理信息發送給JobManager。

4.3、TaskManager

任務槽(slot)是TaskManager中最小的資源調度單位,在啟動的時候就設置好了槽位數,每個槽位能啟動一個Task,接收JobManager節點部署的任務,并進行具體的分析處理。

五、源代碼地址

GitHub·地址

https://github.com/cicadasmile/big-data-parent

GitEE·地址

https://gitee.com/cicadasmile/big-data-parent

以上就是淺談實時計算框架Flink集群搭建與運行機制的詳細內容,更多關于實時計算框架 Flink集群搭建與運行機制的資料請關注腳本之家其它相關文章!

標簽:運城 雞西 朝陽 遵義 荊門 連云港 隴南 面試通知

巨人網絡通訊聲明:本文標題《淺談實時計算框架Flink集群搭建與運行機制》,本文關鍵詞  淺談,實時,計算,框架,Flink,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《淺談實時計算框架Flink集群搭建與運行機制》相關的同類信息!
  • 本頁收集關于淺談實時計算框架Flink集群搭建與運行機制的相關信息資訊供網民參考!
  • 企业400电话

    智能AI客服机器人
    15000

    在线订购

    合计11份范本:公司章程+合伙协议+出资协议+合作协议+股权转让协议+增资扩股协议+股权激励+股东会决议+董事会决议

    推薦文章
    主站蜘蛛池模板: 绥阳县| 雅安市| 资中县| 牡丹江市| 嘉荫县| 洛阳市| 林州市| 宝坻区| 成安县| 望谟县| 南华县| 安新县| 岑溪市| 门源| 黄骅市| 两当县| 昂仁县| 烟台市| 万州区| 新昌县| 保亭| 汉阴县| 宜黄县| 密云县| 曲周县| 龙岩市| 额尔古纳市| 五原县| 昌乐县| 五大连池市| 鹰潭市| 明溪县| 兴山县| 新竹市| 榆中县| 当阳市| 义马市| 读书| 阳新县| 内江市| 沿河|