婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > Flume監聽oracle表增量的步驟詳解

Flume監聽oracle表增量的步驟詳解

熱門標簽:南寧人工智能電銷機器人費用 安陽外呼系統免費 圖像地圖標注 400電話是不是免費申請 呼倫貝爾智能手機地圖標注 海南400電話哪里辦理 濟南地圖標注公司 貴陽電話外呼系統哪家好 分布式呼叫中心

需求:獲取oracle表增量信息,發送至udp514端口,支持ip配置

步驟:

(1)需要的jar  oracle的 odbc5.jar(oracle安裝目錄  /jdbc/lib下查找)

(2)flume的開源包flume-ng-sql-source-1.4.3.jar  最新的好像是1.5的 小版本記不住了 這個下載地址直接csdn上就有

這兩個jar 都拷貝到flume的lib下

(3)flume配置文件

a1.sources = r1
a1.sinks = k1
a1.channels = c1
#接收syslog配置
#a1.sources.r1.type = syslogudp
#a1.sources.r1.port = 514
#a1.sources.r1.host = 0.0.0.0
###########sql source#################
a1.sources.r1.type = org.keedio.flume.source.SQLSource
a1.sources.r1.hibernate.connection.url = jdbc:oracle:thin:@10.9.224.36:1521/soc
# Hibernate Database connection properties
a1.sources.r1.hibernate.connection.user = soc_app
a1.sources.r1.hibernate.connection.password = soc_app
a1.sources.r1.hibernate.connection.autocommit = true
a1.sources.r1.hibernate.dialect = org.hibernate.dialect.Oracle10gDialect
a1.sources.r1.hibernate.connection.driver_class = oracle.jdbc.driver.OracleDriver
a1.sources.r1.run.query.delay=1
a1.sources.r1.status.file.path = /usr/local/flume
a1.sources.r1.status.file.name = a1.sqlSource.status
# Custom query
a1.sources.r1.start.from = '2017-07-31 07:06:20'
a1.sources.r1.custom.query = SELECT CHR(39)||TO_CHAR(CREATETIME,'YYYY-MM-DD HH24:MI:SS')||CHR(39),MSG FROM FLUME_NG_SQL_SOURCE WHERE CREATETIME > TO_DATE($@$,'YYYY-MM-DD HH24:MI:SS') ORDER BY CREATETIME ASC
a1.sources.r1.batch.size = 6000
a1.sources.r1.max.rows = 1000
a1.sources.r1.hibernate.connection.provider_class = org.hibernate.connection.C3P0ConnectionProvider
a1.sources.r1.hibernate.c3p0.min_size=1
a1.sources.r1.hibernate.c3p0.max_size=10
###########sql source#################
#自定義類型
a1.sinks.k1.type = com.neusoft.utils.SyslogSink
#配置發送ip
a1.sinks.k1.destination = 10.9.224.36
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
#啟動命令 ./flume-ng agent -c ../conf -f ../conf/flume-sql.conf -n a1 -Dflume.root.logger=INFO,console 

由于是自己定義的sink 在我的博客中也有提到,所以配置了自定義的sink。

總結

以上所述是小編給大家介紹的Flume監聽oracle表增量的步驟詳解,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!

標簽:南充 焦作 涼山 滁州 郴州 遼源 合肥 許昌

巨人網絡通訊聲明:本文標題《Flume監聽oracle表增量的步驟詳解》,本文關鍵詞  Flume,監聽,oracle,表,增量,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Flume監聽oracle表增量的步驟詳解》相關的同類信息!
  • 本頁收集關于Flume監聽oracle表增量的步驟詳解的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 屏东县| 奉节县| 乌兰察布市| 全椒县| 东宁县| 遵义县| 永靖县| 晋州市| 宾阳县| 离岛区| 成都市| 门头沟区| 南汇区| 丹凤县| 英山县| 大埔区| 黄梅县| 昌乐县| 黎平县| 当涂县| 盐池县| 营口市| 濉溪县| 托克托县| 龙口市| 遂昌县| 武宣县| 巫溪县| 庆安县| 延庆县| 大足县| 宁德市| 榆树市| 水富县| 新泰市| 乌兰县| 通山县| 甘洛县| 姚安县| 南投县| 永定县|