标签：--------------------------------------- a1 sinks v03 hdfs PB k1 sink
[BigDataHadoop：Hadoop&PB级数仓.V03] [BigDataHadoop.PB级企业电商离线数仓][|章节二|Hadoop|会员活跃度分析：日志数据采集&hdfs sink|]
一、日志采集配置：hdfs sink配置
### --- 日志采集配置：hdfs sink配置
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /user/data/logs/start/%Y-%m-%d/
a1.sinks.k1.hdfs.filePrefix = startlog.
a1.sinks.k1.hdfs.fileType = DataStream~~~ # 配置文件滚动方式（文件大小32M）
a1.sinks.k1.hdfs.rollSize = 33554432
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.idleTimeout = 0
a1.sinks.k1.hdfs.minBlockReplicas = 1~~~ # 向hdfs上刷新的event的个数
a1.sinks.k1.hdfs.batchSize = 100
~~~ # 使用本地时间
a1.sinks.k1.hdfs.useLocalTimeStamp = true### --- HDFS Sink 都会采用滚动生成文件的方式，滚动生成文件的策略有：
~~~ 基于时间。hdfs.rollInterval 30秒
~~~ 基于文件大小。hdfs.rollSize 1024字节
~~~ 基于event数量。hdfs.rollCount 10个event
~~~ 基于文件空闲时间。hdfs.idleTimeout 0
~~~ 0，禁用
~~~ minBlockReplicas。默认值与 hdfs 副本数一致。
~~~ 设为1是为了让 Flume 感知不到hdfs的块复制，
~~~ 此时其他的滚动方式配置（时间间隔、文件大小、events数量）才不会受影响===============================END===============================
Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor
来自为知笔记(Wiz)
标签：---------------------------------------,a1,sinks,v03,hdfs,PB,k1,sink 来源： https://www.cnblogs.com/yanqivip/p/16125754.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。