[BigDataHadoop：Hadoop&kafka.V48] [BigDataHadoop.kafka][|章节二|Hadoop生态圈技术栈|kafka|日志存储索引|偏移量索引|时间戳索引|]
一、时间戳索引
### --- 时间戳
~~~ 在偏移量索引文件中，索引数据都是顺序记录 offset ，
~~~ 但时间戳索引文件中每个追加的索引时间戳必须大于之前追加的索引项，否则不予追加。
~~~ 在 Kafka 0.11.0.0 以后，消息信息中存在若干的时间戳信息。
~~~ 如果 broker 端参数 log.message.timestamp.type 设置为 LogAppendTIme ，
~~~ 那么时间戳必定能保持单调增长。反之如果是 CreateTime 则无法保证顺序。
~~~ 通过时间戳方式进行查找消息，需要通过查找时间戳索引和偏移量索引两个文件。
~~~ 时间戳索引索引格式：前八个字节表示时间戳，后四个字节表示偏移量。
### --- 思考：查找时间戳为 1557554753430 开始的消息？
~~~ 查找该时间戳应该在哪个日志分段中。
~~~ 将1557554753430和每个日志分段中最大时间戳largestTimeStamp逐一对比，
~~~ 直到找到不小于1557554753430所对应的日志分段。
~~~ 日志分段中的largestTimeStamp的计算是：
~~~ 先查询该日志分段所对应时间戳索引文件，找到最后一条索引项，
~~~ 若最后一条索引项的时间戳字段值大于0，则取该值，否则取该日志分段的最近修改时间。
~~~ 查找该日志分段的偏移量索引文件，查找该偏移量对应的物理地址。
~~~ 日志文件中从 320 的物理位置开始查找不小于 1557554753430 数据。
~~~ 注意：timestamp文件中的 offset 与 index 文件中的 relativeOffset 不是一一对应的，
~~~ 因为数据的写入是各自追加。===============================END===============================
Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor
来自为知笔记(Wiz)
标签：分段,v03,偏移量,kafka,索引,时间,日志 来源： https://www.cnblogs.com/yanqivip/p/16121917.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。