标签：insert storage metric 写入 vm 1%
作者:张富春(ahfuzhang)，转载时请注明作者和引用链接，谢谢！
根据正式环境实际的数据统计，全新的metric占整体的metric数据不到1%。
于是压测客户端每次发送1000条time series数据，990条曾经出现过的metric, 10条全新的metric。
测试在这个量级下，vm-storage的性能表现。
1.基础信息
- CPU 1核
- 内存 8GB
- 本地磁盘（应该是SATA盘）
- metric的平均长度：745字节
- vm-storage版本：v1.78.0-cluster
- 压测方法：使用remote write协议写入完全不同的metric数据，每次发送1000条(990条旧的metric， 10条全新的metric)，每核100个并发，一共10核。
- vm-insert 6 实例，共24核，资源充足
- vm-insert的关键参数如下：
-maxConcurrentInserts=默认值：默认每个核四个并发。-sortLabels: 开启label的排序。-insert.maxQueueDuration=3s: 客户端请求在队列里的最大等待时间。-dropSamplesOnOverload: 在vm-storage变慢后，立即丢弃数据。
2.vm-storage性能表现
- CPU占用：0.88核~0.94核 (相当于CPU资源已经到瓶颈了)
- 内存：4.71GB， 占58.9%
- 网络入流量：2.94mb/s
- 磁盘读：3.28MB，最高延迟 124ms
- 磁盘写：6.18MB，最高延迟 150ms
- 新的metric的占比 1%(2049条/s), slow insert的2460条/s , tsid cache的miss率 1%
- 每秒写入的新metric数量：2460/s
- 每秒总的time series写入量：24.6万/s
- 新metric与索引数量的倍数关系：25.4 (平均每条metric创建将近25条索引)
- vm-insert端：
- 请求量：26.3万/s
- 丢弃量：2.29万/s
3.总结
- 当1%的metric是全新的时候，总体写入性能 24.6万/s，其中新metric写入性能 2460/s
- CPU是主要瓶颈
标签：insert,storage,metric,写入,vm,1% 来源： https://www.cnblogs.com/ahfuzhang/p/16470549.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。