标签：1024 dremio parquet 默认 LongValidator PARQUET store SIZE

实际上官方文档对于parquet 的定义已经有一些说明了，以下结合源码验证下

参考配置

参考配置参数sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java

• block size
  默认是256m

 

String PARQUET_BLOCK_SIZE = "store.parquet.block-size";

LongValidator PARQUET_BLOCK_SIZE_VALIDATOR = new LongValidator(PARQUET_BLOCK_SIZE, 256*1024*1024);

• page size
  100k

 

String PARQUET_PAGE_SIZE = "store.parquet.page-size";

LongValidator PARQUET_PAGE_SIZE_VALIDATOR = new LongValidator(PARQUET_PAGE_SIZE, 100000);

• footer 大小
  16m

 

String PARQUET_MAX_FOOTER_LEN = "store.parquet.max_footer_length";

LongValidator PARQUET_MAX_FOOTER_LEN_VALIDATOR = new LongValidator(PARQUET_MAX_FOOTER_LEN, 16*1024*1024);

• 压缩

EnumeratedStringValidator PARQUET_WRITER_COMPRESSION_TYPE_VALIDATOR = new EnumeratedStringValidator(

    PARQUET_WRITER_COMPRESSION_TYPE, "snappy", "snappy", "gzip", "none");

• 内存限制
  512m

 

String PARQUET_MEMORY_THRESHOLD = "store.parquet.memory_threshold";

LongValidator PARQUET_MEMORY_THRESHOLD_VALIDATOR = new LongValidator(PARQUET_MEMORY_THRESHOLD, 512*1024*1024);

说明

以上是结合常量的一些配置参数，实际上 sabot/kernel/src/main/java/com/dremio/exec/store/parquet/ParquetRecordWriter.java 中也包含了不少，可以参考对比

参考资料

https://docs.dremio.com/software/data-formats/parquet-files/

标签：1024,dremio,parquet,默认,LongValidator,PARQUET,store,SIZE
来源： https://www.cnblogs.com/rongfengliang/p/16548851.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。