标签：存储 压缩 hive parquet 格式 数据 ORC
hive支持hadoop中的TextFile、RCFile、SequenceFile、AVRO、ORC、Parquet格式
1、TextFile每一行都是一条记录，每行都以换行符\n结尾，数据不压缩，磁盘开销大，数据解析开销大，可以结合Gzip和Bzip2使用。这种方式，hive不会对数据切分，从而也不会对数据进行并行处理
2、SequenceFile是一种二进制文件，使用方便、可以分割、可以压缩的特点，支持三种压缩格式，NONE、record、block.record压缩效率低，一般建议使用block压缩
3、RCFile是一种列存储相结合的压缩方式，将数据按行分块，保证同一个record在一个块上，避免读取一个记录需要多个block，其次，块数据列式存储有利于数据压缩和快速的列存取
4、AVRO是开源项目，为hadoop提供数据序列化的数据交换的服务，是hadoop的应用程序中流行的文件格式之一
5、ORC文件格式提供了一种将数据存储在hive表中的高效方法，hive从大型表中读取、写入和处理数据时，使用ORC可以提高性能
6、Parquet是一个面向列的二进制格式，parquet对于大型查询类型是高效的，对于扫描特定表格中特定列查询，parquet是特别有用的，parquet使用压缩有snappy gzip，默认snappy。
总结
1、如果仅仅是hive中存储和查询，使用ORC格式
2、如果hive中存储，使用impala查询，建议使用parquet
忆山
发布了5 篇原创文章 · 获赞 0 · 访问量 101
私信
关注
标签：存储,压缩,hive,parquet,格式,数据,ORC 来源： https://blog.csdn.net/qq_34936033/article/details/104191879
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。