Hive优化总结

hive调优涉及到压缩和存储调优，参数调优，sql的调优，数据倾斜调优，小文件问题的调优等。

  1. 压缩调优：一般选择orcfile/parquet + snappy方式
  2. 存储调优：合理设计表，充分利用分区和分桶建表
  3. 参数调优
  4. HQL调优
Hive

相关

hive修改表DDL

数据预处理与转存（Hive--Mysql）

024.hive-hive查询表、查询表的格式（内部表还是外部表、表的存储格式）

HiveServer2 服务端配置

Hive 的安装与配置

Hive搭建

Hive数据仓库笔记（一）

MapReduce和Hive实现词频统计

【TPC-DS】trino+S3+hive+postgresql性能测试----生成简单数据验证环境（四）

【TPC-DS】trino+S3+hive+postgresql性能测试----生成简单数据验证环境（四）

Hive-文件存储格式

Hive复杂数组字典(Json-Array)解析

标签