SparkSQL 之 Spark On Hive 原理分析及配置-北京尧图网络

摘要Spark on Hive 与 Hive on Spark 常被混淆——前者 Spark 是主角访问 Hive 元数据后者 Hive 用 Spark 作执行引擎。本文从 enableHiveSupport() 启动流程、HiveExternalCatalog、Metastore 集成、SerDe/UDF、Thrift Server 多用户方案、以及两者对比六个维度全面解析。关键词Spark on Hive, enableHiveSupport, Hive Metastore, HiveExternalCatalog, Thrift Server一、开篇Spark on Hive ≠ Hive on SparkSpark on Hive: Spark 是主角 → enableHiveSupport() 访问 Metastore 获取表结构 → Spark 引擎读写 Hive 表 Hive on Spark: Hive 是主角 → set enginespark HiveServer2 接收 HQL → RSC → Spark Executor二、架构全景enableHiveSupport() 做了什么valsparkSparkSession.builder().config(spark.sql.warehouse.dir,hdfs://...).enableHiveSupport()// ← 核心入口.getOrCreate()// ① 加载 hive-site.xml// ② 创建 HiveSessionStateBuilder// ③ 实例化 HiveExternalCatalog → 连接 Metastore// ④ 加载 Hive UDF · Hive SerDe// ⑤ spark.sql(show tables) 直接查询 Hive 表Metastore 集成spark.sql(SELECT * FROM hive_db.hive_table)// 直接查 Hive 表spark.table(hive_db.hive_table)// DataFrame API// 与 Hive 共享同一套元数据数据写入 HDFS Warehouse三、核心对比Spark on HiveHive on Spark主角SparkHive入口enableHiveSupport()set enginesparkSQL接口spark.sql()Beeline→HiveServer2优化器Catalyst(更强)Hive OptimizerJDBC服务Thrift Server(10016)HiveServer2(10000)四、Thrift Server$SPARK_HOME/sbin/start-thriftserver.sh\--masteryarn--executor-memory 4g# Beeline: jdbc:hive2://host:10016五、完整配置!-- hive-site.xml --hive.metastore.uristhrift://host:9083// spark-defaults.confspark.sql.warehouse.dirhdfs://...spark.sql.catalogImplementationhive spark.sql.hive.convertMetastoreParquettrue作者starzy博客blog.starzy.cnGitHubstarzy1990.github.io专注 AI Agent · LangGraph · RAG · 大数据架构 · 数据工程实践

SparkSQL 之 Spark On Hive 原理分析及配置

相关推荐

本地AI模型部署全攻略：从硬件选型到环境配置实战指南

FanControl风扇控制软件完整上手教程：免费开源免安装，5分钟实现Windows风扇智能调速

三个平台同时“白嫖“视频号、抖音和小红书资源？这款免费跨平台资源嗅探下载工具真的能做到

更多资讯

T3技术栈实战：用tRPC+Prisma打造代码片段管理工具

MATLAB 2021a 实现小球弹射强化学习控制

SpringBoot蛋糕店系统：入门级可交付业务闭环实践

SpringBoot 三层架构里 DTO 该放哪一层：从鸿蒙登录接口返回密码说起

SpringBoot2.7+MyBatis-Plus+MySQL5.7校园小程序实战

W5500 DHCP实战：状态机控制、realnde PHY协同与保底机制

今日更新

Agent-Reach：打通大模型触达外部系统的最后一公里

深度学习图像隐写分析实战：从CNN原理到毕设源码全解析

AI赋能知识产权供需匹配：专利评估、需求挖掘与多路召回工程实践

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？