【Hive基础】-- hive sql 的执行原理和流程_市场资讯

创始人

2025-06-01 00:56:20

0次

Hive SQL是一种高级语言，用于查询存储在 Hadoop 分布式文件系统（HDFS）的大型数据集。它为分析数据提供了一个类似于 SQL 的接口，并支持 Hadoop 生态系统的 MapReduce 处理框架。本质：将 Hive SQL 转化成 MapReduce 程序。

可以用一张图描述 Hive SQL的执行原理和执行流程，原图请点击下载。

（1）用户提交查询：用户在 Hive SQL client 中提交一个 query ，以从一个或多个表中获取数据。

（2）查询解析：Hive 查询解析器对查询进行解析以验证其语法和结构，并将 SQL 语句转换为内部表示形式（抽象语法树）。如果查询是无效的，就会向用户返回错误信息。

（3）查询优化：Hive 查询优化器对查询进行分析，并生成一个执行计划，使执行查询所需的MapReduce 作业数量最小。优化器会应用一些优化技术，包括谓词下推、选择合适的连接方式（join）、排序算法、列裁剪和桶修剪。

（4）作业提交：执行计划被提交给 JobTracker，它协调

下一篇：ABC293 vp A-G

走进小城看消费丨江西资溪：低碳... 夏日时节下午4点，江西省抚州市资溪县大觉山景区漂流终点依然热闹。来自南昌的游客余鑫漂流结束后没有...

【中原晨会0625】市场分析专... 来源：市场资讯（来源：中原证券研究所）本期重点研报目录【中原策略】市场分析：电子半导体领涨 ...

南向资金连买4日！低费率+可月... 6月25日早盘，港股红利资产震荡整理。截至11时14分，港股红利低波ETF招商(520550)下跌0...

618成交破百万！紫荆花用一套... 一年一度的618年中大促，是消费市场的晴雨表，也是品牌间最激烈的角力场。当各大品牌在直播间里铆足了劲...

原创黄... 2026年6月25日的国际金价已经从前期的5500美元高点跌到4200美元下方，累计跌幅超过22%，...

英伟达CEO：Vera Rub... 截至9:38，中证半导体材料设备主题指数（931743）涨2.36%创新高；权重股中，中微公司涨3....

再被催债16亿！“钢铁大王”戴... 澎湃新闻记者贺梨萍因“铁本事件”入狱五年的戴国芳重返钢铁行业，但他并没有完成从阶下囚再到“钢铁大...

周三原油价格下跌随着美国和伊朗在和平谈判中取得进展，越来越多的油轮公开穿越霍尔木兹海峡，原油在战时的价格上涨已经蒸发...

这种蛋白是大脑衰老的开关这种蛋白是大脑衰老的开关清晨，假设一位五十岁左右的王女士发现自己常常把手机放在熟悉的抽屉里又找不到...

信通院牵头算力Token出海生... 盘面上，截至11：04，中证科创创业50指数（931643）涨1.68%，创历史新高；权重股中，芯原...

海外 774 亿营收背后：日本... 文 | 游戏价值论 6月23日，彭博社报道了腾讯正在围绕出售多家日本游戏工作室少数股权开展谈判，包...

餐饮“抢人”大战：把店开到公交... 作者 |餐饮老板内参内参君医院、公交站、演唱会…餐饮品牌，正在无孔不入在北京儿童医院，肯德基...

快讯 | 外资扫货！陈翊庭：港... 港交所行政总裁陈翊庭在接受《中国证券报》专访时指出，国际资本对中国资产的看法已彻底扭转，布局中国市场...

2777.77元！A股“股王”... 25日早盘，昨天创下历史新高的A股“股王”联讯仪器，今天上午继续走强，盘中股价再度刷新历史新高。截...

原创今... 欧洲自己的媒体直接下结论，欧盟衰退躲不掉，内部分裂拦不住，现在就连欧洲顶尖工业巨头，都偷偷在用中国的...

黄仁勋股东大会放言：本轮AI基... 在当地时间6月24日的英伟达（NVDA.O）2026年度股东大会上，股东批准了该公司全部10名董事会...

国际油价大跌新华社消息，纽约原油期货主力合约价格24日盘中跌破每桶70美元，为伊朗战事爆发以来首次。市场分析...

马云带队插秧，什么信号？一场别开生面的“务农”，让外界看到了一个不一样的阿里巴巴。近日，阿里巴巴合伙人、高德董事长刘振飞在...

全球最大产能，最高丰度达99.... 本文转自【科技日报】； 6月23日，高丰度硼-10同位素技术暨产业化成果发布会在山东省东营市举办，全...

黄金大跳水！金饰克价年内暴跌近... 25日，现货黄金盘中震荡，截至发稿，报3985.070美元/盎司，跌0.17%。当地时间24日，...