【Hive基础】-- hive sql 的执行原理和流程_市场资讯

创始人

2025-06-01 00:56:20

0次

Hive SQL是一种高级语言，用于查询存储在 Hadoop 分布式文件系统（HDFS）的大型数据集。它为分析数据提供了一个类似于 SQL 的接口，并支持 Hadoop 生态系统的 MapReduce 处理框架。本质：将 Hive SQL 转化成 MapReduce 程序。

可以用一张图描述 Hive SQL的执行原理和执行流程，原图请点击下载。

（1）用户提交查询：用户在 Hive SQL client 中提交一个 query ，以从一个或多个表中获取数据。

（2）查询解析：Hive 查询解析器对查询进行解析以验证其语法和结构，并将 SQL 语句转换为内部表示形式（抽象语法树）。如果查询是无效的，就会向用户返回错误信息。

（3）查询优化：Hive 查询优化器对查询进行分析，并生成一个执行计划，使执行查询所需的MapReduce 作业数量最小。优化器会应用一些优化技术，包括谓词下推、选择合适的连接方式（join）、排序算法、列裁剪和桶修剪。

（4）作业提交：执行计划被提交给 JobTracker，它协调

下一篇：ABC293 vp A-G

雅江超级工程核心受益标的建材E... 受“雅江”1.2万亿超级工程利好催化，建材ETF（159745）今日开盘再度大涨近3%，昨日收盘也同...

刚一字涨停，又曝利好！【导读】刚因雅下水电概念涨停，中国电建公告上半年水电新签合同额暴增66% 中国基金报记者南深 7月...

银行板块短线跳水，厦门银行跌超... 银行板块短线跳水，厦门银行跌超4%，渝农商行跌超3%，西安银行、江苏银行、重庆银行、民生...

【网金基金研究中心】壹佰金每周... 壹佰金一周基金市场动态 1、核心资讯一览 Wind数据显示，截至7月18日17时，A股共有1540家...

1.25万亿份，净申购！【导读】今年二季度基金整体净申购1.25万亿份，货基和债基为主力军中国基金报记者张燕北公募二季...

骑士乳业及董事长党涌涛等被罚3... 具体来看，2024年，骑士乳业开展了豆粕、白糖、尿素等期货交易业务。截至2024年1月17日，骑士乳...

现货黄金突破3400美元关口 ... 财联社7月22日讯（编辑牛占林）周一美盘交易时段，现货黄金突破3400美元/盎司，为6月17日以来...

摩根大通：人工智能和动量交易过... 市场中最具投机性的领域可能变得过于热门，且热度攀升速度过快。摩根大通在周一发布的一份研究报告中警告...

“金融科技第一股”退市加速记者丨曹媛编辑丨孙超逸 “金融科技第一股”金融壹账通（6638.HK/OCFT.N）正加速退市。 ...

公募管理规模历史首破34万亿！公募基金2025年二季报披露完毕。天相投顾数据显示，公募基金二季度末管理规模历史首次超过34万亿元...

京东旗下首家自营外卖门店“七鲜... 观点网讯：7月21日消息，京东集团旗下首家自营外卖门店“七鲜小厨”已于7月20日在北京正式开业，标志...

企业居民融资成本处低位 7月L... 7月21日，中国人民银行授权全国银行间同业拆借中心公布，1年期贷款市场报价利率（LPR）为3.0%，...

港股“双重优势”吸引QDII基... 本报记者彭衍菘随着公募基金二季报陆续披露，QDII基金的区域配置策略调整引发市场关注。Wind资...

夯筑起应对复杂变局的坚实依托安六高速铁路上的动车组列车驶过贵州省安顺市普定县化处镇。新华社记者陶亮摄 ...

“强实名”仍一票难求？遏制技术... 暑期来临，演唱会、音乐节、话剧等演出活动热度飙升。无论手速多快，总是一票难求，让众多消费者叫苦不迭。...

上证红利回报指数上涨0.83%... 金融界7月21日消息，上证指数高开高走，上证红利回报指数 (上红回报，H50019)上涨0.83%，...

为啥股票与基金的走势相反？虚位以待！平姐姐摄于毛里求斯网红酒店昨天的文章，标题就很明确，那就是《准备出击》，在半年报不少上...

美加密货币相关法案落地引发三连... 当地时间7月18日，美国总统特朗普在白宫正式签署《指导与建立美国稳定币国家创新法案》（简称《天才法案...

股市必读：湖南黄金（00215... 截至2025年7月21日收盘，湖南黄金(002155)报收于18.33元，上涨2.57%，换手率3....

四川发布六大红色旅游新线路四川发布六大红色旅游新线路 “锦绣天府·安逸四川”之红色旅游央地媒体联动采访启动 “锦绣天府·安...