Hive 关于merge的几个参数-mysql教程-PHP中文网

首页

数据库

mysql教程

Hive 关于merge的几个参数

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 07, 2016 pm 05:33 PM

o数据库

hive.merge.mapfiles(defaulttrue)：这个参数是用来控制是否merge MAP-ONLY型Job的文件输出（如果在Hive里设置了支持DP的话，并且

分析一下Hive 关于merge的三个容易混淆的参数：

hive.mergejob.maponly

hive.merge.mapfiles

hive.merge.mapredfiles

这三个参数是merge以哪种方式的输出文件，以及以哪种方merge.听起来是不是很绕J

hive.merge.mapfiles(defaulttrue)：这个参数是用来控制是否merge MAP-ONLY型Job的文件输出（如果在Hive里设置了支持DP的话，并且涉及到含有DP列的表，如果Hadoop不支持CombineInputFormat，即版本pre-0.20的话那么这个参数和下个参数是不生效的，即都是false）

hive.merge.mapredfiles(defaultfalse)：这个参数是用来控制merge MAP-REDUCE型Job的文件输出

hive.mergejob.maponly(defaulttrue)：这个参数是用来控制是以MAP-ONLY的形式来进行merge（这里有个前提条件就是需要Hadoop支持CombineInputFormat，，0.20之前的即使设置了这个参数true也不会生效）或者以MAP-REDUCE的形式来进行merge.不过关于这个参数还有一个未修复的Bug（https://issues.apache.org/jira/browse/HIVE-2869）因此默认值是true

Hive 的详细介绍：请点这里
Hive 的下载地址：请点这里

相关阅读：

基于Hadoop集群的Hive安装

Hive内表和外表的区别

Hadoop + Hive + Map +reduce 集群安装部署

Hive本地独立模式安装

Hive学习之WordCount单词统计

linux

声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

深入理解MySQL索引优化器工作原理Nov 09, 2022 pm 02:05 PM

本篇文章给大家带来了关于mysql的相关知识，其中主要介绍了关于索引优化器工作原理的相关内容，其中包括了MySQL Server的组成，MySQL优化器选择索引额原理以及SQL成本分析，最后通过 select 查询总结整个查询过程，下面一起来看一下，希望对大家有帮助。

sybase是什么数据库Sep 22, 2021 am 11:39 AM

sybase是基于客户/服务器体系结构的数据库，是一个开放的、高性能的、可编程的数据库，可使用事件驱动的触发器、多线索化等来提高性能。

visual foxpro数据库文件是什么Jul 23, 2021 pm 04:53 PM

visual foxpro数据库文件是管理数据库对象的系统文件。在VFP中，用户数据是存放在“.DBF”表文件中；VFP的数据库文件（“.DBC”）中不存放用户数据，它只起将属于某一数据库的数据库表与视图、连接、存储过程等关联起来的作用。

数据库系统的构成包括哪些Jul 15, 2022 am 11:58 AM

数据库系统由4个部分构成：1、数据库，是指长期存储在计算机内的，有组织，可共享的数据的集合；2、硬件，是指构成计算机系统的各种物理设备，包括存储所需的外部设备；3、软件，包括操作系统、数据库管理系统及应用程序；4、人员，包括系统分析员和数据库设计人员、应用程序员（负责编写使用数据库的应用程序）、最终用户（利用接口或查询语言访问数据库）、数据库管理员（负责数据库的总体信息控制）。

microsoft sql server是什么软件Feb 28, 2023 pm 03:00 PM

microsoft sql server是Microsoft公司推出的关系型数据库管理系统，是一个全面的数据库平台，使用集成的商业智能（BI）工具提供了企业级的数据管理，具有使用方便可伸缩性好与相关软件集成程度高等优点。SQL Server数据库引擎为关系型数据和结构化数据提供了更安全可靠的存储功能，使用户可以构建和管理用于业务的高可用和高性能的数据应用程序。