hive自带的函数有哪些

风强姑娘_4648

风强姑娘_4648

2019-12-21

3840人浏览

原创

Hive的内置函数

定义:                                  (推荐学习:phpstorm)

UDF(User-Defined-Function),用户自定义函数对数据进行处理。
UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。
UDAF(User Defined Aggregation Function)用户自定义聚合函数,操作多个数据行,产生一个数据行。

用法:

1、UDF函数可以直接应用于select语句,对查询结构做格式化处理后,再输出内容。

2、编写UDF函数的时候需要注意一下几点:

a)自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。

b)需要实现evaluate函。

c)evaluate函数支持重载。

hive的本地模式:

大多数的Hadoop job是需要hadoop提供的完整的可扩展性来处理大数据的。

提客AI提词器
提客AI提词器

一款AI视频创作工具,主要用于「直播、录课」智能AI提词,搭配抖音直播伴侣、腾讯会议、钉钉、飞书、录课等软件等任意软件,适合需要提升相关任务效率的用户。

下载

不过,有时hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多的多。

对于大多数这种情况,hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集,执行时间会明显被缩短。

如此一来,对数据量比较小的操作,就可以在本地执行,这样要比提交任务到集群执行效率要快很多。

配置如下参数,可以开启Hive的本地模式:

hive> set hive.exec.mode.local.auto=true;(默认为false)

cj-82.png当一个job满足如下条件才能真正使用本地模式:

job的输入数据大小必须小于参数:hive.exec.mode.local.auto.inputbytes.max(默认128MB)

job的map数必须小于参数:hive.exec.mode.local.auto.tasks.max(默认4)

job的reduce数必须为0或者1

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
phpstorm怎么导出项目
phpstorm怎么导出项目

phpstorm提供导出项目功能,步骤如下:打开phpstorm项目转到“项目”菜单选择“导出项目”选择导出格式指定导出位置选择导出范围勾选“包括依赖项”框(可选)单击“导出”完成导出。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.08

1588

7

phpStorm怎么运行
phpStorm怎么运行

本专题整合了phpstorm运行教程,阅读专题下面的文章了解更多相关内容。

2025.09.18

7618

13

phpstorm开发环境搭建教程
phpstorm开发环境搭建教程

本专题整合了phpstorm开发环境搭建和运行项目教程,阅读专题下面的文章了解更多详细教程。

2025.09.18

7416

18

phpstorm怎样运行php
phpstorm怎样运行php

本专题整合了phpstorm运行php相关教程,阅读专题下面的文章了解更多详细内容。

2025.09.18

2481

11

phpstorm相关教程大全
phpstorm相关教程大全

本专题整合了phpstorm相关教程汇总,阅读专题下面的文章了解更多详细内容。

2026.01.15

178

24

从环境搭建到代码调试:PHPstorm全流程开发配置指南
从环境搭建到代码调试:PHPstorm全流程开发配置指南

本文旨在为PHP开发者提供一份详尽的PhpStorm全流程开发配置指南。内容涵盖从IDE安装、PHP解释器配置、Xdebug调试环境搭建,到项目运行与断点调试的完整流程。通过本指南,读者将掌握搭建高效开发环境的核心技能,快速上手PhpStorm的强大功能,显著提升PHP开发效率。

2026.04.01

161

11

PHPstorm编辑器全系统安装与激活配置指南
PHPstorm编辑器全系统安装与激活配置指南

本文提供一份详尽的PHPstorm全系统安装与激活配置指南,覆盖Windows、macOS及Linux三大主流平台。内容从官方安装包的获取、安装过程中的路径与组件选择,到激活流程(包括正版激活与补丁替换法)均有详细图解。此外,指南还包含安装后的基础环境配置与中文语言包安装,旨在帮助开发者快速完成IDE部署,为PHP开发搭建一个稳定、高效的集成环境。

2026.04.01

316

9

ps软件新手入门教程合集
ps软件新手入门教程合集

PHP中文网精心打造了本PS新手入门教程合集。内容涵盖软件安装、界面认知、图层管理及抠图调色等核心技能,提供从零基础到精通的系统化学习路径。无论您是想快速上手修图还是进阶平面设计,都能在此找到实用指南与实战案例,助您轻松玩转Photoshop。

2026.06.11

1220

17

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

2025.09.05

770

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Gradle Kotlin DSL API 参考
Gradle Kotlin DSL API 参考

共0课时 | 0人学习

LLVM 语言参考手册
LLVM 语言参考手册

共0课时 | 0人学习