Hive中提供了越来越多的分析函数，用于完成负责的统计分析。抽时间将所有的分析窗口函数理一遍，将陆续发布。今天先看几个基础的，SUM、AVG、MIN、MAX。p用于实现分组内所有和连续累积的统计。/p CREATE EXTERNAL TABLE yeshuai_test( cookieid string, crea
Hive中提供了越来越多的分析函数，用于完成负责的统计分析。抽时间将所有的分析窗口函数理一遍，将陆续发布。 今天先看几个基础的，SUM、AVG、MIN、MAX。 <p>用于实现分组内所有和连续累积的统计。</p>
CREATE EXTERNAL TABLE yeshuai_test(
cookieid string,
createtime string, --day
pv INT
) ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
为了测试方便，不用到hadoop上去上传文件进行测试
直接进入本地的一个文件夹 进行编辑数据导入 ，这里我的文件夹路径为/home/work/yeshuai/data1.txt
用vim 编辑 ，复制进去数据
然后 hive>select * from yeshuai_test 进行测试，有数据的话，测试环境准备ok了
SUM — 注意,结果和ORDER BY相关,默认为升序
SELECT cookieid,
createtime,
pv,
SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1, -- 默认为从起点到当前行
SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2, --从起点到当前行，结果同pv1
SUM(pv) OVER(PARTITION BY cookieid) AS pv3, --分组内所有行
SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv4, --当前行+往前3行
SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv5, --当前行+往前3行+往后1行
SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv6 ---当前行+往后所有行
FROM yeshuai_test;
cookieid createtime pv pv1 pv2 pv3 pv4 pv5 pv6
-----------------------------------------------------------------------------
cookie1 2015-04-10 1 1 1 26 1 6 26
cookie1 2015-04-11 5 6 6 26 6 13 25
cookie1 2015-04-12 7 13 13 26 13 16 20
cookie1 2015-04-13 3 16 16 26 16 18 13
cookie1 2015-04-14 2 18 18 26 17 21 10
cookie1 2015-04-15 4 22 22 26 16 20 8
cookie1 2015-04-16 4 26 26 26 13 13 4
pv1: 分组内从起点到当前行的pv累积，如，11号的pv1=10号的pv+11号的pv, 12号=10号+11号+12号
pv2: 同pv1
pv3: 分组内(cookie1)所有的pv累加
pv4: 分组内当前行+往前3行，如，11号=10号+11号， 12号=10号+11号+12号， 13号=10号+11号+12号+13号， 14号=11号+12号+13号+14号
pv5: 分组内当前行+往前3行+往后1行，如，14号=11号+12号+13号+14号+15号=5+7+3+2+4=21
pv6: 分组内当前行+往后所有行，如，13号=13号+14号+15号+16号=3+2+4+4=13，14号=14号+15号+16号=2+4+4=10
如果不指定ROWS BETWEEN,默认为从起点到当前行;
如果不指定ORDER BY，则将分组内所有值累加;
关键是理解ROWS BETWEEN含义,也叫做WINDOW子句：
PRECEDING：往前
FOLLOWING：往后
CURRENT ROW：当前行
UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDED FOLLOWING：表示到后面的终点
–其他AVG，MIN，MAX，和SUM用法一样。
<div class="blockcode"> <div id="code_cxN"><ol> <li> --AVG </li> <li> SELECT cookieid, </li> <li> createtime, </li> <li> pv, </li> <li> AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1, -- 默认为从起点到当前行 </li> <li> AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2, --从起点到当前行，结果同pv1 </li> <li> AVG(pv) OVER(PARTITION BY cookieid) AS pv3, --分组内所有行 </li> <li> AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv4, --当前行+往前3行 </li> <li> AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv5, --当前行+往前3行+往后1行 </li> <li> AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv6 ---当前行+往后所有行 </li> <li> FROM lxw1234; </li> <li> cookieid createtime pv pv1 pv2 pv3 pv4 pv5 pv6 </li> <li> ----------------------------------------------------------------------------- </li> <li> cookie1 2015-04-10 1 1.0 1.0 3.7142857142857144 1.0 3.0 3.7142857142857144 </li> <li> cookie1 2015-04-11 5 3.0 3.0 3.7142857142857144 3.0 4.333333333333333 4.166666666666667 </li> <li> cookie1 2015-04-12 7 4.333333333333333 4.333333333333333 3.7142857142857144 4.333333333333333 4.0 4.0 </li> <li> cookie1 2015-04-13 3 4.0 4.0 3.7142857142857144 4.0 3.6 3.25 </li> <li> cookie1 2015-04-14 2 3.6 3.6 3.7142857142857144 4.25 4.2 3.3333333333333335 </li> <li> cookie1 2015-04-15 4 3.6666666666666665 3.6666666666666665 3.7142857142857144 4.0 4.0 4.0 </li> <li> cookie1 2015-04-16 4 3.7142857142857144 3.7142857142857144 3.7142857142857144 3.25 3.25 4.0</li> </ol></div> </div><div class="blockcode"> <div id="code_L6F"><ol> <li> --MIN </li> <li> SELECT cookieid, </li> <li> createtime, </li> <li> pv, </li> <li> MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1, -- 默认为从起点到当前行 </li> <li> MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2, --从起点到当前行，结果同pv1 </li> <li> MIN(pv) OVER(PARTITION BY cookieid) AS pv3, --分组内所有行 </li> <li> MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv4, --当前行+往前3行 </li> <li> MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv5, --当前行+往前3行+往后1行 </li> <li> MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv6 ---当前行+往后所有行 </li> <li> FROM lxw1234; </li> <li> </li> <li> cookieid createtime pv pv1 pv2 pv3 pv4 pv5 pv6 </li> <li> ----------------------------------------------------------------------------- </li> <li> cookie1 2015-04-10 1 1 1 1 1 1 1 </li> <li> cookie1 2015-04-11 5 1 1 1 1 1 2 </li> <li> cookie1 2015-04-12 7 1 1 1 1 1 2 </li> <li> cookie1 2015-04-13 3 1 1 1 1 1 2 </li> <li> cookie1 2015-04-14 2 1 1 1 2 2 2 </li> <li> cookie1 2015-04-15 4 1 1 1 2 2 4 </li> <li> cookie1 2015-04-16 4 1 1 1 2 2 4</li> </ol></div> </div><div class="blockcode"><div id="code_f2D"><ol> <li> ----MAX </li> <li> SELECT cookieid, </li> <li> createtime, </li> <li> pv, </li> <li> MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1, -- 默认为从起点到当前行 </li> <li> MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2, --从起点到当前行，结果同pv1 </li> <li> MAX(pv) OVER(PARTITION BY cookieid) AS pv3, --分组内所有行 </li> <li> MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv4, --当前行+往前3行 </li> <li> MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv5, --当前行+往前3行+往后1行 </li> <li> MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv6 ---当前行+往后所有行 </li> <li> FROM lxw1234; </li> <li> </li> <li> cookieid createtime pv pv1 pv2 pv3 pv4 pv5 pv6 </li> <li> ----------------------------------------------------------------------------- </li> <li> cookie1 2015-04-10 1 1 1 7 1 5 7 </li> <li> cookie1 2015-04-11 5 5 5 7 5 7 7 </li> <li> cookie1 2015-04-12 7 7 7 7 7 7 7 </li> <li> cookie1 2015-04-13 3 7 7 7 7 7 4 </li> <li> cookie1 2015-04-14 2 7 7 7 7 7 4 </li> <li> cookie1 2015-04-15 4 7 7 7 7 7 4 </li> <li> cookie1 2015-04-16 4 7 7 7 4 4 4</li> </ol></div></div>
如何使用MySQL数据库进行预测和预测分析？Jul 12, 2023 pm 08:43 PM如何使用MySQL数据库进行预测和预测分析？概述：预测和预测分析在数据分析中扮演着重要角色。MySQL作为一种广泛使用的关系型数据库管理系统，也可以用于预测和预测分析任务。本文将介绍如何使用MySQL进行预测和预测分析，并提供相关的代码示例。数据准备:首先，我们需要准备相关的数据。假设我们要进行销售预测，我们需要具有销售数据的表。在MySQL中，我们可以使用
如何使用 Go 语言进行数据可视化分析？Jun 10, 2023 am 10:46 AM随着大数据时代的到来，数据可视化分析在各行各业中扮演着至关重要的角色。而Go语言作为一种快速、高效、安全的编程语言，也逐渐在数据可视化分析领域占据一席之地。本文将探讨如何使用Go语言进行数据可视化分析。一、Go语言常用的数据可视化库Plotly：可用于在浏览器中创建交互式的图形，支持多种图形类型，如线图、条形图、散点图、热力图等。Gonum/plo
Linux下的实时日志监控与分析Jul 29, 2023 am 08:06 AMLinux下的实时日志监控与分析在日常的系统管理和故障排查中，日志是一个非常重要的数据来源。通过对系统日志的实时监控和分析，我们可以及时发现异常情况并进行相应的处理。本文将介绍Linux下如何进行实时日志监控和分析，并提供相应的代码示例。一、实时日志监控在Linux下，最常用的日志系统是rsyslog。通过配置rsyslog，我们可以实现将不同应用程序的日志
如何使用PHP进行性能分析和调优Jun 06, 2023 pm 01:21 PM作为一种流行的服务端语言，PHP在网站开发和运行中扮演着重要的角色。然而，随着PHP代码量的不断增加和应用程序的复杂性提高，性能瓶颈也越来越容易出现。为了避免这种问题，我们需要进行性能分析和调优。本文将简单介绍如何使用PHP进行性能分析和调优，为您的应用程序提供更高效的运行环境。一、PHP性能分析工具1.XdebugXdebug是一款广泛使用的代码分析工具，
最近大火的Diffusion Model，首篇扩散生成模型综述！Apr 09, 2023 pm 08:31 PM本综述（Diffusion Models: A Comprehensive Survey of Methods and Applications）来自加州大学&Google Research的Ming-Hsuan Yang、北京大学崔斌实验室以及CMU、UCLA、蒙特利尔Mila研究院等众研究团队，首次对现有的扩散生成模型（diffusion model）进行了全面的总结分析，从diffusion model算法细化分类、和其他五大生成模型的关联以及在七大领域中的应用等方面展开，
在Go语言中使用Hive实现高效的数据仓库Jun 15, 2023 pm 08:52 PM近年来，数据仓库成为了企业数据管理中不可或缺的一部分。直接使用数据库进行数据分析可以满足简单的查询需求，但当我们需要进行大规模数据分析时，单个数据库已经无法满足需求，这时我们需要使用数据仓库来处理海量数据。而Hive则是数据仓库领域中最流行的开源组件之一，它可以将Hadoop分布式计算引擎和SQL查询集成在一起，并支持海量数据的并行处理。同时，在Go语言中使
如何利用PHP和Elasticsearch实现结果聚合和分析Jul 17, 2023 pm 01:05 PM如何利用PHP和Elasticsearch实现结果聚合和分析引言：随着互联网和信息技术的迅猛发展，数据量的爆炸式增长使得数据的存储、处理、分析变得越来越重要。而Elasticsearch作为一个开源的分布式搜索和分析引擎，具有强大的全文检索、实时分析和数据聚合能力，已经被广泛应用于各大行业中。在本文中，我们将介绍如何利用PHP和Elasticsearch结合
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
AI Hentai Generator
免費產生 AI 無盡。
熱門文章
熱工具
Safe Exam Browser
Safe Exam Browser是一個安全的瀏覽器環境，安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問，並防止學生使用未經授權的資源。
DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序，非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具，幫助Web開發人員更好地理解保護網路應用程式的過程，並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞，難度各不相同。請注意，該軟體中
SublimeText3 英文版
推薦：為Win版本，支援程式碼提示！
EditPlus 中文破解版
體積小，語法高亮，不支援程式碼提示功能
SublimeText3 Linux新版
SublimeText3 Linux最新版
