Pandas中高效计算客户跨品类前一笔交易金额教程

风明同学_9394

风明同学_9394

2025-11-28

955人浏览

原创

Pandas中高效计算客户跨品类前一笔交易金额教程

本教程旨在解决在pandas dataframe中,为每笔交易查找同一客户之前不同类别交易金额的问题。文章将分析常见错误方法及其局限性,并提供一种基于分组迭代和状态变量的优化解决方案,通过维护不同交易类型的最新金额,高效地计算出所需的跨品类前一笔交易金额。

1. 问题描述

在处理客户交易数据时,我们经常需要进行复杂的序列分析。本教程将聚焦于一个具体场景:给定一个包含客户交易记录的DataFrame,我们需要为每条交易记录添加一个新列PREV_AMOUNT。该列的值应为同一客户在当前交易日期之前,最近一次发生的、且交易类型与当前交易类型不同的交易金额。

输入数据结构:

DataFrame df 包含以下列:

  • KEY_ID: 客户的唯一标识符。
  • TYPE: 交易类型,例如 'Motor' 或 'Tool'。
  • DATE: 交易发生的日期。
  • AMOUNT: 交易金额。

示例输入数据:

KEY_ID TYPE AMOUNT DATE
1 Motor 5000 2020-01-01
1 Tool 3000 2020-02-01
1 Tool 7000 2020-03-01
2 Tool 2000 2020-01-15
2 Motor 6000 2020-02-15
2 Tool 4000 2020-03-15

期望输出数据:

KEY_ID TYPE AMOUNT DATE PREV_AMOUNT
1 Motor 5000 2020-01-01 NaN
1 Tool 3000 2020-02-01 5000
1 Tool 7000 2020-03-01 5000
2 Tool 2000 2020-01-15 NaN
2 Motor 6000 2020-02-15 2000
2 Tool 4000 2020-03-15 6000

2. 常见误区与性能瓶颈

在尝试解决这类问题时,初学者常会遇到一些效率低下的方法,导致性能问题甚至程序崩溃。

Python 环境工具基础版
Python 环境工具基础版

管理 Python 项目环境,支持虚拟环境创建、依赖安装与环境诊断

下载

2.1 使用 df.apply() 结合行级过滤

一种直观的思路是为每一行应用一个自定义函数,该函数在整个DataFrame中查找符合条件的先前交易。

import pandas as pd
import numpy as np

def find_previous_request(row, full_df):
    # 查找同一客户、不同类型、日期早于当前行的交易
    previous_requests = full_df[
        (full_df['KEY_ID'] == row['KEY_ID']) &
        (full_df['TYPE'] != row['TYPE']) &
        (full_df['DATE'] <p><strong>问题分析:</strong>
这种方法对DataFrame中的每一行都会执行一次全局过滤操作,即创建一个新的子DataFrame。当数据量较大时,这种重复的过滤和子DataFrame创建会导致极高的计算开销和内存消耗,从而使程序运行缓慢,甚至引发内核崩溃。df.apply(axis=1) 虽然灵活,但通常应避免在其中进行涉及整个DataFrame的复杂查询。</p><h4>2.2 使用 groupby().shift()</h4><p>另一种尝试是利用Pandas的 shift() 函数,它可以在分组内获取前一行的值。</p><pre class="brush:php;toolbar:false;"># df['prev_amount'] = df.groupby(['KEY_ID', 'TYPE'])['AMOUNT'].shift().fillna(0).astype(int)

问题分析:shift() 函数确实适用于获取分组内的前一个值。然而,df.groupby(['KEY_ID', 'TYPE'])['AMOUNT'].shift() 的问题在于,它只会在同一客户、同一类型的分组内进行偏移。而我们的需求是查找不同类型的交易金额,因此这种方法无法满足条件。

3. 优化解决方案:基于分组迭代的状态维护

解决此类问题的更高效方法是结合Pandas的分组能力和Python的迭代逻辑,通过在每个客户组内部维护状态变量来实现。

3.1 核心思想

  1. 预排序: 首先,确保整个DataFrame按 KEY_ID 升序排列,然后在每个 KEY_ID 内部按 DATE 升序排列。这是进行时间序列分析的基础。
  2. 按客户分组: 使用 df.groupby('KEY_ID') 将DataFrame分割成独立的客户组。
  3. 组内迭代与状态维护: 对每个客户组,按时间顺序迭代其交易记录。在迭代过程中,为该客户维护一个或多个状态变量,记录不同交易类型的最新金额。
  4. 条件赋值: 当处理当前交易时,根据其类型,从对应的状态变量中获取所需的不同类型交易金额,并将其赋值给新列。随后,更新当前交易类型的最新金额状态。

3.2 实现步骤

  1. 导入必要的库 pandas 和 numpy。
  2. 创建示例DataFrame。
  3. 对DataFrame进行预排序,确保数据按 KEY_ID 和 DATE 的升序排列。
  4. 初始化新列 PREV_AMOUNT,默认值为 np.nan。
  5. 使用 df.groupby('KEY_ID') 按客户ID进行分组。
  6. 遍历每个客户组,并在组内使用循环(iterrows())处理每条交易记录。
  7. 在循环内部,根据交易类型更新和获取状态变量的值,并使用 df.loc 进行高效赋值。

3.3 示例代码

import pandas as pd
import numpy as np

# 示例数据
data = {
    'KEY_ID': [1, 1, 1, 2, 2, 2],
    'TYPE': ['Motor', 'Tool', 'Tool', 'Tool', 'Motor', 'Tool'],
    'AMOUNT': [5000, 3000, 7000, 2000, 6000, 4000],
    'DATE': pd.to_datetime(['2020-01-01', '2020-02-01', '2020-03-01', '2020-01-15', '2020-02-15', '2020-03-15'])
}
df = pd.DataFrame(data)

# 1. 确保数据按客户ID和日期排序
# reset_index(drop=True) 是为了在后续使用loc时避免索引错乱,尤其是在排序后原始索引被打乱的情况下。
df = df.sort_values(by=['KEY_ID', 'DATE']).reset_index(drop=True)

# 2. 初始化 PREV_AMOUNT 列,默认值为 NaN
df['PREV_AMOUNT'] = np.nan

# 3. 按 KEY_ID 分组并迭代
grouped = df.groupby('KEY_ID')

# 遍历每个客户组
for name, group in grouped:
    # 为每个客户初始化状态变量,记录该客户最近一次'Motor'和'Tool'交易的金额
    last_motor_amount = np.nan
    last_tool_amount = np.nan

    # 在当前客户组内,按时间顺序迭代其交易记录
    # 由于df已经整体排序,group内部的顺序也是正确的
    for ind, row in group.iterrows():
        if row['

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python 性能瓶颈 排列

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

2025.12.04

360

15

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

2026.01.31

292

21

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

2026.04.13

991

25

mysql标识符无效错误怎么解决
mysql标识符无效错误怎么解决

mysql标识符无效错误的解决办法:1、检查标识符是否被其他表或数据库使用;2、检查标识符是否包含特殊字符;3、使用引号包裹标识符;4、使用反引号包裹标识符;5、检查MySQL的配置文件等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.12.04

18380

5

Python标识符有哪些
Python标识符有哪些

Python标识符有变量标识符、函数标识符、类标识符、模块标识符、下划线开头的标识符、双下划线开头、双下划线结尾的标识符、整型标识符、浮点型标识符等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

1283

5

java标识符合集
java标识符合集

本专题整合了java标识符相关内容,想了解更多详细内容,请阅读下面的文章。

2025.06.11

9810

9

c++标识符介绍
c++标识符介绍

本专题整合了c++标识符相关内容,阅读专题下面的文章了解更多详细内容。

2025.08.07

3902

7

treenode的用法
treenode的用法

​在计算机编程领域,TreeNode是一种常见的数据结构,通常用于构建树形结构。在不同的编程语言中,TreeNode可能有不同的实现方式和用法,通常用于表示树的节点信息。更多关于treenode相关问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.12.01

2941

7

C++ 高效算法与数据结构
C++ 高效算法与数据结构

本专题讲解 C++ 中常用算法与数据结构的实现与优化,涵盖排序算法(快速排序、归并排序)、查找算法、图算法、动态规划、贪心算法等,并结合实际案例分析如何选择最优算法来提高程序效率。通过深入理解数据结构(链表、树、堆、哈希表等),帮助开发者提升 在复杂应用中的算法设计与性能优化能力。

2025.12.22

416

20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程