如何有效地将 Pandas DataFrame 与日期范围内的条件连接合并？

在日期范围内使用条件连接合并 Pandas 数据帧

您需要根据标识符合并两个数据帧 A 和 B (" cusip") 和数据帧 A 中的日期 ("fdate") 落在数据帧 B 中的两个日期 ("namedt" 和 "nameenddt") 之间的条件。

尽管认识到此任务的 SQL 易用性，但您被困在 pandas 方法中，涉及无条件合并，然后进行过滤，这可能效率低下。这就是为什么这种方法不是最理想的：

df = pd.merge(A, B, how='inner', left_on='cusip', right_on='ncusip')
df = df[(df['fdate']>=df['namedt']) & (df['fdate']<=df['nameenddt'])]

您不需要在过滤之前创建一个大型临时数据帧，而是寻求一种在合并操作本身中合并过滤的解决方案。

探索替代方法

对于这样的场景，请考虑使用 SQLite 等数据库。 Pandas 的 to_sql 方法可以方便地将数据帧写入数据库。随后，SQL 查询可以实现高效的过滤和合并操作。

这是一个使用虚构数据帧和数据库连接的示例：

import pandas as pd
import sqlite3

# Sample dataframes
presidents = pd.DataFrame({"name": ["Bush", "Obama", "Trump"], "president_id": [43, 44, 45]})
terms = pd.DataFrame({"start_date": pd.date_range('2001-01-20', periods=5, freq='48M'), "end_date": pd.date_range('2005-01-21', periods=5, freq='48M'), "president_id": [43, 43, 44, 44, 45]})
war_declarations = pd.DataFrame({"date": [datetime(2001, 9, 14), datetime(2003, 3, 3)], "name": ["War in Afghanistan", "Iraq War"]})

# Database connection
conn = sqlite3.connect(':memory:')

# Write dataframes to database
terms.to_sql('terms', conn, index=False)
presidents.to_sql('presidents', conn, index=False)
war_declarations.to_sql('wars', conn, index=False)

# SQL query
qry = '''
    SELECT
        start_date AS PresTermStart,
        end_date AS PresTermEnd,
        wars.date AS WarStart,
        presidents.name AS Pres
    FROM
        terms
    JOIN
        wars ON date BETWEEN start_date AND end_date
    JOIN
        presidents ON terms.president_id = presidents.president_id
'''

# Read query results into pandas dataframe
df = pd.read_sql_query(qry, conn)

这种方法允许您连接和过滤，而无需创建不必要的大数据中间数据框。

以上是如何有效地将 Pandas DataFrame 与日期范围内的条件连接合并？的详细内容。更多信息请关注PHP中文网其他相关文章！