Bagaimana untuk Melaksanakan Produk Cartesian dengan Cekap (CROSS JOIN) dengan Pandas DataFrames?

Produk Cartesian Berprestasi (CROSS JOIN) dengan Panda

Dalam bidang manipulasi data, produk cartesian, atau CROSS JOIN, ialah operasi berharga yang menggabungkan dua atau lebih banyak DataFrames berdasarkan satu-ke-satu atau banyak-ke-banyak. Operasi ini mengembangkan set data asal dengan mencipta baris baharu untuk semua kemungkinan gabungan elemen daripada DataFrames input.

Pernyataan Masalah

Diberikan dua DataFrames dengan indeks unik:

left = pd.DataFrame({'col1': ['A', 'B', 'C'], 'col2': [1, 2, 3]})
right = pd.DataFrame({'col1': ['X', 'Y', 'Z'], 'col2': [20, 30, 50]})

Matlamatnya adalah untuk mencari kaedah yang paling cekap untuk mengira hasil cartesian DataFrames ini, menghasilkan perkara berikut keluaran:

  col1_x  col2_x col1_y  col2_y
0      A       1      X      20
1      A       1      Y      30
2      A       1      Z      50
3      B       2      X      20
4      B       2      Y      30
5      B       2      Z      50
6      C       3      X      20
7      C       3      Y      30
8      C       3      Z      50

Penyelesaian Optimum

Kaedah 1: Lajur Kunci Sementara

Satu pendekatan adalah untuk menetapkan sementara lajur "kunci" dengan nilai sepunya kepada kedua-dua DataFrames:

left.assign(key=1).merge(right.assign(key=1), on='key').drop('key', 1)

Kaedah ini menggunakan gabungan untuk melaksanakan ramai-ke-banyak SERTAI pada lajur "kunci".

Kaedah 2: NumPy Cartesian Product

Untuk DataFrames yang lebih besar, penyelesaian yang berprestasi adalah dengan menggunakan produk cartesian NumPy pelaksanaan:

def cartesian_product(*arrays):
    la = len(arrays)
    dtype = np.result_type(*arrays)
    arr = np.empty([len(a) for a in arrays] + [la], dtype=dtype)
    for i, a in enumerate(np.ix_(*arrays)):
        arr[...,i] = a
    return arr.reshape(-1, la)  

Fungsi ini menjana semua kemungkinan gabungan elemen daripada tatasusunan input.

Kaedah 3: Generalized CROSS JOIN

Penyelesaian umum berfungsi pada DataFrames dengan indeks bukan unik atau bercampur:

def cartesian_product_generalized(left, right):
    la, lb = len(left), len(right)
    idx = cartesian_product(np.ogrid[:la], np.ogrid[:lb])
    return pd.DataFrame(
        np.column_stack([left.values[idx[:,0]], right.values[idx[:,1]]]))

Kaedah ini mengindeks semula DataFrames berdasarkan produk cartesian mereka indeks.

Penyelesaian Dipertingkat

Kaedah 4: SERTAI CROSS Dipermudah

Penyelesaian dipermudahkan lagi mungkin untuk dua DataFrames dengan djenis bukan campuran:

def cartesian_product_simplified(left, right):
    la, lb = len(left), len(right)
    ia2, ib2 = np.broadcast_arrays(*np.ogrid[:la,:lb])

    return pd.DataFrame(
        np.column_stack([left.values[ia2.ravel()], right.values[ib2.ravel()]]))

Kaedah ini menggunakan penyiaran dan ogrid NumPy untuk menjana produk cartesian indeks DataFrames.

Perbandingan Prestasi

Prestasi penyelesaian ini berbeza-beza berdasarkan saiz dan kerumitan set data. Penanda aras berikut memberikan perbandingan relatif masa pelaksanaannya:

# ... (Benchmarking code not included here)

Hasilnya menunjukkan bahawa kaedah cartesian_product berasaskan NumPy mengatasi penyelesaian lain untuk kebanyakan kes, terutamanya apabila saiz DataFrames meningkat.

Kesimpulan

Dengan memanfaatkan teknik yang dibentangkan, penganalisis data boleh melakukan dengan cekap produk cartesian pada DataFrames, operasi asas untuk manipulasi dan pengembangan data. Kaedah ini membolehkan prestasi optimum walaupun pada set data yang besar atau kompleks, membolehkan penerokaan dan analisis data yang cekap.

Atas ialah kandungan terperinci Bagaimana untuk Melaksanakan Produk Cartesian dengan Cekap (CROSS JOIN) dengan Pandas DataFrames?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!