首頁 >後端開發 >Python教學 >如何用Python高效地為數據列添加連續序號,使相同值擁有相同序號?

如何用Python高效地為數據列添加連續序號,使相同值擁有相同序號?

Johnathan Smith
Johnathan Smith原創
2025-03-03 17:09:06386瀏覽

>如何有效地將連續的數字添加到Python中的數據列中,將相同的數字分配給相同的值?

此任務涉及創建一個順序計數器,每當特定列中的值更改時重置一個順序計數器。 在Python中實現這一目標的最有效方法利用了pandas>庫的力量。 PANDA提供的矢量化操作比通過行迭代要快得多。

這是您可以做到的:

<code class="python">import pandas as pd

# Sample data
data = {'col1': ['A', 'A', 'B', 'B', 'B', 'C', 'A', 'A', 'D']}
df = pd.DataFrame(data)

# Efficiently assign sequential numbers
df['col2'] = (df['col1'] != df['col1'].shift()).cumsum()

print(df)</code>

>此代碼首先使用df['col1'].shift()來創建'col1'列的滯後版本。 將此滯後版本與原始列(df['col1'] != df['col1'].shift())進行比較,標識了值在哪裡變化。 然後,方法累計總和布爾值結果,有效地創建了一個順序計數器,僅在遇到新值時才增加。 This assigns a unique consecutive number to each group of identical values in 'col1', storing the result in a new column named 'col2'..cumsum()

What's the most efficient Python method for creating a sequential ID based on duplicate values in a column?

The most efficient method builds upon the previous approach, refining it to generate more descriptive sequential IDs. 我們可以創建明確反映分組的ID,而不是簡單地分配連續的數字。 這是通過將組標識符與每個組中的順序計數器組合在一起來實現的。

<code class="python">import pandas as pd

data = {'col1': ['A', 'A', 'B', 'B', 'B', 'C', 'A', 'A', 'D']}
df = pd.DataFrame(data)

df['group_id'] = (df['col1'] != df['col1'].shift()).cumsum()
df['sequential_id'] = df.groupby('group_id').cumcount() + 1
df['final_id'] = df['col1'] + '_' + df['sequential_id'].astype(str)

print(df)</code>
此增強的代碼首先使用與以前相同的方法來標識組。 然後,在每個組中生成一個順序計數器。 我們添加了1個以從1而不是0開始。最後,我們將“ Col1”的原始值與順序ID相連,以在“ Final_id”中創建一個更有信息的唯一標識符。 由於pandas的矢量化操作,此方法有效地處理了大型數據集。

df.groupby('group_id').cumcount()>可以將順序編號添加到列中,同時通過相同的值分組?以前的示例證明了此功能。

方法與

結合使用,提供了一種強大而有效的方法,可以在列中由相同值定義的組中添加順序編號。 The efficiency stems from pandas' ability to perform these operations on the entire DataFrame at once, avoiding slow row-by-row iteration.

How can I optimize Python code to generate unique sequential IDs for groups of identical values within a column?groupby().cumcount()Optimizing the code for generating unique sequential IDs primarily focuses on leveraging pandas' vectorized operations and avoiding explicit loops.以前的示例已經展示了此優化。 為了進一步提高非常大的數據集的性能:

  • >避免不必要的數據副本:請注意創建不必要的數據幀副本的操作。 熊貓的現場操作(使用inplace=True)有時可以提高性能。 但是,與可讀性成本相比,性能的增長通常可以忽略不計。
  • 塊(對於非常大的數據集):如果您的數據集如此之大,以至於超過可用的內存,請考慮在塊中處理。 讀取和處理數據中的較小,可管理的零件,然後將結果串聯。
  • >考慮替代數據結構(很少必要):
  • >通常有效地有效,對於數十億行,專門的圖書館或數據庫而言,針對此類操作的專業庫或數據庫非常有效。 但是,整合這些替代方案的複雜性通常超過了大多數實際應用的好處。
  • 上面使用pandas提供的解決方案通常在大多數實際涉及基於分組的順序ID生成的現實世界情景中高度優化。 專注於有效的熊貓技術是最有效的優化方法。

以上是如何用Python高效地為數據列添加連續序號,使相同值擁有相同序號?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn