Analisis ringkas pembelajaran aktif data imej sel

Tetapkan keutamaan dan berat untuk data melalui kesan label imej sel pada prestasi model.

Salah satu halangan utama untuk banyak tugas pembelajaran mesin ialah kekurangan data berlabel. Pelabelan data boleh mengambil masa yang lama dan mahal, jadi banyak kali adalah tidak munasabah untuk cuba menggunakan kaedah pembelajaran mesin untuk menyelesaikan masalah.

Untuk menyelesaikan masalah ini, satu bidang yang dipanggil pembelajaran aktif muncul dalam bidang pembelajaran mesin. Pembelajaran aktif ialah kaedah dalam pembelajaran mesin yang menyediakan rangka kerja untuk mengutamakan sampel data tidak berlabel berdasarkan data berlabel yang telah dilihat oleh model. Jika anda ingin

Teknologi seperti segmentasi dan klasifikasi pengimejan sel adalah bidang penyelidikan yang berkembang pesat. Sama seperti dalam bidang pembelajaran mesin yang lain, anotasi data adalah sangat mahal, dan keperluan kualiti untuk anotasi data juga sangat tinggi. Untuk menangani masalah ini, artikel ini memperkenalkan aliran kerja hujung ke hujung pembelajaran aktif untuk tugas pengelasan imej sel darah merah dan sel darah putih.

Matlamat kami adalah untuk menggabungkan biologi dan pembelajaran aktif dan membantu orang lain menggunakan kaedah pembelajaran aktif untuk menyelesaikan tugasan yang serupa dan lebih kompleks dalam bidang biologi.

Artikel ini terutamanya terdiri daripada tiga bahagian:

• Prapemprosesan imej sel - di sini kami akan memperkenalkan cara pramemproses imej sel darah tidak bersegmen.
• Gunakan CellProfiler untuk mengekstrak ciri sel - menunjukkan cara mengekstrak ciri morfologi daripada imej foto sel biologi untuk digunakan sebagai ciri untuk model pembelajaran mesin.
• Gunakan pembelajaran aktif - menunjukkan eksperimen perbandingan yang mensimulasikan penggunaan pembelajaran aktif dan tidak menggunakan pembelajaran aktif.

Praproses imej sel

Kami akan menggunakan set data imej sel darah yang dilesenkan di bawah MIT (GitHub dan Kaggle). Setiap imej dilabelkan mengikut klasifikasi sel darah merah (RBC) dan sel darah putih (WBC). Terdapat tag tambahan untuk empat jenis leukosit ini (eosinofil, limfosit, monosit, dan neutrofil), tetapi ini tidak digunakan dalam kajian ini.

Berikut ialah contoh imej asal bersaiz penuh daripada set data:

Mencipta sampel DF

Dataset asal mengandungi skrip export .py yang menghuraikan anotasi XML ke dalam jadual CSV yang mengandungi nama fail, label jenis sel dan kotak sempadan untuk setiap sel.

Skrip asal tidak termasuk lajur cell_id, tetapi kami ingin mengklasifikasikan sel individu, jadi kami mengubah suai kod sedikit, menambah lajur itu dan menambah lajur nama fail termasuk image_id dan cell_id:

import os, sys, randomimport xml.etree.ElementTree as ETfrom glob import globimport pandas as pdfrom shutil import copyfileannotations = glob('BCCD_Dataset/BCCD/Annotations/*.xml')df = []for file in annotations:#filename = file.split('/')[-1].split('.')[0] + '.jpg'#filename = str(cnt) + '.jpg'filename = file.split('\')[-1]filename =filename.split('.')[0] + '.jpg'row = []parsedXML = ET.parse(file)cell_id = 0for node in parsedXML.getroot().iter('object'):blood_cells = node.find('name').textxmin = int(node.find('bndbox/xmin').text)xmax = int(node.find('bndbox/xmax').text)ymin = int(node.find('bndbox/ymin').text)ymax = int(node.find('bndbox/ymax').text)row = [filename, cell_id, blood_cells, xmin, xmax, ymin, ymax]df.append(row)cell_id += 1data = pd.DataFrame(df, columns=['filename', 'cell_id', 'cell_type', 'xmin', 'xmax', 'ymin', 'ymax'])data['image_id'] = data['filename'].apply(lambda x: int(x[-7:-4]))data[['filename', 'image_id', 'cell_id', 'cell_type', 'xmin', 'xmax', 'ymin', 'ymax']].to_csv('bccd.csv', index=False)

Pangkas

Untuk dapat memproses data, langkah pertama ialah memangkas imej bersaiz penuh berdasarkan koordinat kotak sempadan. Ini menghasilkan banyak imej sel yang berbeza-beza saiz:

Kod pemangkasan adalah seperti berikut:

import osimport pandas as pdfrom PIL import Imagedef crop_cell(row):"""crop_cell(row)given a pd.Series row of the dataframe, load row['filename'] with PIL,crop it to the box row['xmin'], row['xmax'], row['ymin'], row['ymax']save the cropped image,return cropped filename"""input_dir = 'BCCDJPEGImages'output_dir = 'BCCDcropped'# open imageim = Image.open(f"{input_dir}{row['filename']}")# size of the image in pixelswidth, height = im.size# setting the points for cropped imageleft = row['xmin']bottom = row['ymax']right = row['xmax']top = row['ymin']# cropped imageim1 = im.crop((left, top, right, bottom))cropped_fname = f"BloodImage_{row['image_id']:03d}_{row['cell_id']:02d}.jpg"# shows the image in image viewer# im1.show()# save imagetry:im1.save(f"{output_dir}{cropped_fname}")except:return 'error while saving image'return cropped_fnameif __name__ == "__main__":# load labels csv into Pandas DataFramefilepath = "BCCDdataset2-masterlabels.csv"df = pd.read_csv(filepath)# iterate through cells, crop each cell, and save cropped cell to filedataset_df['cell_filename'] = dataset_df.apply(crop_cell, axis=1)

Di atas adalah semua operasi prapemprosesan yang kami lakukan. Kini, kami terus menggunakan CellProfiler untuk mengekstrak ciri.

Ekstrak ciri sel menggunakan CellProfiler

CellProfiler ialah perisian analisis imej sumber terbuka percuma yang boleh mengautomasikan pengukuran kuantitatif daripada imej sel berskala besar. CellProfiler juga mengandungi antara muka GUI yang membolehkan kami melakukan operasi visual

Muat turun pertama CellProfiler Jika CellProfiler tidak boleh dibuka, anda mungkin perlu memasang pakej keluaran Visual C++ Sila rujuk tapak web rasmi untuk kaedah pemasangan tertentu .

Buka perisian untuk memuatkan imej Jika anda ingin membina saluran paip, anda boleh mencari senarai fungsi tersedia yang disediakan oleh CellProfiler di laman web rasminya. Kebanyakan fungsi dibahagikan kepada tiga kumpulan utama: pemprosesan imej, pemprosesan sasaran dan pengukuran.

Fungsi yang biasa digunakan adalah seperti berikut:

Pemprosesan imej - tukar kepada skala kelabu:

Pemprosesan sasaran objek - kenal pasti objek utama

测量 - 测量对象强度

CellProfiler可以将输出为CSV文件或者保存指定数据库中。这里我们将输出保存为CSV文件，然后将其加载到Python进行进一步处理。

说明：CellProfiler还可以将你处理图像的流程保存并进行分享。

主动学习

我们现在已经有了训练需要的搜有数据，现在可以开始试验使用主动学习策略是否可以通过更少的数据标记获得更高的准确性。 我们的假设是：使用主动学习可以通过大量减少在细胞分类任务上训练机器学习模型所需的标记数据量来节省宝贵的时间和精力。

主动学习框架

在深入研究实验之前，我们希望对modAL进行快速介绍： modAL是Python的活跃学习框架。 它提供了Sklearn API，因此可以非常容易的将其集成到代码中。 该框架可以轻松地使用不同的主动学习策略。 他们的文档也很清晰，所以建议从它开始你的一个主动学习项目。

主动学习与随机学习

为了验证假设，我们将进行一项实验，将添加新标签数据的随机子抽样策略与主动学习策略进行比较。开始用一些相同的标记样本训练2个Logistic回归估计器。然后将在一个模型中使用随机策略，在第二个模型中使用主动学习策略。

我们首先为实验准备数据，加载由Cell Profiler言创建的特征。 这里过滤了无色血细胞的血小板，只保留红和白细胞（将问题简化，并减少数据量） 。所以现在我们正在尝试解决二进制分类问题 - RBC与WBC。使用Sklearn Label的label encoder进行编码，并拆分数据集进行训练和测试。

# imports for the whole experimentimport numpy as npfrom matplotlib import pyplot as pltfrom modAL import ActiveLearnerimport pandas as pdfrom modAL.uncertainty import uncertainty_samplingfrom sklearn import preprocessingfrom sklearn.metrics import , average_precision_scorefrom sklearn.linear_model import LogisticRegression# upload the cell profiler features for each celldata = pd.read_csv('Zaretski_Image_All.csv')# filter plateletsdata = data[data['cell_type'] != 'Platelets']# define the labeltarget = 'cell_type'label_encoder = preprocessing.LabelEncoder()y = label_encoder.fit_transform(data[target])# take the learning features onlyX = data.iloc[:, 5:]# create training and testing setsX_train, X_test, y_train, y_test = train_test_split(X.to_numpy(), y, test_size=0.33, random_state=42)

下一步就是创建模型

<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">dummy_learner</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">LogisticRegression</span>()<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">active_learner</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">ActiveLearner</span>(<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">estimator</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">LogisticRegression</span>(),<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">query_strategy</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">uncertainty_sampling</span>()<br>)

dummy_learner是使用随机策略的模型，而active_learner是使用主动学习策略的模型。为了实例化一个主动学习模型，我们使用modAL包中的ActiveLearner对象。在“estimator”字段中，可以插入任何sklearnAPI兼容的模型。在query_strategy '字段中可以选择特定的主动学习策略。这里使用“uncertainty_sampling()”。这方面更多的信息请查看modAL文档。

将训练数据分成两组。第一个是训练数据，我们知道它的标签，会用它来训练模型。第二个是验证数据，虽然标签也是已知的，但是我们假装不知道它的标签，并通过模型预测的标签和实际标签进行比较来评估模型的性能。然后我们将训练的数据样本数设置成5。

# the training size that we will start withbase_size = 5# the 'base' data that will be the training set for our modelX_train_base_dummy = X_train[:base_size]X_train_base_active = X_train[:base_size]y_train_base_dummy = y_train[:base_size]y_train_base_active = y_train[:base_size]# the 'new' data that will simulate unlabeled data that we pick a sample from and label itX_train_new_dummy = X_train[base_size:]X_train_new_active = X_train[base_size:]y_train_new_dummy = y_train[base_size:]y_train_new_active = y_train[base_size:]

我们训练298个epoch，在每个epoch中，将训练这俩个模型和选择下一个样本，并根据每个模型的策略选择是否将样本加入到我们的“基础”数据中，并在每个epoch中测试其准确性。因为分类是不平衡的，所以使用平均精度评分来衡量模型的性能。

在随机策略中选择下一个样本，只需将下一个样本添加到虚拟数据集的“新”组中，这是因为数据集已经是打乱的的，因此不需要在进行这个操作。对于主动学习，将使用名为“query”的ActiveLearner方法，该方法获取“新”组的未标记数据，并返回他建议添加到训练“基础”组的样本索引。被选择的样本都将从组中删除，因此样本只能被选择一次。

# arrays to accumulate the scores of each simulation along the epochsdummy_scores = []active_scores = []# number of desired epochsrange_epoch = 298# running the experimentfor i in range(range_epoch):# train the models on the 'base' datasetactive_learner.fit(X_train_base_active, y_train_base_active)dummy_learner.fit(X_train_base_dummy, y_train_base_dummy)# evaluate the modelsdummy_pred = dummy_learner.predict(X_test)active_pred = active_learner.predict(X_test)# accumulate the scoresdummy_scores.append(average_precision_score(dummy_pred, y_test))active_scores.append(average_precision_score(active_pred, y_test))# pick the next sample in the random strategy and randomly# add it to the 'base' dataset of the dummy learner and remove it from the 'new' datasetX_train_base_dummy = np.append(X_train_base_dummy, [X_train_new_dummy[0, :]], axis=0)y_train_base_dummy = np.concatenate([y_train_base_dummy, np.array([y_train_new_dummy[0]])], axis=0)X_train_new_dummy = X_train_new_dummy[1:]y_train_new_dummy = y_train_new_dummy[1:]# pick next sample in the active strategyquery_idx, query_sample = active_learner.query(X_train_new_active)# add the index to the 'base' dataset of the active learner and remove it from the 'new' datasetX_train_base_active = np.append(X_train_base_active, X_train_new_active[query_idx], axis=0)y_train_base_active = np.concatenate([y_train_base_active, y_train_new_active[query_idx]], axis=0)X_train_new_active = np.concatenate([X_train_new_active[:query_idx[0]], X_train_new_active[query_idx[0] + 1:]], axis=0)y_train_new_active = np.concatenate([y_train_new_active[:query_idx[0]], y_train_new_active[query_idx[0] + 1:]], axis=0)

结果如下：

plt.plot(list(range(range_epoch)), active_scores, label='Active Learning')plt.plot(list(range(range_epoch)), dummy_scores, label='Dummy')plt.xlabel('number of added samples')plt.ylabel('average precision score')plt.legend(loc='lower right')plt.savefig("models robustness vs dummy.png", bbox_inches='tight')plt.show()

策略之间的差异还是很大的，可以看到主动学习只使用25个样本就可以达到平均精度0.9得分！ 而使用随机的策略则需要175个样本才能达到相同的精度！

Tambahan pula, skor model dengan strategi pembelajaran aktif menghampiri 0.99, manakala skor model rawak berhenti sekitar 0.95! Jika kami menggunakan semua data, maka skor akhir mereka adalah sama, tetapi tujuan kajian kami adalah untuk melatih sejumlah kecil data berlabel, jadi hanya 300 sampel rawak dalam set data digunakan.

Ringkasan

Kertas kerja ini menunjukkan faedah menggunakan pembelajaran aktif untuk tugas pengimejan sel. Pembelajaran aktif ialah satu set kaedah dalam pembelajaran mesin yang mengutamakan penyelesaian untuk contoh data tidak berlabel berdasarkan kesan labelnya terhadap prestasi model. Memandangkan data pelabelan adalah tugas yang melibatkan banyak sumber (wang dan masa), adalah perlu untuk menilai sampel mana yang hendak dilabelkan yang boleh memaksimumkan prestasi model.

Pengimejan sel telah memberi sumbangan besar kepada bidang biologi, perubatan dan farmakologi. Pada masa lalu, menganalisis imej sel memerlukan modal insan profesional yang berharga, tetapi kemunculan teknologi seperti pembelajaran aktif menyediakan penyelesaian yang sangat baik untuk bidang seperti perubatan yang memerlukan sejumlah besar set data beranotasi manusia.

Atas ialah kandungan terperinci Analisis ringkas pembelajaran aktif data imej sel. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!