머신러닝을 사용해 감정을 분석하는 방법

감정 분석을 위해 다양한 머신러닝 알고리즘을 사용한 후 각 알고리즘의 정확도 결과를 비교하여 이 문제에 가장 적합한 알고리즘을 결정했습니다.

감정 분석은 자연어 처리(NLP)에서 중요한 콘텐츠입니다. 감정은 사건, 대상, 상황 또는 사물에 대해 우리가 느끼는 감정입니다. 감성 분석은 텍스트에서 인간의 감정을 자동으로 추출하는 연구 분야입니다. 1990년대 초반부터 서서히 발전하기 시작했다.

이 문서에서는 감정 분석을 위해 기계 학습(ML)을 사용하는 방법을 이해하고 다양한 기계 학습 알고리즘의 결과를 비교할 수 있습니다. 이 글의 목적은 알고리즘 성능을 향상시키는 방법을 연구하는 것이 아닙니다.

요즘 우리는 빠르게 변화하는 사회에 살고 있으며 모든 상품은 온라인으로 구매할 수 있고 누구나 온라인에 자신의 댓글을 게시할 수 있습니다. 그리고 일부 제품에 대한 부정적인 온라인 리뷰는 회사의 평판을 손상시켜 회사의 매출에 영향을 미칠 수 있습니다. 따라서 기업에서는 제품 리뷰를 활용하여 고객이 실제로 원하는 것이 무엇인지 이해하는 것이 매우 중요합니다. 하지만 댓글 데이터가 너무 많아 일일이 수동으로 모든 댓글을 볼 수는 없습니다. 이것이 감정 분석이 탄생한 방법입니다.

이제 머신러닝을 활용하여 기본적인 감정 분석을 수행하는 모델을 개발하는 방법을 살펴보겠습니다.

지금 시작하세요!

데이터 가져오기

첫 번째 단계는 데이터 세트를 선택하는 것입니다. 트윗이나 영화 리뷰 등 공개 리뷰 중에서 선택할 수 있습니다. 데이터 세트에는 라벨과 실제 텍스트 세그먼트라는 두 개 이상의 열이 포함되어야 합니다.

아래 그림은 우리가 선택한 데이터 세트 중 일부를 보여줍니다.

그림 1: 데이터 샘플

다음으로 필요한 라이브러리를 가져옵니다.

import pandas as pd
import numpy as np
from nltk.stem.porter import PorterStemmer
import re
import string

위 코드에서 볼 수 있듯이 ​​NumPy​​ 및 ​​Pandas​​ 데이터를 처리하는 라이브러리입니다. 다른 라이브러리에 대해서도 사용시 설명드리겠습니다. ​NumPy​​ 和 ​​Pandas​​ 库来处理数据。至于其他库，我们会在使用到它们时再说明。

数据集已准备就绪，并且已导入所需的库。接着，我们需要用 ​​Pandas​​ 库将数据集读入到我们的项目中去。我们使用以下的代码将数据集读入 Pandas 数据帧DataFrame

sentiment_dataframe = pd.read_csv(“/content/drive/MyDrive/Data/sentiments - sentiments.tsv”,sep = ‘t’)

数据处理

现在我们的项目中已经导入好数据集了。然后，我们要对数据进行处理，以便算法可以更好地理解数据集的特征。我们首先为数据集中的列命名，通过下面的代码来完成：

sentiment_dataframe.columns = [“label”,”body_text”]

然后，我们对 ​​label​​ 列进行数值化：​​negative​​ 的评论替换为 1，​​positive​​ 的评论替换为 0。下图显示了经过基本修改后的 ​​sentiment_dataframe​

데이터세트가 준비되었으며 필요한 라이브러리를 가져왔습니다. 다음으로 ​​Pandas​​ 라이브러리는 데이터세트를 프로젝트로 읽어옵니다. 다음 코드를 사용하여 데이터 세트를 Pandas DataFrame

def count_punct(text):
 count = sum([1 for char in text if char in string.punctuation])
 return round(count/(len(text) - text.count(“ “)),3)*100
 
tokenized_tweet = sentiment_dataframe[‘body_text’].apply(lambda x: x.split())
stemmer = PorterStemmer()
tokenized_tweet = tokenized_tweet.apply(lambda x: [stemmer.stem(i) for i in x])
for i in range(len(tokenized_tweet)):
 tokenized_tweet[i] = ‘ ‘.join(tokenized_tweet[i])
sentiment_dataframe[‘body_text’] = tokenized_tweet
sentiment_dataframe[‘body_len’] = sentiment_dataframe[‘body_text’].apply(lambda x:len(x) - x.count(“ “))
sentiment_dataframe[‘punct%’] = sentiment_dataframe[‘body_text’].apply(lambda x:count_punct(x))
X = sentiment_dataframe[‘body_text’]
y = sentiment_dataframe[‘label’]

Dataprocessing

으로 읽어 들입니다. 이제 데이터 세트를 프로젝트로 가져왔습니다. 그런 다음 알고리즘이 데이터 세트의 특성을 더 잘 이해할 수 있도록 데이터를 처리합니다. 먼저 다음 코드를 사용하여 데이터세트의 열 이름을 지정합니다.

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X,y, test_size = 0.20, random_state = 99)

그런 다음 데이터세트의 열 이름을 지정합니다. 4px;overflow-wrap: break-word text-indent: 0px;">​label ​​ 열 숫자 값: ​​음수​​ 주석은 1,​​긍정적인​​ 주석은 0으로 대체됩니다. 아래 이미지는 기본 수정 사항을 보여줍니다: ​sentiment_dataframe​​ 값입니다.

🎜그림 2: 기본 수정이 적용된 데이터 프레임🎜🎜🎜특성 값과 목표 값 준비🎜🎜다음 단계는 데이터 전처리입니다. 이는 매우 중요한 단계입니다. 머신러닝 알고리즘은 숫자 데이터만 이해/처리할 수 있고 텍스트는 이해/처리할 수 없기 때문에 이때 문자열/텍스트를 숫자 데이터로 변환하려면 특징 추출이 필요합니다. 또한 중복되고 쓸모 없는 데이터는 학습된 모델을 오염시킬 수 있으므로 제거해야 합니다. 이 단계에서는 노이즈가 있는 데이터, 누락된 값 데이터, 일관성 없는 데이터를 제거합니다. 🎜

对于情感分析，我们在数据帧中添加特征文本的长度和标点符号计数。我们还要进行词干提取，即将所有相似词（如 “give”、“giving” 等）转换为单一形式。完成后，我们将数据集分为两部分：特征值 X 和 目标值 Y。

上述内容是使用以下代码完成的。下图显示了执行这些步骤后的数据帧。

Figure 3: Data frame after the division of the data set

def count_punct(text):
 count = sum([1 for char in text if char in string.punctuation])
 return round(count/(len(text) - text.count(“ “)),3)*100
 
tokenized_tweet = sentiment_dataframe[‘body_text’].apply(lambda x: x.split())
stemmer = PorterStemmer()
tokenized_tweet = tokenized_tweet.apply(lambda x: [stemmer.stem(i) for i in x])
for i in range(len(tokenized_tweet)):
 tokenized_tweet[i] = ‘ ‘.join(tokenized_tweet[i])
sentiment_dataframe[‘body_text’] = tokenized_tweet
sentiment_dataframe[‘body_len’] = sentiment_dataframe[‘body_text’].apply(lambda x:len(x) - x.count(“ “))
sentiment_dataframe[‘punct%’] = sentiment_dataframe[‘body_text’].apply(lambda x:count_punct(x))
X = sentiment_dataframe[‘body_text’]
y = sentiment_dataframe[‘label’]

特征工程：文本特征处理

我们接下来进行文本特征抽取，对文本特征进行数值化。为此，我们使用计数向量器CountVectorizer，它返回词频矩阵。

在此之后，计算数据帧 X 中的文本长度和标点符号计数等特征。X 的示例如下图所示。

Figure 4: Sample of final features

使用的机器学习算法

现在数据已经可以训练了。下一步是确定使用哪些算法来训练模型。如前所述，我们将尝试多种机器学习算法，并确定最适合情感分析的算法。由于我们打算对文本进行二元分类，因此我们使用以下算法：

• K-近邻算法（KNN）
• 逻辑回归算法
• 支持向量机（SVMs）
• 随机梯度下降（SGD）
• 朴素贝叶斯算法
• 决策树算法
• 随机森林算法

划分数据集

首先，将数据集划分为训练集和测试集。使用 ​​sklearn​​ 库，详见以下代码：

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X,y, test_size = 0.20, random_state = 99)

我们使用 20% 的数据进行测试，80% 的数据用于训练。划分数据的意义在于对一组新数据（即测试集）评估我们训练的模型是否有效。

K-近邻算法

现在，让我们开始训练第一个模型。首先，我们使用 KNN 算法。先训练模型，然后再评估模型的准确率（具体的代码都可以使用 Python 的 ​​sklearn​​ 库来完成）。详见以下代码，KNN 训练模型的准确率大约为 50%。

from sklearn.neighbors import KNeighborsClassifier
model = KNeighborsClassifier(n_neighbors=3)
model.fit(X_train, y_train)
model.score (X_test,y_test)
0.5056689342403629

逻辑回归算法

逻辑回归模型的代码十分类似——首先从库中导入函数，拟合模型，然后对模型进行评估。下面的代码使用逻辑回归算法，准确率大约为 66%。

from sklearn.linear_model import LogisticRegression
model = LogisticRegression()
model.fit (X_train,y_train)
model.score (X_test,y_test)
0.6621315192743764

支持向量机算法

以下代码使用 SVM，准确率大约为 67%。

from sklearn import svm
model = svm.SVC(kernel=’linear’)
model.fit(X_train, y_train)
model.score(X_test,y_test)
0.6780045351473923

随机森林算法

以下的代码使用了随机森林算法，随机森林训练模型的准确率大约为 69%。

from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier()
model.fit(X_train, y_train)
model.score(X_test,y_test)
0.6938775510204082

决策树算法

接下来，我们使用决策树算法，其准确率约为 61%。

from sklearn.tree import DecisionTreeClassifier
model = DecisionTreeClassifier()
model = model.fit(X_train,y_train)
model.score(X_test,y_test)
0.6190476190476191

随机梯度下降算法

以下的代码使用随机梯度下降算法，其准确率大约为 49%。

from sklearn.linear_model import SGDClassifier
model = SGDClassifier()
model = model.fit(X_train,y_train)
model.score(X_test,y_test)
0.49206349206349204

朴素贝叶斯算法

以下的代码使用朴素贝叶斯算法，朴素贝叶斯训练模型的准确率大约为 60%。

from sklearn.naive_bayes import GaussianNB
model = GaussianNB()
model.fit(X_train, y_train)
model.score(X_test,y_test)
0.6009070294784581

情感分析的最佳算法

接下来，我们绘制所有算法的准确率图。如下图所示。

Figure 5: Accuracy performance of the different algorithms

可以看到，对于情感分析这一问题，随机森林算法有最佳的准确率。由此，我们可以得出结论，随机森林算法是所有机器算法中最适合情感分析的算法。我们可以通过处理得到更好的特征、尝试其他矢量化技术、或者使用更好的数据集或更好的分类算法，来进一步提高准确率。

既然，随机森林算法是解决情感分析问题的最佳算法，我将向你展示一个预处理数据的样本。在下图中，你可以看到模型会做出正确的预测！试试这个来改进你的项目吧！

그림 6: 샘플 예측

위 내용은 머신러닝을 사용해 감정을 분석하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!