규칙 기반 및 기계 학습 접근 방식을 결합하여 강력한 하이브리드 시스템 구축

수년이 지난 지금, 우리는 ML이 더 나은 성능을 발휘하지는 못하더라도 최소한 거의 모든 곳에서 ML 이전 솔루션과 일치할 수 있다고 확신합니다. 예를 들어 일부 규칙 제약 조건의 경우 트리 기반 ML 모델로 대체할 수 있는지 모두 생각해 볼 것입니다. 그러나 세상이 항상 흑백인 것은 아니며, 머신러닝이 문제 해결에 있어서 확실히 그 자리를 차지하지만 항상 최선의 솔루션은 아닙니다. 규칙 기반 시스템은 특히 설명 가능성, 견고성 및 투명성이 중요한 영역에서 기계 학습보다 뛰어난 성능을 발휘할 수 있습니다.

이 기사에서는 몇 가지 실제 사례를 소개하고 수동 규칙과 ML을 결합하여 솔루션을 개선하는 방법을 소개합니다.

규칙 기반 시스템

규칙 기반 시스템은 미리 정의된 규칙을 통해 의사 결정을 지원합니다. 이 시스템은 저장된 규칙을 기반으로 데이터를 평가하고 매핑을 기반으로 특정 작업을 수행합니다.

다음은 몇 가지 예입니다.

사기 탐지: 사기 탐지에서는 규칙 기반 시스템을 사용하여 사전 정의된 규칙에 따라 의심스러운 거래를 신속하게 표시하고 조사할 수 있습니다.

예를 들어 체스 치트의 기본 방법은 컴퓨터 체스 응용 프로그램을 다른 창에 설치하고 해당 프로그램을 사용하여 체스를 두는 것입니다. 프로그램이 아무리 복잡해도 각 단계를 완료하는 데 4~5초가 걸립니다. 따라서 플레이어의 각 단계의 시간을 계산하기 위해 "임계값"이 추가됩니다. 변동이 크지 않으면 아래 그림과 같이 사기꾼으로 판단될 수 있습니다.

의료 산업 : Rule 기반의 시스템을 활용하여 처방을 관리하고 투약오류를 예방할 수 있습니다. 또한 의사가 이전 결과를 기반으로 환자에게 추가 분석을 처방하는 데 매우 유용할 수 있습니다.

공급망 관리: 공급망 관리에서 규칙 기반 시스템을 사용하여 재고 부족 경고를 생성하고 만료 날짜 또는 신제품 출시를 관리하는 데 도움을 줄 수 있습니다.

기계 학습 기반 시스템

기계 학습(ML) 시스템은 알고리즘을 사용하여 명시적으로 프로그래밍하지 않고도 데이터에서 학습하고 예측을 하거나 조치를 취합니다. 머신러닝 시스템은 대량의 데이터에 대한 훈련을 통해 얻은 지식을 사용하여 새로운 데이터에 대한 예측과 결정을 내립니다. ML 알고리즘은 훈련에 더 많은 데이터가 사용됨에 따라 성능을 향상시킬 수 있습니다. 기계 학습 시스템에는 자연어 처리, 이미지 및 음성 인식, 예측 분석 등이 포함됩니다.

사기 탐지: 은행은 기계 학습 시스템을 사용하여 과거 사기 거래로부터 학습하고 잠재적인 사기 활동을 실시간으로 식별할 수 있습니다. 또는 시스템을 리버스 엔지니어링하여 매우 "비정상"해 보이는 트랜잭션을 찾을 수도 있습니다.

의료: 병원에서는 ML 시스템을 사용하여 환자 데이터를 분석하고 특정 엑스레이를 기반으로 환자의 특정 질병 발병 가능성을 예측할 수 있습니다.

비교

규칙 기반 시스템과 ML 시스템 모두 고유한 장점과 단점이 있습니다.

규칙 기반 시스템의 장점은 분명합니다.

• 이해하고 설명하기 쉬움
• 빠른 구현
• 수정하기 쉬움
• 강건함

단점:

• 다양한 변수와 관련된 문제
• 제약사항이 많은 문제
• 기존 규칙으로 제한됨

ML 기반 시스템의 장점도 분명함

• 자율 학습 시스템
• 더 복잡한 문제 해결 능력
• 규칙 기반 시스템에 비해 사람의 개입이 줄어들고 효율성이 향상됨
• 지속적인 학습을 통해 데이터 및 환경 변화에 유연하게 적응

단점:

• 필요 데이터, 때로는 많은
• 이 우리가 이전에 보았던 데이터 ML에 국한됩니다.
• 제한된 인지 능력

비교를 통해 두 시스템의 장점과 단점이 충돌하지 않고 보완적이라는 것을 발견했습니다. 그래서 방법이 있습니까? 장점을 결합하는 방법은 무엇입니까?

하이브리드 시스템

최근 규칙 기반 시스템과 머신러닝 알고리즘을 결합한 하이브리드 시스템이 인기를 끌고 있습니다. 특히 복잡한 문제를 처리할 때 더욱 강력하고 정확하며 효율적인 결과를 제공할 수 있습니다.

임대 데이터 세트를 사용하여 구현할 수 있는 하이브리드 시스템을 살펴보겠습니다.

특성 엔지니어링: 건물 층에 따라 층을 높음, 중간, 낮음의 세 가지 범주 중 하나로 변환합니다. 숫자. 이를 통해 ML 모델의 효율성을 향상할 수 있습니다

하드 코딩된 규칙은 입력 데이터에서 중요한 특징을 식별하고 추출하기 위한 특징 엔지니어링 프로세스의 일부로 사용될 수 있습니다. 예를 들어 문제 영역이 명확하고 모호하지 않으면 규칙을 쉽고 정확하게 정의할 수 있으며, 하드 코딩된 규칙을 사용하여 새로운 기능을 생성하거나 기존 기능을 수정하여 기계 학습 모델의 성능을 향상시킬 수 있습니다. 하드코딩 규칙과 기능 엔지니어링은 서로 다른 기술이지만 함께 사용하여 기계 학습 모델의 성능을 향상시킬 수 있습니다. 하드 코딩된 규칙을 사용하여 새로운 기능을 생성하거나 기존 기능을 수정할 수 있으며, 기능 엔지니어링을 사용하여 하드 코딩된 규칙으로 쉽게 캡처할 수 없는 기능을 추출할 수 있습니다.

사후 처리: 최종 결과를 반올림하거나 정규화합니다.

하드 코딩된 규칙은 기계 학습 모델의 출력을 수정하기 위한 사후 처리 단계의 일부로 사용될 수 있습니다. 예를 들어, 기계 학습 모델이 일부 알려진 규칙이나 제약 조건과 일치하지 않는 일련의 예측을 출력하는 경우 하드 코딩된 규칙을 사용하여 규칙이나 제약 조건을 준수하도록 예측을 수정할 수 있습니다. 필터링이나 평활화와 같은 후처리 기술은 노이즈나 오류를 제거하거나 전반적인 예측 정확도를 향상시켜 기계 학습 모델의 출력을 개선할 수 있습니다. 이러한 기술은 기계 학습 모델의 출력 확률적 예측이나 입력 데이터에 불확실성이 있을 때 특히 효과적입니다. 어떤 경우에는 후처리 기술을 사용하여 추가 정보로 입력 데이터를 향상시킬 수도 있습니다. 예를 들어 기계 학습 모델이 제한된 데이터 세트에 대해 훈련된 경우 사후 처리 기술을 사용하여 외부 소스(예: 소셜 미디어 또는 뉴스 피드)에서 추가 기능을 추출하여 예측 정확도를 높일 수 있습니다.

Case

Healthcare

심장병에 대한 데이터를 살펴보겠습니다:

Random Forest를 사용하여 대상 클래스를 예측한다면:

clf = RandomForestClassifier(n_estimators=100, random_state=random_seed
 X_train, X_test, y_train, y_test = train_test_split(
 df.iloc[:, :-1], df.iloc[:, -1], test_size=0.30, random_state=random_seed
 )
 clf.fit(X_train, y_train))

여기서 Random Forest를 선택하는 이유 중 하나는 다음과 같습니다. 빌드 기능 중요도 기능입니다. 훈련에 사용되는 기능의 중요성은 아래에서 확인할 수 있습니다.

결과 보기:

y_pred = pd.Series(clf.predict(X_test), index=y_test.index
 cm = confusion_matrix(y_test, y_pred, labels=clf.classes_)
 conf_matrix = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=clf.classes_)
 conf_matrix.plot())

f1_score(y_test, y_pred): 0.74
 recall_score(y_test, y_pred): 0.747

이때 심장 전문의가 모델을 봅니다. 그는 자신의 경험과 분야 지식을 바탕으로 지중해빈혈 특성(thal)이 위에 표시된 것보다 훨씬 더 중요하다고 믿습니다. 그래서 우리는 히스토그램을 만들고 결과를 보기로 결정했습니다.

그런 다음 필수 규칙을 지정합니다.

y_pred[X_test[X_test["thal"] == 2].index] = 1

결과 혼동 행렬은 다음과 같습니다.

f1_score(y_test, y_pred): 0.818
 recall_score(y_test, y_pred): 0.9

결과가 크게 향상되었습니다. 이는 도메인 지식이 환자 점수를 평가하는 데 중요한 역할을 하는 곳입니다.

사기 거래

아래 데이터 세트는 은행 사기 거래입니다.

데이터 세트의 불균형이 심함:

df["Class"].value_counts()
 0 28431
 1 4925

규칙을 생성하기 위해 기능의 분포 상자 플롯을 살펴봅니다.

우리는 자체 HybridEstimator 클래스를 작성할 것입니다. 수동 규칙에 대한 예측자 역할을 합니다:

from hulearn.classification import FunctionClassifier
 rules = {
 "V3": ("<=", -2),
 "V12": ("<=", -3),
 "V17": ("<=", -2),
 }
 def create_rules(data: pd.DataFrame, rules):
 filtered_data = data.copy()
 for col in rules:
 filtered_data[col] = eval(f"filtered_data[col] {rules[col][0]} {rules[col][1]}")
 result = np.array(filtered_data[list(rules.keys())].min(axis=1)).astype(int)
 return result
 hybrid_classifier = FunctionClassifier(create_rules, rules=rules)

순수 규칙 기반 시스템과 kNN 방법의 결과를 비교할 수 있습니다. 여기서 kNN을 사용하는 이유는 불균형한 데이터를 처리할 수 있기 때문입니다.

보시다시피, 3개의 규칙만 작성하면 KNN 모델보다 더 나은 성능을 발휘합니다

요약

여기의 예는 그다지 정확하지 않을 수 있지만 하이브리드 모델이 빠른 속도와 같은 실용적인 이점을 제공한다는 것을 설명하기에 충분합니다. 구현, 이상값에 대한 우수한 대응 견고성 및 투명성 향상. 비즈니스 로직과 머신러닝을 결합할 때 유용합니다. 예를 들어 의료 분야의 하이브리드 규칙-ML 시스템은 환자 데이터를 분석하는 기계 학습 알고리즘과 임상 규칙을 결합하여 질병을 진단할 수 있습니다. 머신러닝은 많은 작업에서 탁월한 결과를 얻을 수 있지만, 보충적인 도메인 지식도 필요합니다. 도메인 지식은 기계 학습 모델이 데이터를 더 잘 이해하고 더 정확하게 예측 및 분류하는 데 도움이 될 수 있습니다.

하이브리드 모델은 도메인 지식과 기계 학습 모델을 결합하는 데 도움이 될 수 있습니다. 하이브리드 모델은 일반적으로 여러 하위 모델로 구성되며 각 하위 모델은 특정 도메인 지식에 최적화되어 있습니다. 이러한 하위 모델은 하드 코딩된 규칙을 기반으로 한 모델, 통계 방법을 기반으로 한 모델, 심지어 딥 러닝을 기반으로 한 모델일 수도 있습니다.

하이브리드 모델은 도메인 지식을 사용하여 기계 학습 모델의 학습 프로세스를 안내함으로써 모델의 정확성과 신뢰성을 향상시킬 수 있습니다. 예를 들어 의료 분야에서 하이브리드 모델은 의사의 전문 지식과 머신러닝 모델의 힘을 결합해 환자의 질병을 진단할 수 있습니다. 자연어 처리 분야에서 하이브리드 모델은 언어 지식과 기계 학습 모델의 기능을 결합하여 자연어를 더 잘 이해하고 생성할 수 있습니다.

간단히 말하면, 하이브리드 모델은 도메인 지식과 기계 학습 모델을 결합하여 모델의 정확성과 신뢰성을 향상시키고 다양한 작업에 폭넓게 적용할 수 있도록 도와줍니다.

위 내용은 규칙 기반 및 기계 학습 접근 방식을 결합하여 강력한 하이브리드 시스템 구축의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!