꼭 알아야 할 데이터 과학: 10가지 중요한 개념 + 22가지 차트의 의미

01 Bias-variance trade-off

이것은 머신러닝의 가장 중요한 이론 중 항상 상위권을 차지하는 개념입니다. 머신러닝(딥 러닝 포함)의 거의 모든 알고리즘은 편향과 분산 사이의 올바른 균형을 유지하려고 노력하며, 이 다이어그램은 둘 사이의 반대를 명확하게 설명합니다.

02 지니 불순도 및 엔트로피

지니(동질성 부족 측정)와 엔트로피(무작위 측정)는 모두 의사결정 트리의 노드 불순도 측정입니다.

이 두 개념의 경우 주어진 시나리오에서 올바른 지표를 선택할 수 있으려면 둘 사이의 관계를 이해하는 것이 더 중요합니다.

지니 불순물(계수)은 일반적으로 엔트로피보다 계산하기 쉽습니다(엔트로피에는 로그 계산이 포함되기 때문).

03 정밀도 대 재현율 곡선

정밀도-재현율 곡선은 다양한 임계값에 대한 정밀도와 재현율 간의 균형을 보여줍니다. 곡선 아래의 넓은 영역은 높은 재현율과 높은 정밀도를 나타냅니다. 여기서 높은 정밀도는 낮은 잘못된 경고 비율과 관련이 있고 높은 재현율은 낮은 잘못된 경고 비율과 관련이 있습니다.

필요에 따라 올바른 임계값을 선택하는 데 도움이 됩니다. 예를 들어, 제1종 오류를 줄이는 것이 목표라면 높은 정밀도를 선택해야 하고, 제2종 오류를 최소화하는 것이 목표라면 재현율이 높은 임계값을 선택해야 합니다.

• 정확도 분모는 변수입니다. 즉, 위양성(양성으로 분류된 음성 샘플)은 매번 변경됩니다.
• 재현율 분모는 상수입니다. 이는 실제 값의 총 개수를 나타내므로 항상 동일하게 유지됩니다.

그래서 아래 그림에서 Precision의 끝에는 물결 모양이 있는 반면 Recall은 항상 평평하게 유지됩니다.

04 ROC 곡선

ROC 곡선은 모든 분류 임계값에서 분류 모델의 성능을 보여주는 그래프입니다.

이 곡선은 두 가지 매개변수를 표시합니다.

真阳性率<br>误报率

이 곡선 아래의 영역(AUC라고 함)은 성능 지표로 사용할 수도 있습니다. AUC가 높을수록 모델이 더 좋습니다.

05 弯头曲线

用于K-means算法中最优簇数的选择。WCSS（簇内平方和）是给定簇中每个点与质心之间的平方距离之和。当我们用 K（簇数）值绘制 WCSS 时，该图看起来像一个肘部（弯头）。

随着聚类数量的增加，WCSS 值将开始下降。K = 1时WCSS值最大

06三块地块

它帮助我们在对高维数据执行主成分分析后，可视化每个主成分解释的变异百分比。为了选择正确数量的主成分来考虑我们的模型，我们通常会绘制此图并选择能够为我们提供足够好的总体方差百分比的值。

07线性和逻辑回归曲线

对于线性可分数据，我们可以进行线性回归或逻辑回归，二者都可以作为决策边界曲线/线。但是，在逻辑回归的情况下，由于通常只有 2 个类别，因此具有线性直线决策边界可能不起作用，在一条直线上值从低到高非常均匀地上升，因为它不够陡峭在值突然上升后会得到很多临界的高值或者低值，最终会错误分类。因此，"边界"区域，即概率从高到低转变的区域并不真正存在。所以一般情况下会应用 sigmoid 变换将其转换为 sigmoid 曲线，该曲线在极端情况下是平滑的，在中间几乎是线性的。

08支持向量机（几何理解）

09标准正态分布规则（z-分布）

均值为0，标准差为1的特殊正态分布。

经验法则指出，按照正态分布观察到的数据中有 99.7% 位于平均值的 3 个标准差以内。根据该规则，68% 的数据在一个标准差内，95% 在两个标准差内，99.7% 在三个标准差内。10学生T分布T 分布（也称为学生 T 分布）是一系列分布，看起来几乎与正态分布曲线相同，只是更短和更宽/更胖。当我们有较小的样本时，我们使用 T分布而不是正态分布。样本量越大，t 分布越像正态分布。事实上，在 30 个样本之后，T 分布几乎与正态分布完全一样。

요약

우리는 결정을 내리거나 올바른 모델을 선택하는 데 기초가 되는 작지만 중요한 개념을 많이 접할 수 있습니다. 이 글에서 언급된 중요한 개념들은 관련 다이어그램으로 표현될 수 있습니다. 이러한 개념은 매우 중요하므로 처음 볼 때 그 의미를 알아야 합니다. 위의 개념을 숙지했다면 다음 내용을 설명해볼 수 있습니다. 사진은 다음을 나타냅니다:

위 내용은 꼭 알아야 할 데이터 과학: 10가지 중요한 개념 + 22가지 차트의 의미의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!