作者： 蒋智昊

“维度灾难” 在机器学习中经常会碰到一些高维的数据集，而在高维数据情形下会出现数据样本稀疏，距离计算等困难，这类问题是所有机器学习方法共同面临的严重问题。 特征冗余在高维特征中容易出现特征之间的线性相关。

PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。 PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，提取数据的主要特征分量，常用于高维数据的降维。

import matplotlib.pyplot as p

聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法。聚类分析以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。 实现聚类分析的计算方法称为聚类算法，在机器学习中是涉及对数据进行分组的一种算法，即在给定的数据集中，我们通过聚类算法将其分成一些不同的组。在理论上，相同的组的数据之间有相同的属性或者是特征，不同组数据之间的属性或者特征相差就会比较大。聚类算法是一种非监督学习算法，并且作为一种常用的数据分析算法在很多领域上

contour：轮廓，等高线。等高线是三维图像在二维空间的投影。

contourf([X, Y,] Z, [levels], **kwargs)

contour([X, Y,] Z, [levels], **kwargs)

contour函数绘制三维图像到二维图像所对应的等高线，而contourf函数也是绘制等高线，只不过contourf是带填充的等高线。这两个函数的参数都是一样的。

参数X、Y表示等高线的坐标，Z表示等高线的高度，也就是坐标点(x, y)对应的高度h。

如果

支持向量机（Support Vector Machine，SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）。

SVM使用铰链损失函数（hinge loss）计算经验风险（empirical risk）并在求解系统中加入了正则化项以优化结构风险（structural risk），是