支持向量机 - SVM（Support Vector Machines）Part 1

支持向量机 - SVM（Support Vector Machines）Part 1

• 线性可分支持向量机学习算法 - 最大间隔法
• 线性可分支持向量机的对偶算法

支持向量机 - SVM（Support Vector Machines）Part 2

支持向量机 - SVM（Support Vector Machines）Part 3

支持向量机 - SVM（Support Vector Machines）Part 1

• 线性可分支持向量机学习算法 - 最大间隔法
• 线性可分支持向量机的对偶算法

支持向量机 - SVM（Support Vector Machines）Part 2

拉格朗日对偶性 - Lagrange Duality

目录

• 原始问题
• 对偶问题
• 原始问题与对偶问题的关系

---

1. 原始问题

假设$ f(x),c_i(x),h_j(x) $是定义在$R^n$上的连续可微函数，考虑约束最优化问题

$$\mathop{\min}_{x \in R^n} f(x)$$

机器学习中的正则化 - Regularization

目录

• 先验知识
• L0正则[范数]
• L1正则[范数]
• L2正则[范数]
• L1和L2的区别

---

1. 先验知识

监督机器学习问题是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。 因为参数太多，会导致我们的模型复杂度上升，容易过拟合。但训练误差小并不是我们的最终目标，我们的目标是希望模型的测试误差小，也就是能准确的预测新的样本。 所以，我们需要保证模型“简单”的基础上最小化训练误差，这样得到的参数才具有好的泛化能力，而模型“简单”就是通过规则函数来实现的。 另外，规则项的使用还可以约束我们的模型的特性。这样就可以将人对这个模型的先验知识融入到模型的学习当中，强行地让学习到的模型具有人想要的特性，例如稀疏、低秩、平滑等等。

卡方检验 - Chi-Squared Test

目录

• 定义
• 统计机器学习中的应用
• 举例
• 特点

---

1. 定义

卡方检验（Chi-Squared Test）是一种统计量的分布在零假设成立时近似服从卡方分布（$\chi^2$分布）的假设检验。在没有其他的限定条件或说明时，卡方检验一般指代的是皮尔森卡方检验。在卡方检验的一般运用中，研究人员将观察量的值划分成若干互斥的分类，并且使用一套理论（或零假设）尝试去说明观察量的值落入不同分类的概率分布的模型。而卡方检验的目的就在于去衡量这个假设对观察结果所反映的程度。

泰勒级数 - Taylor Series

1. 通项公式

$$f(x) = \sum_{n=0}^{\infty}\frac{f^{(n)}(a)}{n!}(x-a)^n = f(a) + f^{(1)}(a)(x-a)^1 + \frac{1}{2!}f^{(2)}(a)(x-a)^2 + \frac{1}{3!}f^{(3)}(a)(x-a)^3+...$$

决策树 - Decision Tree

目录

• ID3
• C45
• 决策树的剪枝
• CART
• 特点
• 代码实现

---

决策树学习的3个步骤：

• 特征选择
• 决策树生成
• 决策树修剪

决策树的损失函数通常为正则化的极大似然函数。

---

1. ID3

ID3算法使用信息增益作为特征选择的标准，信息增益越大越好。

逻辑斯谛回归 - Logistic Regression

目录

• 逻辑斯谛分布
• 逻辑斯谛回归模型
• 逻辑斯谛模型的参数估计
• 逻辑斯谛模型的特点
• 代码实现

逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。

---

1. 逻辑斯谛分布

朴素贝叶斯 - Naive Bayes

目录

• 基本思想
• 算法
• 后验概率最大化的意义
• 特点
• 代码实现

---

1. 基本思想

朴素贝叶斯法通过训练数据集学习联合概率分布$ P(X,Y) $。具体地，学习以下先验概率分布及条件概率分布。

先验概率分布：

$$P(Y=c_k),\quad k=1,2,...,K$$

队伍名：ICRC@HITSZ，获决赛第三名(3/412)，大赛主页

本文是对比赛的思路等的整理，包含后期参考其他队的思路

目录

• Task 1 学者画像信息抽取
• Task 2 学者兴趣标签预测
• Task 3 学者未来影响力预测
• 评测方案

---

Task 1 学者画像信息抽取