第三章 感知机感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取$+1$和$-1$二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数,利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式。感知机预测是用学习得到的感知机模型对新的输入实例进行分类。1. 感知机模型定义2.1（感知机）定义$2.1$（感知机）：假设输入空间（特征空间）是$X \subseteq R^n$，输出空间是$Y=\{+1,-1\}$。输入$x\in X$表示实例的特征向量，对应于输入空间（特征空间）的点；输出$y\in Y$表示实例的类别。由输入空间到输出空间的如下函数：（感知机）$$ f(x)=sign(w\cdot x + b) \tag {2.1} $$$w$和$ b$为感知机模型参数，$w\in R^n$叫做权值(weight)活权值向量(weight vector),$b\
第二章 统计学习及监督学习概论监督学习是从标注中学习模型的机器学习问题,是统计学习,机器学习的重要组成部分.1. 统计学习统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科.统计学习也称为统计机器学习(statistical machine learning)统计学习的目的是对数据进行预测与分析统计学习以方法为中心,统计学习方法构建模型并应用模型进行预测与分析统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科,并在发展中逐步形成独自的理论体系与方法论.统计与机器学习的区别统计学习:注重数学的方法来搭建模型--产生过程已知机器学习:注重用工程的方法来搭建模型--产生过程未知统计学习关于数据的基本假设是同类数据具有一定的统计规律性,对于训练数据(train data)要求是独立同分布的IID(Independent Identically Distributed)统计学习的目的统计学习用于对数据的预测与分析,特别是对未知新数据的预测与分析.对数据的预测与分析是通过构建概率统计模
统计学习统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科.统计学习也称为统计机器学习(statistical machine learning)统计学习的目的是对数据进行预测与分析统计学习以方法为中心,统计学习方法构建模型并应用模型进行预测与分析统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科,并在发展中逐步形成独自的理论体系与方法论.统计与机器学习的区别统计学习:注重数学的方法来搭建模型--产生过程已知机器学习:注重用工程的方法来搭建模型--产生过程未知统计学习关于数据的基本假设是同类数据具有一定的统计规律性,对于训练数据(train data)要求是独立同分布的IID(Independent Identically Distributed)统计学习的目的统计学习用于对数据的预测与分析,特别是对未知新数据的预测与分析.对数据的预测与分析是通过构建概率统计模型实现的.考虑学习什么样的模型和如何学习模型,以使模型能对数据进行精确的预测与分析,同时也要考虑尽可能提高学习效率
一只胖橘