统计学习

统计学习

统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科.统计学习也称为统计机器学习(statistical machine learning)

• 统计学习的目的是对数据进行预测与分析
• 统计学习以方法为中心,统计学习方法构建模型并应用模型进行预测与分析
• 统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科,并在发展中逐步形成独自的理论体系与方法论.

统计与机器学习的区别

统计学习:注重数学的方法来搭建模型--产生过程已知

机器学习:注重用工程的方法来搭建模型--产生过程未知

统计学习关于数据的基本假设是同类数据具有一定的统计规律性,对于训练数据(train data)要求是独立同分布的IID(Independent Identically Distributed)

统计学习的目的

统计学习用于对数据的预测与分析,特别是对未知新数据的预测与分析.

对数据的预测与分析是通过构建概率统计模型实现的.考虑学习什么样的模型和如何学习模型,以使模型能对数据进行精确的预测与分析,同时也要考虑尽可能提高学习效率.

统计学习的方法

统计学习的方法是基于数据构建概率统计模型从而对数据进行预测与分析.

统计学习是由监督学习(supervised learning),无监督学习(unsupervised learning)和强化学习(reinforcement learning)等组成.

统计学习方法:

• 从给定的、有限的、用于学习的训练数据(training data)集合出发,假设数据是独立同分布产生的;
• 并且假设要学习的模型属于某个函数的集合,称为假设空间(hypothesis space);
• 应用某个评价准则(evaluation criterion)从假设空间中选取一个最优模型,是他对已知的训练数据及未知的测试数据(test data)在给定的评价准者下有最优的预测;
• 最优模型的选取有算法实现。

统计学习方法的三要素：

• 模型的假设空间 --- 模型(model)
• 模型选择的准则 --- 策略(strategy)
• 模型学习的算法 --- 算法(algorithm)

实现统计学习方法的具体步骤:

1. 一个有限的训练数据集合
2. 确定包含所有可能的模型假设空间，即学习模型的集合;
3. 确定模型选择的准则，即学习策略;
4. 实现求解最优模型的算法，即学习的算法;
5. 通过学习方法选择最优模型;
6. 利用学习的最优模型对新数据进行预测或分析;

统计学习研究

包括:

• 统计学习方法
• 统计学习理论
• 统计学习应用

1. 统计学习方法的研究旨在开发新的学习方法;
2. 统计学习理论的研究在于探索统计学习方法的有效性与效率,以及统计学习的基本理论问题;
3. 统计学习应用的研究主要考虑将统计学习方法应用到实际问题中去，解决实际问题。

统计学习的重要性

1. 统计学习是处理海量数据的有效方法
2. 统计学习是计算机智能化的有效手段
3. 统计学习是计算机科学发展的一个重要组成部分