神经网络中权值初始化的方法权值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均匀分布初始化（uniform）、xavier初始化、msra初始化、双线性初始化（bilinear）、数学方法 Kaiming初始化、orthogonal正交初始化。常量初始化(constant)把权值或者偏置初始化为一个常数，具体是什么常数，可以自己定义高斯分布初始化（gaussian）需要给定高斯函数的均值与标准差positive_unitball初始化让每一个神经元的输入的权值和为 1，例如：一个神经元有100个输入，让这100个输入的权值和为1. 首先给这100个权值赋值为在（0，1）之间的均匀分布，然后，每一个权值再除以它们的和就可以啦。这么做，可以有助于防止权值初始化过大，从而防止激活函数（sigmoid函数）进入饱和区。所以，它应该比较适合simgmoid形的激活函数均匀分布初始化（uniform）将权值与偏置进行均匀分布的初始化，用min 与 max 来控制它们的的上下限，默认为（0，1）xavier初始化(
卷积核及小卷积核的优势卷积核卷积核本质上是一个非常小的矩阵，最常用的是 3×3 矩阵。主要是利用核与图像之间进行卷积运算来实现图像处理，能做出模糊、锐化、凹凸、边缘检测等效果。神经网络中卷积核的维度和对(3*3,2)的理解（我的理解）图中输入数据为蓝色部分是一张5*5*3的三维图片，padding=1，变为7*7*3。图中权重数据体为红色部分是两个3*3*3的卷积核，因为输入的数据为3维所以每个卷积核都是3维的，又因为要将输入数据变为3*3*2所以需要两个，在神经网络中可以写成(3*3,2)。正式一点：对于RGB图像，图像为3维，若要提取2个特征，可以设置2个3维卷积核进行特征提取，提取结果为2通道的feature map，2个通道互相独立，代表着不同卷积核提取的不同特征。卷积层演示：下面是一个卷积层的运行演示。因为3D数据难以可视化，所以所有的数据（输入数据体是蓝色，权重数据体是红色，输出数据体是绿色）都采取将深度切片按照列的方式排列展现。输入数据体的尺寸是W1=5,H1=5,D1=3，卷积层参数K=2,F=3,S=2,P=1。K：卷积核个数F：卷积核大小S：步长P：填充数就是说，有
一只胖橘