1. 参数量
指参数的数量,即一个模型包含多少个参数 \color{blue}{指参数的数量,即一个模型包含多少个参数} 指参数的数量,即一个模型包含多少个参数。单位M(10的6次方)。
1.1. 卷积层参数计算
卷积层需要关注的参数有conv(kernel_size, in_channel, out_channel),即卷积核大小,输入输出通道数,和偏差bias。
计算公式:param = (k_size * k_size * in_channel + bias) * out_channel
例子:
图像大小: 640 * 640 * 3
卷积核大小: 3 * 3
输入通道大小: 3
输出通道大小: 64
则参数个数为: param = (3 * 3 * 3 + 1) * 64=1792
1.2. 全连接层参数计算
全连接层需要关注的参数有输入神经元数M和输出神经元数N。
计算公式:param = (M + 1) * N
例子:
输入神经元: 3
输出神经元: 5
则参数个数为:param=(3+1)*5=20
训练时需要一次输入batch_size张图片,所以还需要乘上batch_size。
1.3. 输出层参数计算
是指特征图的参数量 \color{blue}{是指特征图的参数量} 是指特征图的参数量。
模型输出的特征图尺寸大小为HxW,通道数为C,那么总的参数量为CxHxW。
计算公式:param = H * W * C
1.4. 训练与测试的参数量
虽然训练需要一次输入batch_size个样本,但是 不会影响参数量 \color{blue}{不会影响参数量} 不会影响参数量,因为是同一组模型参数同时分别作用于不同的样本,然后对所有样本上得到的损失函数值求和,最后根据梯度下降法来进行参数更新。
2. 模型大小
指一个模型的大小,即模型所占存储空间 \color{blue}{指一个模型的大小,即模型所占存储空间} 指一个模型的大小,即模型所占存储空间。单位MB(MByte的缩写):
在深度学习神经网络中,最常见的数据格式是float32,占4个字节(Byte)。类似地,float16,占2个字节。1024个字节为1KB,1024x1024个字节为1MB。那么存储10000个参数需要的内存大小为10000x4 Bytes,约为39KB。存储1M(100万)个参数需要的内存大小为39x100/1024MB,约为3.8MB。深度学习神经网络的参数量通常是百万级之上的,所以我们可以将3.8MB看作是一个基本单位,即每一百万个数字需要3.8MB。
注意,不仅仅是模型参数需要存储空间,特征图中的每个元素,在训练时反向传播计算的权重梯度也需要相同的存储空间,而且梯度数量和模型参数数量一样,因为每个参数都需要一个梯度来更新。 \color{blue}{注意,不仅仅是模型参数需要存储空间,特征图中的每个元素,在训练时反向传播计算的权重梯度也需要相同的存储空间,而且梯度数量和模型参数数量一样,因为每个参数都需要一个梯度来更新。} 注意,不仅仅是模型参数需要存储空间,特征图中的每个元素,在训练时反向传播计算的权重梯度也需要相同的存储空间,而且梯度数量和模型参数数量一样,因为每个参数都需要一个梯度来更新。
3. 理论计算量
FLOPs,s是指秒,即每秒浮点运算次数的意思,考量一个网络模型的计算量的标准。单位与参数量单位一样,大模型的单位通常为G,小模型单位通常为M。
例子:
input:N * H * W
output: M * H * W
filters: K * K
params:N * K * K * M
FLOPs:W * H * N * K * K * M
若算上加法: ((K * K + 1) * N+ (N - 1)) * W * H * M
其中,(K * K + 1)表示在一个卷积核计算时叠加bias,乘以N表示在输入的channel方向进行乘积,即一组乘积,N - 1表示一组卷积之后对N个结果进行N-1次加法来叠加结果,(K * K + 1) * N+ (N - 1)表示最终汇聚成特征图上的一个点,乘以W * H * M表示最终的输出特征图中所有点的个数。
注意,反向传播更新权重参数过程也需要计算量。 \color{blue}{注意,反向传播更新权重参数过程也需要计算量。} 注意,反向传播更新权重参数过程也需要计算量。
参考:
/p/4afe8308dab1
/suiyingy/article/details/125173843
/blog/article/1370711/dd18f8f5f126ea76beb6/
http://events.jianshu.io/p/41c1ab51467d
/dhy5710/article/details/127520025
/news/6228c58d9ddf223e1ad04a1e.html