2023年，我们见证了机器学习的一个耀眼应用——OpenAI的Chat GPT。这个模型不仅仅展现了写作连贯、充满激情的文章的能力，更超出了我们对当前语言模型能力的预期。Chat GPT虽然并非一个特别新颖...

引言 在第三章中，我们探讨了全连接神经网络（FCNN）和卷积神经网络（CNN）的结构，以及它们的训练方法和使用场景。值得注意的是，这两种网络结构都是处理独立的输入数据，即它们无法记忆或理解...

引言 WGAN，即Wasserstein GAN，旨在解决传统GAN训练中的一些问题，尤其是训练不稳定和梯度消失。WGAN通过使用Wasserstein距离（Earth-Mover距离或EM距离）来衡量真实数据分布和生成数据分布之...

问题描述 梯度弥散：在深层神经网络中，梯度弥散是指在反向传播过程中梯度逐渐变小，以至于在网络的较浅层梯度接近于零。这导致网络的这些层的权重几乎不更新，使得模型难以学习到输入数据的复...

Transformer模型中最关键部分就是自注意力（Self-Attention）机制，正如 Transformer 的论文的标题是“Attention Is All You Need”！以文本问题为例来讲解这个机制。在处理文本问题时，自注意...