排序
基于图神经网络进行分子活性预测
该项目通过利用图神经网络来解析和预测化学分子结构对HIV的活性,展示了深度学习在药物发现领域的应用潜力。项目的核心是如何从分子结构中有效提取特征,并利用这些特征进行准确的活性预测。通...
深度学习模型九大经典初始化方案
1. 正态分布初始化 正态分布初始化将权重初始化为来自正态(或高斯)分布的随机数。该分布通常以0为均值,其标准差(或方差)可以根据网络的特定需求进行调整。这种方法在保证权重不会开始时过...
Wasserstein GAN
引言 WGAN,即Wasserstein GAN,旨在解决传统GAN训练中的一些问题,尤其是训练不稳定和梯度消失。WGAN通过使用Wasserstein距离(Earth-Mover距离或EM距离)来衡量真实数据分布和生成数据分布之...
GoogLeNet:探索宽度的力量
0.引言 在2014年的ImageNet挑战赛(ILSVRC14)上,GoogLeNet和VGGNet成为了当年的双雄。GoogLeNet获得了图片分类大赛的第一名,VGGNet紧随其后。这两种模型的共同特点是网络深度更深。VGGNet是...
Swin Transformer:窗口化的Transformer
0.引言 Swin Transformer是2021年微软研究院发表在ICCV(International Conference on Computer Vision)上的一篇文章,并且已经获得ICCV 2021最佳论文(Best Paper)的荣誉称号。Swin Transfor...
Graph Sample and Aggregate Network(GraphSAGE)
不管是GraphSAGE,还是GCN,它们的核心思想其实与朴素的GNN思想一致,都是每个节点根据图的连接结构,通过聚合邻居信息来更新自身节点的信息,再把更新后的节点向量送入神经网络层做进一步的学...
EfficientNet:轻量化网络
1.EfficientNetV1 EfficientNet源自Google Brain的论文EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks。从标题中可以看出,这篇论文最主要的创新点是模型缩放。论...
GPT-3:大语言模型的爆发
引言 在科技界,GPT3的热潮正如火如荼地展开。这类庞大的语言模型(比如GPT3)开始以它们惊人的能力让我们惊叹。虽然现在对于大多数企业来说,将它们直接应用于面对客户的业务中还不够可靠,但...
自注意力机制(Self-Attention)
Transformer模型中最关键部分就是自注意力(Self-Attention)机制,正如 Transformer 的论文的标题是“Attention Is All You Need”!以文本问题为例来讲解这个机制。在处理文本问题时,自注意...
卷积的九大变体算法
引言 卷积神经网络(CNN)的核心在于其多样化的卷积技术,每种技术针对不同的应用和性能需求有着独特的优势。逐通道卷积和逐点卷积关注单独通道的特征提取和通道间信息的融合。深度可分离卷积结...