1. 从“看图说话”到“看靶配药”：DrugCLIP的跨界启示

最近在跟一个做药物发现的朋友聊天，他正为一个新靶点筛选先导化合物发愁。传统的虚拟筛选，要么是基于分子对接的计算模拟，耗时耗力，要么是基于已知活性数据的机器学习模型，严重依赖标注数据，对于全新的、数据稀少的靶点往往束手无策。他半开玩笑地说：“要是能像教AI看图说话一样，让模型‘看’一眼蛋白质结构，就能‘说’出哪些分子可能有效，那就好了。”

这句话点醒了我。这不就是“CLIP”的思路吗？在计算机视觉领域，OpenAI的CLIP模型通过对比学习，将图像和文本映射到同一个语义空间，实现了“图文互搜”的惊人能力。一张猫的图片，即使训练数据里没有“猫”这个标签，模型也能通过语义关联找到描述它的文本。那么，在药物发现这个领域，我们能不能也构建一个“蛋白质-分子”的CLIP呢？让模型学会理解蛋白质靶点的“功能语言”和药物分子的“结构语言”，在同一个空间里衡量它们的“匹配度”，从而绕过繁琐的对接计算和稀缺的活性数据，直接进行高效的虚拟筛选。

这就是DrugCLIP的核心思想。它不是一个具体的、已发布的工具名称，而是一个极具潜力的研究方向和技术范式。简单来说，DrugCLIP旨在通过对比学习（Contrastive Learning）技术，学习蛋白质和分子的通用、可对齐的表示（Representation），使得在表示空间中，有相互作用的蛋白质-分子对彼此靠近，而无相互作用的对彼此远离。一旦这个模型训练成功，给定一个新的蛋白质靶点（哪怕从未见过），我们只需要计算其表示，然后与海量化合物库中所有分子的表示进行快速的距离计算或相似度匹配，就能高效地筛选出潜在的活性分子。这就像是为药物发现打造了一个“语义搜索引擎”。

2. 为什么是“对比学习”？虚拟筛选的范式革新

要理解DrugCLIP的价值，得先看看传统虚拟筛选的“痛点”。目前主流方法大致分两类：

2.1 基于分子对接的模拟方法

这种方法像“锁钥模型”的计算机版本。我们需要蛋白质靶点的三维结构（“锁”），以及小分子化合物的三维结构（“钥匙”）。通过复杂的物理力场计算，模拟小分子在蛋白质活性口袋中的各种结合姿态，并打分评价结合强度（如结合自由能）。代表性工具有AutoDock Vina, Glide等。

• 优点：物理意义明确，对于结合模式预测有一定解释性。
• 缺点：
  1. 计算成本极高：对接一个分子到一个靶点可能需要几分钟到几小时，面对百万级、千万级的化合物库，筛选周期以月甚至年计。
  2. 精度依赖参数：打分函数的准确性是瓶颈，假阳性率高。
  3. 依赖精确结构：需要蛋白质的精确三维结构，对于许多难以结晶的膜蛋白或无序蛋白区域，此方法失效。

2.2 基于机器学习的定量构效关系模型

这类方法将药物发现视为一个监督学习问题。我们需要一个标注好的数据集：{蛋白质，分子，活性值（如IC50）}。模型从这些数据中学习从“蛋白质-分子对”到“活性”的映射函数。深度学习模型，如图神经网络（GNN）用于分子，卷积神经网络（CNN）或循环神经网络（RNN）用于蛋白质序列，在此领域应用广泛。

• 优点：一旦模型训练好，预测速度极快（毫秒级）。
• 缺点：
  1. 严重依赖标注数据：高质量、大规模的蛋白质-分子相互作用数据极其稀缺且获取成本高昂。对于全新靶点（即“冷启动”问题），模型无能为力。
  2. 可迁移性差：在一个靶点家族上训练好的模型，在另一个结构迥异的靶点上可能表现很差。
  3. 黑箱模型：预测结果缺乏像对接那样的直观物理解释。

2.3 对比学习：一条“少依赖标注”的新路

对比学习的核心思想不是预测一个具体的标签（如活性值），而是学习一种“关系判断”：拉近正样本对，推开负样本对。在DrugCLIP的语境下：

• 正样本对：已知有相互作用的（蛋白质，分子）对。
• 负样本对：随机组合的、大概率没有相互作用的（蛋白质，分子）对，或已知无相互作用的对。

模型的目标是学习两个编码器（一个编码蛋白质，一个编码分子），使得正样本对在表示空间中的距离（如余弦相似度）尽可能大，负样本对的相似度尽可能小。这带来几个根本性优势：

1. 数据效率更高：我们不需要精确的IC50值，只需要二元标签（有相互作用/无相互作用）。这类数据相对更容易获取，可以从公开的数据库（如ChEMBL, BindingDB）中通过设定活性阈值来构建。
2. 解决冷启动问题：模型学习的是蛋白质和分子各自通用的“语义表示”。对于一个全新的蛋白质，即使它从未在训练集中出现过，只要编码器能从其序列或结构中提取出有意义的特征（例如，某个特定的酶催化口袋特征），就能在表示空间中找到与它“语义”相近的分子。这突破了传统QSAR模型对同靶点数据的依赖。
3. 实现跨模态检索：训练完成后，蛋白质编码器和分子编码器可以将各自模态的数据映射到同一个空间。这意味着我们可以进行双向检索：
   • 靶点→配体：给定一个蛋白质，在分子库中检索与其表示最相似的分子（虚拟筛选）。
   • 配体→靶点：给定一个分子（或一个副作用），反向推测其可能作用的蛋白质靶点（靶点垂钓或副作用机制解释）。

这正契合了我朋友的需求：面对一个数据稀少的新靶点，利用对比学习模型从海量无标注或弱标注的蛋白质和分子数据中学到的通用知识，进行快速、高效的初筛。

3. DrugCLIP的核心架构：双塔模型与信息编码

一个典型的DrugCLIP模型架构是一个“双塔式”的神经网络，如下图所示（概念示意）：

[蛋白质输入] --> [蛋白质编码器] --> [蛋白质表示向量] | |--[对比损失函数]（计算相似度，拉近正对，推远负对） | [分子输入] --> [分子编码器] --> [分子表示向量]

下面我们拆解每个关键部分。

3.1 蛋白质的“语言”如何编码？

蛋白质是一种由20种氨基酸按特定顺序排列而成的生物大分子。如何将这种一维序列或三维结构转化为计算机能理解的数字向量（即表示学习），是第一步。

• 主流方法：基于序列的预训练模型目前最主流、最有效的方式是使用在超大规模蛋白质序列数据库（如UniRef）上预训练好的语言模型。这些模型将蛋白质序列视为一种“生物语言”。

  • ESM系列：由Meta AI开发，如ESM-2，拥有高达150亿参数，能生成每个氨基酸位置以及整个蛋白质的上下文感知的表示。这个表示蕴含了进化、结构和功能信息。
  • ProtTrans系列：基于Transformer架构（如BERT, T5）在蛋白质序列上训练，同样能产生高质量的蛋白质表示。
  • 输入与处理：对于DrugCLIP，我们通常取这些预训练模型输出的[CLS]token的表示，或对全体氨基酸表示进行池化（如平均池化），得到一个固定维度的向量（如1280维），作为整个蛋白质的“语义摘要”。

• 进阶方法：结合结构信息如果蛋白质的三维结构已知（通过实验或AlphaFold2预测），可以引入结构特征。

  • 图表示：将蛋白质视为图，节点是氨基酸残基，边是空间距离或化学键。使用图神经网络（GNN）来学习结构感知的表示。
  • 表面口袋特征：专门提取药物结合口袋的几何形状、静电势、疏水性等物理化学特征，与序列表示融合。
  • 实操注意：直接使用结构信息会增加计算复杂度和数据要求。在实际的DrugCLIP实现中，往往优先采用基于序列的预训练模型，因为其数据可得性极高（所有蛋白质都有序列），且预训练表示已经隐式包含了丰富的结构和功能信息，效果通常已经非常强大。将结构信息作为补充特征，是性能进一步提升的方向。

3.2 分子的“语言”如何编码？

小分子药物通常用SMILES字符串或分子图来表示。

• 基于SMILES的编码：SMILES是一种用ASCII字符串描述分子结构的线性表示。我们可以使用专门在化学分子SMILES上预训练的语言模型（如ChemBERTa, MolFormer）来将SMILES字符串编码为向量。这种方式与蛋白质序列编码非常对称。
• 基于分子图的编码：这是目前更主流、更强大的方法。将分子视为图，原子是节点，化学键是边。
  • 节点特征：原子类型、杂化状态、形式电荷、度等。
  • 边特征：键类型、共轭、是否在环中等。
  • 模型：使用图神经网络（GNN），如图卷积网络（GCN）、图注意力网络（GAT）或消息传递神经网络（MPNN），来迭代地聚合邻居信息，最终通过图池化得到整个分子的表示向量。
  • 优势：GNN能天然地捕捉分子的拓扑结构和官能团信息，对药物分子的表征能力通常优于基于SMILES的模型。

3.3 对比学习的“裁判”：损失函数

这是模型训练的灵魂，它指导着双塔编码器如何调整参数。最常用的是InfoNCE损失（或称NT-Xent损失），其思想来源于SimCLR和CLIP。

对于一个批次（Batch）内的N个（蛋白质，分子）对，我们计算所有蛋白质和所有分子表示之间的余弦相似度，得到一个N×N的相似度矩阵。对角线上的元素是正样本对的相似度，其他是非对角线上的负样本对相似度。

对于第i个正样本对，其损失函数为：L_i = -log(exp(sim(z_protein_i, z_mol_i) / τ) / Σ_{j=1}^{N} exp(sim(z_protein_i, z_mol_j) / τ))

其中，sim是余弦相似度，τ是一个温度超参数，控制分布的尖锐程度。这个损失函数的直观解释是：让第i个蛋白质与第i个分子的相似度，远高于它与本批次内所有其他分子的相似度。同时，我们也会计算从分子到蛋白质方向的对称损失，两者相加得到总的对比损失。

3.4 训练流程与数据构建

1. 数据准备：从ChEMBL、BindingDB等数据库中收集蛋白质-分子相互作用数据。设定一个活性阈值（如IC50 < 10 μM），将数据转化为二元标签（1表示有相互作用）。对于每个有相互作用的对，通过随机替换蛋白质或分子，构造负样本对。确保正负样本比例平衡。
2. 模型初始化：蛋白质编码器加载ESM-2等预训练权重（通常冻结一部分底层，微调顶层）。分子编码器使用预训练的GNN或在化学数据集上从头训练。
3. 前向传播：一个批次的数据分别通过蛋白质塔和分子塔，得到两组表示向量。
4. 计算损失：计算所有向量对的相似度矩阵，进而计算InfoNCE损失。
5. 反向传播与优化：通过梯度下降更新两个编码器的参数。
6. 评估：通常在一个留出的测试集上，评估模型检索的准确性，如Recall@K（在前K个检索结果中命中真实活性分子的比例）。

注意：温度参数τ是一个关键超参数。τ值较小会放大相似度差异，使模型更关注困难的负样本；τ值较大则会使分布更平滑。通常需要通过验证集进行调优。

4. 从理论到实践：构建一个简易DrugCLIP原型

理解了原理，我们动手搭建一个简化版的DrugCLIP，以验证其可行性。这里我们使用PyTorch和PyTorch Geometric（用于GNN）框架，并假设使用蛋白质序列和分子图作为输入。

4.1 环境准备与数据加载

# 创建环境并安装依赖 conda create -n drugclip python=3.9 conda activate drugclip pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 根据CUDA版本调整 pip install torch-geometric pip install biopython transformers pandas scikit-learn pip install fair-esm # 用于ESM-2模型

我们使用一个公开的小规模数据集进行演示，例如从BindingDB下载部分人源激酶靶点及其活性分子的数据。

import pandas as pd import torch from torch_geometric.data import Data, Batch from transformers import AutoTokenizer, AutoModel import esm # 假设我们有一个CSV文件，列包括：target_id, target_sequence, smiles, label df = pd.read_csv('kinase_binding_data.csv') # 简单划分训练集和测试集 from sklearn.model_selection import train_test_split train_df, test_df = train_test_split(df, test_size=0.2, random_state=42)

4.2 定义蛋白质编码器（使用ESM-2）

class ProteinEncoder(torch.nn.Module): def __init__(self, model_name='esm2_t33_650M_UR50D', embed_dim=1280, proj_dim=256): super().__init__() # 加载ESM-2模型和分词器 self.esm_model, self.alphabet = esm.pretrained.load_model_and_alphabet_hub(model_name) self.batch_converter = self.alphabet.get_batch_converter() # 冻结ESM的大部分层，只微调最后几层 for param in self.esm_model.parameters(): param.requires_grad = False # 解冻最后几层 for param in self.esm_model.layers[-2:].parameters(): param.requires_grad = True # 投影层，将ESM输出维度映射到与分子表示相同的空间 self.projection = torch.nn.Sequential( torch.nn.Linear(embed_dim, 512), torch.nn.ReLU(), torch.nn.Dropout(0.1), torch.nn.Linear(512, proj_dim) ) def forward(self, protein_seqs): # protein_seqs: list of protein sequence strings batch_labels, batch_strs, batch_tokens = self.batch_converter(protein_seqs) batch_tokens = batch_tokens.to(next(self.parameters()).device) with torch.no_grad(): # 前向传播时，冻结层部分不计算梯度 results = self.esm_model(batch_tokens, repr_layers=[33]) # 取第33层的表示 token_representations = results["representations"][33] # 取每个序列的`[CLS]` token（即开头token）的表示作为整个蛋白质的表示 protein_embeddings = token_representations[:, 0, :] # 通过投影层 projected_embeddings = self.projection(protein_embeddings) # L2归一化，便于计算余弦相似度 projected_embeddings = torch.nn.functional.normalize(projected_embeddings, dim=-1) return projected_embeddings

4.3 定义分子编码器（使用GNN）

from torch_geometric.nn import GCNConv, global_mean_pool from torch_geometric.data import Data from rdkit import Chem from rdkit.Chem import AllChem class MolEncoder(torch.nn.Module): def __init__(self, node_in_dim=78, edge_in_dim=4, hidden_dim=256, proj_dim=256): super().__init__() # 简单的GCN编码器 self.conv1 = GCNConv(node_in_dim, hidden_dim) self.conv2 = GCNConv(hidden_dim, hidden_dim) self.conv3 = GCNConv(hidden_dim, hidden_dim) self.projection = torch.nn.Sequential( torch.nn.Linear(hidden_dim, proj_dim), torch.nn.ReLU(), torch.nn.Dropout(0.1), ) def forward(self, data): # data: PyG Batch object containing x, edge_index, edge_attr, batch x, edge_index, batch = data.x, data.edge_index, data.batch x = self.conv1(x, edge_index).relu() x = self.conv2(x, edge_index).relu() x = self.conv3(x, edge_index) # 图池化，得到整个图的表示 graph_emb = global_mean_pool(x, batch) # 投影层 projected_emb = self.projection(graph_emb) # L2归一化 projected_emb = torch.nn.functional.normalize(projected_emb, dim=-1) return projected_emb

4.4 定义对比损失函数

def info_nce_loss(protein_emb, mol_emb, temperature=0.07): """ 计算对称的InfoNCE损失 protein_emb: [batch_size, proj_dim], L2 normalized mol_emb: [batch_size, proj_dim], L2 normalized """ batch_size = protein_emb.size(0) # 计算相似度矩阵，因为已经归一化，点积即余弦相似度 sim_matrix = torch.matmul(protein_emb, mol_emb.T) / temperature # [batch_size, batch_size] # 标签：对角线位置是正样本 labels = torch.arange(batch_size).to(protein_emb.device) # 蛋白质到分子的损失 loss_p2m = torch.nn.functional.cross_entropy(sim_matrix, labels) # 分子到蛋白质的损失 loss_m2p = torch.nn.functional.cross_entropy(sim_matrix.T, labels) loss = (loss_p2m + loss_m2p) / 2 return loss

4.5 训练循环

# 初始化模型、优化器 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') protein_encoder = ProteinEncoder().to(device) mol_encoder = MolEncoder().to(device) optimizer = torch.optim.AdamW(list(protein_encoder.parameters()) + list(mol_encoder.parameters()), lr=1e-4) # 假设我们有一个函数将SMILES转换为PyG Data对象 def smiles_to_graph(smiles): mol = Chem.MolFromSmiles(smiles) # ... 这里省略具体的特征提取和图构建代码，可使用rdkit和torch_geometric工具 # 返回一个PyG Data对象 return data # 简化训练步骤 for epoch in range(num_epochs): protein_encoder.train() mol_encoder.train() for batch in train_dataloader: # 需要自定义DataLoader来生成(protein_seq, smiles, label)批次 protein_seqs = batch['protein_seq'] smiles_list = batch['smiles'] # 获取蛋白质和分子表示 protein_emb = protein_encoder(protein_seqs) mol_graphs = [smiles_to_graph(s) for s in smiles_list] mol_batch = Batch.from_data_list(mol_graphs).to(device) mol_emb = mol_encoder(mol_batch) # 计算对比损失 loss = info_nce_loss(protein_emb, mol_emb) optimizer.zero_grad() loss.backward() optimizer.step() # 在测试集上评估检索性能 # ... 评估代码

4.6 虚拟筛选应用

模型训练好后，虚拟筛选就变得非常简单：

def virtual_screening(target_protein_seq, compound_smiles_list): """ 对单个靶点进行虚拟筛选 target_protein_seq: 靶点蛋白质序列字符串 compound_smiles_list: 待筛选化合物的SMILES列表 """ protein_encoder.eval() mol_encoder.eval() with torch.no_grad(): # 编码靶点 target_emb = protein_encoder([target_protein_seq]) # (1, proj_dim) # 批量编码化合物库 compound_embs = [] # 这里可以分批次处理大型化合物库 for smiles in compound_smiles_list: graph = smiles_to_graph(smiles).to(device) emb = mol_encoder(graph) compound_embs.append(emb) compound_embs = torch.cat(compound_embs, dim=0) # (N, proj_dim) # 计算相似度 similarities = torch.matmul(target_emb, compound_embs.T).squeeze(0) # (N,) # 按相似度降序排序，返回索引和SMILES sorted_idx = torch.argsort(similarities, descending=True) ranked_smiles = [compound_smiles_list[i] for i in sorted_idx.cpu().numpy()] ranked_scores = similarities[sorted_idx].cpu().numpy() return list(zip(ranked_smiles, ranked_scores))

这个原型清晰地展示了DrugCLIP的工作流程。在实际研究中，还需要考虑更复杂的分子特征、更先进的GNN架构（如Attentive FP, D-MPNN）、更高效的大规模负采样策略以及更严谨的评估基准。

5. 挑战、优化与未来展望

尽管DrugCLIP思路诱人，但在实际落地中面临诸多挑战，这也是当前研究的前沿。

5.1 核心挑战

1. 负样本的质量问题：对比学习极度依赖负样本。随机采样的“负样本对”中，很可能包含一些实际上有相互作用但未被数据库收录的“假阴性”。这会给模型带来噪声，误导学习。如何构建高质量的负样本集（如通过分子对接打分过滤掉可能结合的对，或利用蛋白质家族信息）是一个关键问题。
2. 表示空间的对齐与坍缩：模型可能学到一种“偷懒”的解决方案，比如将所有蛋白质或所有分子都映射到表示空间中一个很小的区域，这样虽然损失函数值低，但失去了判别能力。这被称为“表示坍缩”。需要设计更好的损失函数或正则化项来避免。
3. 多模态信息的融合：蛋白质和分子都有丰富的多模态信息（序列、结构、相互作用图谱、物化性质）。如何有效地融合这些信息，而不是简单地使用序列或图，是提升模型性能的关键。例如，可以将AlphaFold2预测的结构特征与ESM序列特征结合。
4. 评估标准的缺失：如何公正地评估一个DrugCLIP模型的性能？传统的虚拟筛选评估指标（如富集因子、AUC）仍然适用，但需要构建更具挑战性的测试集，例如包含大量未见过的蛋白质家族的“冷启动”测试集。

5.2 可能的优化方向

• 硬负样本挖掘：在训练过程中，动态地寻找那些与正样本相似度高（即模型容易混淆）的负样本，重点学习区分它们。
• 引入三元组损失：除了正负样本对，引入“锚点-正样本-负样本”三元组，直接约束相对距离，可能比InfoNCE更稳定。
• 知识蒸馏：利用计算成本高昂但更精确的分子对接程序或更复杂的深度学习模型作为“教师”，来指导DrugCLIP“学生”模型的学习，提升其表示的质量。
• 大规模预训练：在超大规模的未标注蛋白质序列和分子结构数据上进行自监督预训练，让编码器先学好各自模态的通用表示，再进行对比学习微调。这类似于自然语言处理中的“预训练-微调”范式。

5.3 从“AI大模型训练”看DrugCLIP的演进

最新的网络热词“AI大模型训练”与“人类学习”的对比，恰好能映射到DrugCLIP的发展上。早期的虚拟筛选模型，就像“题海战术”下的学生，需要大量精确标注的习题（蛋白质-分子活性数据）才能学会解题。而DrugCLIP代表的对比学习范式，则更像人类通过“观察和比较”来学习概念。我们不需要知道每张图片的详细描述（强标注），只需要知道“这张图配这段文字”是对的，“那张图配那段文字”是错的（弱监督/自监督），就能建立起图文之间的语义关联。

未来的DrugCLIP，很可能走向“基础模型”的道路。就像GPT理解了人类语言，CLIP理解了图文关系，我们可以设想一个在数十亿蛋白质序列和数亿分子结构上训练出的“生物化学基础模型”。这个模型内化了蛋白质折叠的规律、分子合成的规则以及两者相互作用的基本原理。当面对一个全新的药物发现任务时，它不需要针对该靶点进行重新训练，只需通过简单的“提示”或“上下文学习”，就能给出合理的分子建议。这将把药物发现的起点从“数据密集型”转向“知识密集型”，极大地加速源头创新。

在我个人的实践中，尝试复现这类模型时，最大的体会是数据管道构建和负采样策略的重要性往往超过模型结构本身。一个干净、无偏、涵盖足够多样性的数据集，是模型成功的基石。另外，不要一开始就追求最复杂的融合模型，从简单的序列/图对比学习基线出发，确保流程跑通、评估可靠，再逐步加入结构特征、多任务学习等复杂模块，是更稳妥的迭代路径。这个领域正在快速发展，保持对最新预训练模型和损失函数设计的关注，是跟上节奏的关键。