MLP / Feed-Forward Network
MLP / Feed-Forward Network(第78-92行)class MLP(nn.Module):def __init__(self, config):super().__init__()# 输入投影:C → 4Cself.c_fc nn.Linear(config.n_embd, 4 * config.n_embd, biasconfig.bias)self.gelu nn.GELU() # 激…
2026/8/25 6:42:59