工行软开北京

1. 了解哪些激活函数？重点说 GeLU常见激活函数有ReLU、LeakyReLU、Sigmoid、Tanh、GeLU。GeLU是平滑非线性，近似“按概率保留输入”，在Transformer/BERT中常优于ReLU。 import torch.nn as nn act = nn.GELU() 2. 项目的构建过程完整流程通常包括：业务定义 → 数据采集与标注 → 数据清洗与EDA → 建模实验 → 指标评估 → 误差分析 → 部署上线 → 监控迭代。面试回答要突出你负责模块、优化动作和量化收益。3. BERT 模型的构建包括：分词器选择、预训练模型加载、任务头设计（分类/序列标注）、损失函数...