本人华五本硕电子信息专业，计算机视觉方向。本科阶段行情好一心想去互联网，想着水个研究生再去挣钱。本科毕业观察到互联网下坡路，转头准备选调，参与实习后也不太喜欢，最后转向央国企求职/读博。研二下找实习阶段随大流跟着同门一起投互联网，由于之前准备读博，有几篇论文在投，就把之前做的工作整合了一下，做了简历海投，历经几个大厂的多轮面试，最后也比较幸运的拿到了基本所有的大厂算法岗，有的是AIGC 有的是视觉。最后去了阿里实习拿了转正。秋招三手抓选手，凭着实习和论文集邮了算法多个ssp（虽然最后都没去），也考了选调（央选、江苏名优），面了一堆央国企（电网、银行、运营商），目标都是江浙沪base, 所以都基本是省分和南京上海杭州。回顾秋招，整理了以下的面经和八股供参考，如果你也有类似的选择或者困惑，也可以向我咨询交流，待遇、强度、氛围或多或少都有了解。总的来说，秋招不易，也没有所谓最好的选择。尽力而为，和自己和解最重要！面经概括总体依托于对项目深挖，一般一小时左右，面试官觉得时间还剩很多或者对项目不感兴趣，会出算法题让现场手撕，或者连着问八股。所以其他方面准备不足的话，项目是最核心的面试谈资，可以弥补自己的不足！反问环节，可以多问问他们刚才问的问题期待的答案是什么，他们在做的是什么业务，技术栈有哪些，没过的话积累经验，过了的话方便准备下一轮面试！项目方面，可以做一个精美的PPT在面试时主动展示，把握住面试的主导机会，引导面试官提问！淘天 AIGC图像算法面经一面（50min）八股：1、gan和diffusion区别2、diffusion优劣常见的采样方式及原理ddim dpm++ lcm turbo3、sdxl相比sd的改进 详细分析每个部分的改动意图4、开放问题 sora diffusion3看法 如何训练达成精准文字生成？项目：问了一大堆项目，三十分钟左右，问得很细，会结合项目问相关算法原理为什么要用这些方法、这些模块?项目要实现的效果？与现有别的方法的不同？能落地吗？二面（60min）搜索推荐算法背景面试官 没问项目 没问八股伯乐系统现场出了个统计结点热度的题，类似于同时有很多条数据输入，如何处理能提高接收处理效率。开放题，无标准答案，展示能力即可，会多少写多少，展现思路就行。三面（50min）P9主管面 整体问的更宏观。先问项目，要解决的问题是什么，能否落地，能应用到哪些场景，具体细节不会问的太深入，主要集中在能否落地，能带来什么价值。会围绕他们团队自身的业务方向结合项目拷打，他们是做淘宝直播穿搭推荐的，就会从你的项目出发，去结合他们的方向问一些开放式问题，考察你的思路，同时获得一些灵感。阿里云云安全视觉算法面经一面、二面电话面，问项目 给场景 人脸AIGC反欺诈Gan stable diffusion的基本原理 为什么gan难练styleGAN cycleGAN  Faster R-CNN相较于基础模型都改了什么？ 为什么快？SD为什么要用VAE？蚂蚁数字人视觉算法面经一面：项目拷打 半小时有没有关注过最新的的三维重建与SLAM结合的工作，评价一下他们的工作高斯重建的主要误差来自于哪里MVS点云采样和NeRF点云采样你认为哪个更好，为什么高斯代码里的一些细节（比如高斯球占据的tile近似计算等等）代码题 问了我用pytorch/cuda处理四线性插值的问题，不用写具体的，说思路还有给一个基本的伪代码二面：让我谈谈对数字人的理解 其潜在的应用价值 未来的构想高德地图 算法面经一面：一小时，拷打transformer你怎么理解AIGC？讲一下transformertransformer和cnn的区别transformer中embeding怎么做的位置编码你了解哪些形式三角函数位置编码有哪些好处，旋转位置编码呢position embeding 和input怎么融合的多头注意力相比单头优势，encode的时候多头会做融合吗？还是什么时候做融合？高频八股整理模型篇1.vit, dit原理(1) VIT（VisionTransformer）Vision Transformer（VIT）是由 Google 在 2020 年提出的一种基于 Transformer 的计算机视觉模型，主要用于图像分类等任务。VIT 的核心思想是用 Transformer 取代传统的 CNN 进行视觉特征提取。 核心原理图像分割成 Patch：VIT 首先将输入图像划分成多个固定大小的 Patch（如 16×16），然后将每个 Patch 视为一个 token，类似于 NLP 任务中的单词。线性投影：每个 Patch 通过线性变换映射到一个固定维度的向量，形成 token 序列。位置编码：因为 Transformer 不具备 CNN 的局部感受野特性，因此需要加入位置编码（Positional Encoding）来保留图像的空间信息。Transformer 编码：这些 token 通过多层 Transformer 进行处理，包括自注意力机制（Self-Attention）和前馈神经网络（FFN）。分类头：最终，VIT 在 token 之前添加一个 CLS token（分类 token），经过 Transformer 编码后用于分类。 优势:更强的全局特征建模能力，相比 CNN 更擅长捕捉长距离依赖关系。随着数据量增加，VIT 的性能会超越传统 CNN（如 ResNet）。缺点:对数据量要求较高，训练时需要大规模数据集（如 ImageNet-21k）。计算复杂度较高，自注意力机制的计算量随 token 数量增加呈二次增长。 (2) DIT（DiffusionTransformer）DIT（Diffusion Transformer）是一种基于Transformer 的扩散模型，用于图像生成任务。其核心思想是结合 Transformer 的强大建模能力和扩散模型的生成能力。 核心原理扩散模型（Diffusion Model）：扩散模型的基本思路是通过多个步骤逐步去噪，从随机噪声恢复到目标图像。Transformer 结构：DIT 使用 Transformer 作为主干网络，而非 CNN 结构。传统扩散模型通常使用 U-Net 作为去噪网络，而 DIT 采用类似 VIT 的结构，通过自注意力机制处理扩散过程中的图像表示。时间步编码（Timestep Encoding）：DIT 需要引入时间步信息，以便 Transformer 了解当前去噪的阶段。跨 Patch 交互：不同于 CNN 主要关注局部特征，DIT 能够更好地建模全局特征，并提升生成质量。 优势:具备 Transformer 的全局注意力机制，相比 CNN 结构的扩散模型更能捕捉长距离依赖信息。生成的图像质量更高，尤其在大规模数据上表现更优。缺点:计算复杂度较高，扩散模型本身已较慢，结合 Transformer 进一步增加计算需求。训练和推理成本比基于 CNN 的扩散模型更高。 transformers篇1.介绍下transformers的注意力机制Transformers的注意力机制是深度学习模型中的核心概念，尤其在自然语言处理（NLP）领域中，变换器（Transformer）架构已经成为主流。其核心思想就是通过注意力机制（Attention Mechanism）来捕捉序列中各个元素之间的关系，克服了传统RNN（循环神经网络）和LSTM（长短期记忆网络）在处理长序列时的困难。 注意力机制概述注意力机制的主要目标是根据输入的各个部分的重要性动态地调整输出的加权和。对于给定的输入，模型通过计算注意力权重（也叫注意力分数）来决定每个输入元素对当前输出的影响程度。 在传统的Seq2Seq模型中，常常使用注意力机制来改进编码器和解码器之间的连接，使得解码器可以更好地聚焦于输入的不同部分，从而得到更精确的输出。 2.为什么transformers的注意力机制需要多头在自注意力机制中，每个输入元素（如词向量）与所有其他元素进行交互，通过计算各自的注意力权重来决定如何组合信息。具体步骤如下： 输入表示（Input Embedding）： 输入序列中的每个元素（例如词语的词嵌入）都会映射为一个向量，称为输入表示。训练篇1、如何缓解大模型训练的灾难性遗忘？灾难性遗忘（Catastrophic Forgetting） 是指在训练大模型时，模型在学习新知识的过程中，可能会丢失或覆盖之前学到的知识。这个问题在大规模预训练和持续学习（Continual Learning）中尤为突出。缓解灾难性遗忘的方法主要包括正则化方法、参数隔离方法、回放方法和架构设计优化等。 1. 正则化方法（Regularization-based Methods）正则化方法通过对模型的参数进行约束，防止其在新任务训练时过度偏离之前学到的知识。 (1) 权重约束 (Elastic Weight Consolidation, EWC)通过 费舍尔信息矩阵（Fisher Information Matrix） 计算模型参数的重要性，在新任务训练时，对重要参数进行较强的约束，减少其偏移。直观上，相当于在训练新任务时，给之前学习过的重要参数加上“弹簧”，防止它们发生剧烈变化。适用于：多任务学习、持续学习。模型细节篇bert的位置编码是什么样的，目前大模型用的是什么位置编码BERT 使用的是 可学习的位置编码（Learnable Positional Embedding），即每个位置的编码是一个可训练的向量，并随着模型训练自动学习最优的位置表示。与 Transformer 论文的 sin/cos 编码不同，BERT 的位置编码是参数化的，并且通过训练不断优化。 为什么 BERT 选择可学习位置编码？ 更灵活：不像 sin/cos 编码那样固定，BERT 位置编码可以适应 NLP 任务中的不同数据分布。更适合预训练迁移：可以学习特定的模式，使得预训练在下游任务中表现更好。 目前大模型用的是什么位置编码？不同大模型使用不同的 位置编码策略，从 可学习绝对位置编码 逐渐演变为 相对位置编码 & 旋转位置编码，以适应 更长序列和更复杂的任务。 (1)绝对位置编码（Learnable Absolute Position Embedding）模型：BERT、GPT-2方式：每个位置有一个单独的 可学习向量，与 token embedding 维度相同，训练时一起优化。 优点：适用于较短文本，模型能学习最优的位置表示。缺点：无法处理超长序列，超过最大长度（如 512）后无法泛化。 (2)相对位置编码（Relative Position Embedding）模型：T5、DeBERTa、Transformer-XL方式：让注意力计算时引入 相对位置信息，强调 token 之间的相对关系，而不是绝对位置。 优点：更适合 长文本，可处理不同长度的输入，不局限于固定的 max_len。缺点：实现比绝对位置编码更复杂。(3)旋转位置编码（Rotary Positional Embedding, RoPE）模型：GPT-3.5、GPT-4、LLaMA、ChatGLM方式：使用旋转变换来表示 token 的相对位置信息，并在 Q/K 矩阵计算时直接加入。 优点：支持 超长序列，计算时不需要额外的参数，计算效率更高。缺点：较难直观解释，不像可学习编码那样可以直接调参优化。 RoPE 的核心思想： 让相邻token 之间的角度变化是等比例的，这样相对位置信息可以自然融入注意力计算中。这种方法不需要额外的位置参数，只依赖矩阵运算，因此对 超长文本（如 32K token） 处理更高效。多模态篇1.介绍 dpo 算法原理DPO（Direct Preference Optimization）算法原理解析DPO是一种用于 对齐大模型（如 LLMs） 的强化学习方法，旨在取代传统的 PPO（Proximal Policy Optimization） 进行 偏好学习，用于训练 对齐人类偏好的 AI。 为什么需要 DPO？在训练 对齐人类偏好的 AI（如 ChatGPT） 时，通常采用 RLHF（Reinforcement Learning with Human Feedback） 方法： 收集偏好数据（例如用户对两个回答的偏好选择）。用奖励模型（RM）学习偏好分数。用 PPO（强化学习）微调大模型。但 PPO 有以下问题： 不稳定：强化学习优化目标复杂，容易崩塌。难以训练：涉及 KL 约束、奖励建模等步骤，训练难度大。计算开销大：需要训练一个单独的奖励模型（RM），然后用 PPO 微调模型。DPO 直接优化偏好数据，无需强化学习，解决了上述问题。 DPO 的核心思路DPO 的目标是让 模型生成符合人类偏好的输出，但 不需要显式的奖励模型，只用偏好数据就能优化策略。