1. Transformer 为什么使用多头注意力机制，为什么不只用一个头？多头注意力的核心，不是单纯把一个 attention 做很多遍，而是让模型在不同子空间里同时学习不同类型的关系。一个头可能更关注主语和谓语的关系，另一个头可能更关注长距离依赖，还有的头更容易学到局部词序和语义搭配。如果只用一个头，模型也能做注意力，但它只能在一个投影空间里建模，表达能力会受限。多头的做法是先把输入分别线性映射成多组 (Q,K,V)，每组各自做 attention，最后再拼接起来。这样模型就能从多个角度同时看同一句话。公式一般写成：其中：所以多头的本质价值是：增强表示能力，而不是简单重复计算。2. 为什么...

大概是刚工作没多久的时候。本来以为只要进了不错的公司，做的都是很有成就感的事，但慢慢发现很多时间其实都在改需求、赶进度、反复沟通。有一刻突然意识到，工作更多是责任和交换，而不是想象里的“成就感时刻”。那时候算是对工作有点祛魅了，但也更清楚自己想要什么。

每日有7亿人次骑电动两轮车出行，这是中国城镇化发展最有力的注脚，也是绿色出行潮流的形象体现，可你有没有发觉，身边“电驴子”的样子，早已和当年不一样？当售价从一千多大幅涨至四千元甚至更高，当扫码开启车辆、用手机控车、自动泊车成了新车标配，中国两轮电瓶车行业，正经历一场过去不曾有的结构性变革。这场变革的要点，是新国标全部落地跟智能化浪潮的双向叠加，曾经被雅迪、爱玛等传统巨头紧紧把控的以渠道和价格为王的时期正渐渐退去；而以九号、小牛为代表的智能新起之秀，正携着全新的产品思路，加快夺取市场主导权。这向来不是简易的新旧替换，而是一回从交通工具到智能终端的认知重建，一场着眼行业未来的新崛起力量与旧王者之战...

26年是不是都要大力搞AI，现在做Agent就是最好的方向吗。。