第 17 题：模型量化（Quantization）及 INT8 / INT4 题目 什么是模型量化（Quantization）？INT8 和 INT4 量化的实现方式有何不同？ 一、什么是模型量化？ 量化指把模型权重（和可选地激活）从 FP32/FP16 映射到低比特整数（如 INT8、INT4），从而减少显存占用、提高推理吞吐与能效，在可接受的精度损失下部署大模型。 二、INT8 量化常见实现  对称量化：， 为 scale（通常由 tensor 的 abs max 或分位数定）；反量化 。权重量化常用 per-tensor 或 per-channel scale。 激活：可与权重同用 IN...

目前研一，双末九。一个paper，ccfb跟大模型没什么关系。一段实习，大厂java后端实习。目前想以后找大模型应用开发的实习，以及毕业找应用开发的工作。现在做了一个62m的llama训练全流程，以及一个小的rag系统。但是感觉这些项目都太简单了。对于实习和工作是不够的。但是就是不知道该怎么准备，需要做哪些项目呢。感觉现在网上的教程都好杂。感谢感谢

嵌入式 AI 项目不在多，而在“有没有真实落地价值”。相比纯算法项目，更推荐做那些能在设备上跑起来、有优化过程、有明确指标的项目。比较值得做的方向有：实时目标检测：在树莓派或 Jetson 上部署 YOLO，做量化和加速，实现稳定帧率语音识别 / 关键词唤醒：在 MCU 或低功耗设备上跑轻量模型，突出功耗与响应速度智能摄像头：结合摄像头 + AI，实现人脸识别或行为检测，打通完整数据链路工业/传感器异常检测：用时序数据做简单模型，并在嵌入式端实时推理这些项目的共同点是：模型 + 优化 + 部署 + 实际效果完整闭环。只要能把这条链路讲清楚，并给出性能数据（延迟、内存、功耗），含金量就会很高。