AI infra抖音搜推架构一面分享
发一下问题给大家参考,攒攒人品!
项目相关:
1.Kv cache 大小计算
2.量化的方法
3.推理加速思路总体流程
4.tvm 框架
八股:
1.训练显存计算
2.共享指针是线程安全的吗
3. c++申请内存的方式有哪些
4.Kv cache 的作用以及为什么有 kv cache
5.激活值会占多少显存
6.pytorch的代码是用python写的(慢),它是如何优化这个问题的、哪些方法可以保证量化的准确性
手撕:买卖股票的最佳时机:一次和多次;
项目相关:
1.Kv cache 大小计算
2.量化的方法
3.推理加速思路总体流程
4.tvm 框架
八股:
1.训练显存计算
2.共享指针是线程安全的吗
3. c++申请内存的方式有哪些
4.Kv cache 的作用以及为什么有 kv cache
5.激活值会占多少显存
6.pytorch的代码是用python写的(慢),它是如何优化这个问题的、哪些方法可以保证量化的准确性
手撕:买卖股票的最佳时机:一次和多次;
全部评论
相关推荐
查看9道真题和解析