2020-04-20 16:10 已编辑韶关学院测试工程师

关注

广东电信，佛山电信

佛山电信有通知了吗？等了快一个月了

#中国电信股份有限公司广东研究院#

全部评论

推荐最新楼层

牛客453642805号

肇庆学院 Java

可以继续蹲，有些会拒offer，你就有机会了

1 回复分享

发布于 2020-04-29 09:34

广州大学品牌运营工程师

哈哈哈我可以问一下面经吗！求解答🤕

点赞回复分享

发布于 2020-11-09 17:27

华南农业大学算法工程师

再蹲

点赞回复分享

发布于 2020-04-22 12:29

12-18 20:29

门头沟学院人工智能

大模型推理加速：KVCache和Pageattendtion

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

机器学习，推理优化，芯片...

点赞评论收藏

分享

12-16 14:43

浙江大学 Java

投递牛客等公司6个岗位

点赞评论收藏

分享

10-30 10:00

华南师范大学前端工程师

害怕冷暴力

嵌入式的小白：有道理哈，这种就看能不能捞

点赞评论收藏

分享

12-20 16:26

网易_数据开发工程师

给27届家人找实习的经验分享

26届数据开发校招薪资如下以下薪资均来自语兴统计公司范围白菜sp+期权ssp+期权美团23-30k23-25k25-27k28-30k小红书30-40k30k35k40k京东28-31k28k29-30k31k（实时数开能拿到33k）字节28-38k28-30k33k附近36-38k虾皮23-32k23-25k27-29k32k腾讯27-33k27-28k29-30k32k快手26-36k26-28k30.5-34k36k百度24-未知24k26k暂时没人拿到缺少数据参考淘天/阿里系25-33k25k26k-28k33k米哈游未知-33k暂时没人拿到缺少数据参考31k33k滴滴21k-未知21...

数据人offer决赛圈怎...

点赞评论收藏

分享

评论

点赞

收藏

全站热榜

更多

创作者周榜

更多

正在热议

更多

# 秋招落幕，你是He or Be #

842次浏览 32人参与

# 应届生进小公司有什么影响吗 #

108365次浏览 1105人参与

# 重来一次，你会对开始求职的自己说 #

1455次浏览 33人参与

# 实习没事做是福还是祸？ #

5527次浏览 83人参与

# 一人说一个提前实习的好处 #

1858次浏览 28人参与

# 团建是“福利”还是是 “渡劫” #

2676次浏览 63人参与

# 你小心翼翼的闯过多大的祸？ #

5331次浏览 82人参与

# OPPO求职进展汇总 #

755646次浏览 5390人参与

# 工作中听到最受打击的一句话 #

1124次浏览 17人参与

# 今年你最想重开的一场面试是？ #

879次浏览 17人参与

# 今年形式下双非本找得到工作吗 #

266048次浏览 1541人参与

# 公司情报交流地 #

127248次浏览 1232人参与

# 实习简历求拷打 #

26052次浏览 257人参与

# 从顶到拉给所有面过的公司评分 #

144549次浏览 516人参与

# 面试尴尬现场 #

209209次浏览 851人参与

# 投格力的你，拿到offer了吗？ #

155370次浏览 829人参与

# 作业帮求职进展汇总 #

85851次浏览 559人参与

# 正在实习的你，有转正机会吗？ #

465925次浏览 3063人参与

# 职场新人生存指南 #

488287次浏览 9511人参与

# 哪些公司笔/面试难度大？ #

7118次浏览 32人参与

牛客网
牛客网在线编程
牛客网题解
牛客企业服务