诺瓦星云笔试编程题

LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...

#阿里#  #淘天#

一面自我介绍说一下对 Java 多线程的理解，任何方面都行说一下对 CPU 密集型和 IO 密集型的理解？问了一下几个场景哪个属于 CPU 密集型？哪个属于 IO 密集型（排序、数据库访问）问项目的表设计，索引怎么设计？有没有用到设计模式？了解哪些设计模式？项目中用了策略模式去实现锁获取失败的策略，问了下什么情况是有限重试什么情况是无限重试？问科研项目，任务分配怎么多实例场景不被重复分配（回答用的python不是java，但是他说让我考虑一下抛开语言怎么解决这个问题），从xxl-job分布式任务调度去回答的最近对java知识学习了什么？看了什么书、博客、视频什么什么的？直接回答最近在看小林co...