首页 > 试题广场 >

以下关于vLLM的PagedAttention的block大

[单选题]
以下关于vLLM的PagedAttention的block大小(block_size)设置,描述正确的是?
  • block_size越大越好,可以减少分页管理开销
  • block_size越小越好,可以减少内存浪费
  • block_size需要权衡:太小增加管理开销,太大增加内存碎片;通常设为16或32
  • block_size必须等于max_seq_len

这道题你会答吗?花几分钟告诉大家答案吧!