首页 > 试题广场 >

以下代码片段实现了什么优化技术？```pythonwith

[单选题]
以下代码片段实现了什么优化技术？
```python
with torch.inference_mode():
with torch.autocast(device_type='cuda', dtype=torch.float16):
output = model.generate(input_ids, max_new_tokens=100)
```
  • INT8量化推理
  • 混合精度推理（自动将计算转为FP16）
  • 梯度检查点
  • 投机解码
查看正确选项
添加回答

这道题你会答吗？花几分钟告诉大家答案吧！

提交观点

问题信息

推理
难度：
0条回答 16浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号