
文章来源: 更新时间:2025-02-02 11:10:07
果然懂这其中门道的人不多,但英伟达还是懂的 禁售H20不是针对训练的,是针对推理的 DeepSeek本来也不用H20做训练,他用的是H800做训练,H20就不是训练卡而是推理卡 现在的大模型因为参数量太大,还要支持长上下文和大Batch,对推理算力的需求是远远大过训练的。
DeepSeek具体怎么部署推理集群的方法也是在技术报告里提及了的,但是它只说了用了H800没说用了 H20。
他也是***用了笔顿分离的技术方案,把推理里计算最集中的笔谤别蹿颈濒濒颈苍驳…。
地址:广东省广州市天河区88号电话:400-123-4657传真:+86-123-4567
版权所有: