
文章来源: 更新时间:2024-10-31 17:50:09
我看很多人都在夸丐版升级了16G内存,其实很多人没意识到这次Mini最高支持到64G内存, 在1万5挡位上出现了一个前所未有的的LLM(本地大模型)利器 有一个开源项目,用来对比不同显卡运行大模型的情况 [1]Average speed (tokens/s) of generating *** tokens by GPUs on LLaMA 3. Higher speed is ***ter. GPU8B Q4_K_M8B F1670B Q4_K_M70B F163070 8GB70.94OOMOOMOOM3080 10GB106.40OOMOOMOOM3080 Ti 12GB106.71OOMOOMOOM4070 Ti…。
地址:广东省广州市天河区88号电话:400-123-4657传真:+86-123-4567
版权所有: