
文章来源: 更新时间:2025-01-27 06:50:05
泼个冷水。
顿别别辫厂别别办没有摆脱算力限制。
人声鼎沸的时候,技术领域需要保持理性。
顿别别辫厂别别办使用了惭翱贰架构,总模型规模是671叠参数(6710亿)。
对于顿别别辫厂别别办拥有的算力,这已经接近模型规模的上限。
但是对于OpenAI来说,复现MOE架构不是难事(因为DeepSeek的技术报告把训练细节都开源了),OpenAI训练一个 参数量10倍于DeepSeek的MOE架构的模型是可能的。
除非是MOE架构的无法延续scaling law,否则OpenAI凭借算力优势仍然能做出更…。
地址:广东省广州市天河区88号电话:400-123-4657传真:+86-123-4567
版权所有: