convert.py fp8_cast_bf16.py generate.py kernel.py model.py 就这几个文件? 就这一个文件就可以实现一个大模型?
大模型的开源指的是权重
大模型里的大,指的是训练集大
@106npo 权重是什么意思
当然不是呀。DeepSeek 所谓的开源是指开源里大模型的权重。你可以理解为一个公式,DeepSeek 给出的最优解集合。开源的当然不是解的过程。 一般情况下,会有三个文件,配置文件、权重文件和 Tokenizer 文件。
完全开源 (Open Source / Open Source AI - OSI): 遵循 Open Source Initiative 的定义。指不仅开放模型权重,还开放训练代码、数据预处理流程、甚至训练数据集的完整生态,OLMo 就是一个例子。 开放权重 (Open Weights): 大多数所谓的“开源”大模型均属于此。这类模型会公开模型参数( Weight ),使您可以运行、微调模型,但通常不公开训练数据来源、预训练时的配比策略或完整代码。例如,早期的 Llama 系列通常被认为是开放权重。
登录后可发帖和回复
大模型的开源指的是权重