Mocode-1B-Model

模型描述

Mocode 统一模型，集成 7 个 embedding+MLP 子模型，采用 GGUF v3 格式封装为单一文件。

子模型

架构

• 每个子模型: Embedding(128000, 1024) + MLP(2048→1024→512) + Classifier
• 共享词表: 128,000 tokens
• 总参数量: 950,685,255
• 张量数: 168 (7 子模型 × 24)
• 张量命名:{子模型前缀}.{层名}(如intent.embedding.weight)
• 32 字节对齐，F32 精度，兼容 llama.cpp

元数据

• 全局元数据: model.name, model.vocab, model.submodels 等
• 子模型元数据:submodel.{key}.*(name/type/task/n_classes/labels/hidden_dims 等)

框架

PyTorch 训练，GGUF v3 格式封装。