【星海出品】大模型微调-Part-One

LoRA (Low-Rank Adaptation of Large Language Model)
大规模语言模型的低秩适应
低秩: 指矩阵的秩远小于其行数和列数，意味着数据中存在大量冗余信息 。

NLA - 自然语言自编码器（Natural Language Autoencoder(s)）

DeepSeek-Flash（即DeepSeek-V4-Flash）的总参数量为2840亿（284B），但在实际推理时，只会激活约130亿（13B）的参数

LLaMA-Factory
Unsloth Pro + LoRA-XT + QLoRA

HuggingFace生态: https://huggingface.co/
阿里巴巴达摩院提出的魔塔社区： https://modelscope.cn
行业有人称其为中国版的HuggingFace

LLaMA-Factory: https://github.com/hiyouga/LLaMA-Factory
Unsloth: https://github.com/unslothai/unsloth

适用 RTX 5080
使用的5080 16G显存 甜点级 大模型
文本生成模型：8B-13B级别（如Llama 3 8B/13B、Qwen2.5 14B）全精度模型

对比ollama提供的cloud 模型速度比，本地速度快出一小截
可能涉及到本地调整的参数与云上不同，以及云传的网络过滤延迟等。