MiniMind 本地部署3 步跑通命令行 WebUI【免费下载链接】minimind Train a 64M-parameter LLM from scratch in just 2h!项目地址: https://gitcode.com/GitHub_Trending/min/minimindMiniMind 是一个 64M 参数的超小语言模型本地部署不挑硬件。跟着本文走一遍你既能在终端里直接跟模型对话也能在浏览器里打开一个能调参数、能挂工具的聊天页。本文覆盖最短部署路径装依赖、拉模型、启动三步装好就能跑命令行交互的启动方式与最常用参数WebUI 的启动命令和功能开关模型下载慢、CUDA 不可用等高频卡点 先看效果跑通后的样子是这样的终端里输入一句中文模型以流式方式逐字回话结尾附带解码速度。问为什么天空是蓝色的它会从瑞利散射讲起让它写代码、翻译句子也接得住。想要更顺手的体验就把 WebUI 拉起来聊天界面接近一个精简版网页助手。$ python eval_llm.py --load_from ./minimind-3 [0] 自动测试 [1] 手动输入 1 : 为什么天空是蓝色的 : 天空是蓝色的主要因为大气对太阳光的散射…… [Speed]: 12.30 tokens/s跑通它最短路径先给一份够用的配置照着核对即可项目够用的配置系统Windows / macOS / Linux 均可Python3.10 及以上内存8GBGPU有 CUDA 的 N 卡更顺没有就 CPU 跑1. 拉代码装依赖这一步只做准备。注意 requirements 里 torch 是被注释掉的需要单独装一次。git clone https://gitcode.com/GitHub_Trending/min/minimind cd minimind pip install torch pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple2. 拉模型权重只有 64M 参数一个命令就能下完。modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3网络受限的话去 ModelScope 模型库手动下载 gongjy/minimind-3解压到 ./minimind-3 路径即可。3. 启动直接跑推理脚本指向刚下载的目录python eval_llm.py --load_from ./minimind-3跑通后你就能看到效果。选 1 进入手动输入输入问题等回复直接回车结束会话。命令行交互与关键参数选 0 是自动测试脚本会用内置的 8 个问题连测一轮适合快速看模型状态选 1 是手动模式随时可以停。常用参数就下面这几个其余保持默认即可参数默认说明--load_frommodel模型路径指向 transformers 格式目录--device自动手动指定 cpu 或 cuda--max_new_tokens8192最大生成长度调小更快--temperature0.85采样温度越大越发散--open_thinking0置 1 开启自适应思考比如只在 CPU 上轻量试跑python eval_llm.py --load_from ./minimind-3 --device cpu --max_new_tokens 256WebUI 搭建WebUI 只扫描 scripts 目录下的模型文件夹所以先把权重拷一份进去再启动 Streamlitcp -r minimind-3 scripts/minimind-3 cd scripts streamlit run web_demo.py启动后浏览器访问http://localhost:8501。这个页面能做的事中英双语一键切换侧边栏调历史轮数、最大生成长度、温度开关自适应思考思考内容折叠展示勾选最多 4 个内置工具数学、时间、翻译、天气等某条回答不满意可点按钮重新生成⚡ 常见卡点模型下载慢模型只有约 130MB慢多半是网络问题。换个时段重试或按上面提示手动下载。CUDA 不可用执行python -c import torch; print(torch.cuda.is_available())返回 False 就给启动命令加--device cpu。WebUI 显示 No models found这一步卡住的人不少。原因是模型没拷进 scripts 目录执行cp -r minimind-3 scripts/minimind-3后重启即可。8501 端口被占用换端口启动streamlit run web_demo.py --server.port 8502。依赖版本冲突用虚拟环境隔离python -m venv venv激活后再装 requirements。接下来可以试换 MoE 版下载 minimind-3-moe命令行加--use_moe 1结构实现见 model/model_minimind.py。接 API运行 scripts/serve_openai_api.py 起一个兼容 OpenAI 协议的本地服务默认监听 8998 端口方便接入其他聊天前端。自己训一版把数据放进 dataset/再跑 trainer/train_full_sft.py单卡 3090 约 2 小时出 SFT 权重。【免费下载链接】minimind Train a 64M-parameter LLM from scratch in just 2h!项目地址: https://gitcode.com/GitHub_Trending/min/minimind创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
MiniMind 本地部署：3 步跑通命令行 + WebUI
MiniMind 本地部署3 步跑通命令行 WebUI【免费下载链接】minimind Train a 64M-parameter LLM from scratch in just 2h!项目地址: https://gitcode.com/GitHub_Trending/min/minimindMiniMind 是一个 64M 参数的超小语言模型本地部署不挑硬件。跟着本文走一遍你既能在终端里直接跟模型对话也能在浏览器里打开一个能调参数、能挂工具的聊天页。本文覆盖最短部署路径装依赖、拉模型、启动三步装好就能跑命令行交互的启动方式与最常用参数WebUI 的启动命令和功能开关模型下载慢、CUDA 不可用等高频卡点 先看效果跑通后的样子是这样的终端里输入一句中文模型以流式方式逐字回话结尾附带解码速度。问为什么天空是蓝色的它会从瑞利散射讲起让它写代码、翻译句子也接得住。想要更顺手的体验就把 WebUI 拉起来聊天界面接近一个精简版网页助手。$ python eval_llm.py --load_from ./minimind-3 [0] 自动测试 [1] 手动输入 1 : 为什么天空是蓝色的 : 天空是蓝色的主要因为大气对太阳光的散射…… [Speed]: 12.30 tokens/s跑通它最短路径先给一份够用的配置照着核对即可项目够用的配置系统Windows / macOS / Linux 均可Python3.10 及以上内存8GBGPU有 CUDA 的 N 卡更顺没有就 CPU 跑1. 拉代码装依赖这一步只做准备。注意 requirements 里 torch 是被注释掉的需要单独装一次。git clone https://gitcode.com/GitHub_Trending/min/minimind cd minimind pip install torch pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple2. 拉模型权重只有 64M 参数一个命令就能下完。modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3网络受限的话去 ModelScope 模型库手动下载 gongjy/minimind-3解压到 ./minimind-3 路径即可。3. 启动直接跑推理脚本指向刚下载的目录python eval_llm.py --load_from ./minimind-3跑通后你就能看到效果。选 1 进入手动输入输入问题等回复直接回车结束会话。命令行交互与关键参数选 0 是自动测试脚本会用内置的 8 个问题连测一轮适合快速看模型状态选 1 是手动模式随时可以停。常用参数就下面这几个其余保持默认即可参数默认说明--load_frommodel模型路径指向 transformers 格式目录--device自动手动指定 cpu 或 cuda--max_new_tokens8192最大生成长度调小更快--temperature0.85采样温度越大越发散--open_thinking0置 1 开启自适应思考比如只在 CPU 上轻量试跑python eval_llm.py --load_from ./minimind-3 --device cpu --max_new_tokens 256WebUI 搭建WebUI 只扫描 scripts 目录下的模型文件夹所以先把权重拷一份进去再启动 Streamlitcp -r minimind-3 scripts/minimind-3 cd scripts streamlit run web_demo.py启动后浏览器访问http://localhost:8501。这个页面能做的事中英双语一键切换侧边栏调历史轮数、最大生成长度、温度开关自适应思考思考内容折叠展示勾选最多 4 个内置工具数学、时间、翻译、天气等某条回答不满意可点按钮重新生成⚡ 常见卡点模型下载慢模型只有约 130MB慢多半是网络问题。换个时段重试或按上面提示手动下载。CUDA 不可用执行python -c import torch; print(torch.cuda.is_available())返回 False 就给启动命令加--device cpu。WebUI 显示 No models found这一步卡住的人不少。原因是模型没拷进 scripts 目录执行cp -r minimind-3 scripts/minimind-3后重启即可。8501 端口被占用换端口启动streamlit run web_demo.py --server.port 8502。依赖版本冲突用虚拟环境隔离python -m venv venv激活后再装 requirements。接下来可以试换 MoE 版下载 minimind-3-moe命令行加--use_moe 1结构实现见 model/model_minimind.py。接 API运行 scripts/serve_openai_api.py 起一个兼容 OpenAI 协议的本地服务默认监听 8998 端口方便接入其他聊天前端。自己训一版把数据放进 dataset/再跑 trainer/train_full_sft.py单卡 3090 约 2 小时出 SFT 权重。【免费下载链接】minimind Train a 64M-parameter LLM from scratch in just 2h!项目地址: https://gitcode.com/GitHub_Trending/min/minimind创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
