从0到1掌握chartreader-0.8B-OptiQ-4bit：Mac上部署高效图表问答模型的完整指南

【免费下载链接】chartreader-0.8B-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/chartreader-0.8B-OptiQ-4bit

chartreader-0.8B-OptiQ-4bit是一款专为Mac设计的0.8B视觉语言模型，能够高效读取图表并回答相关问题。它基于mlx-community/Qwen3.5-0.8B-OptiQ-4bit基础模型，通过ChartReader图像+文本LoRA进行微调，特别优化了图表问答功能，能以简洁准确的方式返回结果。

为什么选择chartreader-0.8B-OptiQ-4bit？

这款模型在图表问答方面表现出色，在80个ChartQA测试问题中，精确匹配率从基础模型的26.2%提升到40.0%，提高了13.8个百分点，输出相似度也从0.385提升到0.598。基础模型回答图表问题时较为冗长，而chartreader-0.8B-OptiQ-4bit能直接给出简洁准确的数值答案，如直接回答"3"而非冗长描述。

项目核心文件解析

项目包含以下关键文件：

• config.json、model.safetensors：基础Qwen3.5-0.8B OptiQ-4bit量化模型
• optiq_vision.safetensors：视觉组件（支持完整图像+文本推理）
• mtp.safetensors：多令牌预测草稿头
• adapters/chartreader/：ChartQA LoRA适配器（adapters.safetensors）

值得注意的是，LoRA并未合并到权重中，而是在服务时应用，因此你可以同时拥有基础量化模型和ChartReader功能。

快速安装步骤

要在Mac上安装chartreader-0.8B-OptiQ-4bit，只需执行以下命令：

pip install mlx-optiq

模型部署与使用方法

1. 下载模型

首先克隆仓库并下载模型文件：

git clone https://gitcode.com/hf_mirrors/mlx-community/chartreader-0.8B-OptiQ-4bit cd chartreader-0.8B-OptiQ-4bit

2. 启动服务

使用以下命令启动OpenAI兼容的服务端点：

optiq serve --model ./ --adapter ./adapters/chartreader

服务启动后，你可以向localhost:8080发送图像和图表问题进行查询。如果不使用--adapter参数，服务将作为普通图像+文本基础模型运行。

模型训练背景

chartreader-0.8B-OptiQ-4bit是在24GB Apple Silicon Mac上训练的。训练过程中，视觉塔保持冻结，仅对语言塔进行图像+文本LoRA微调：

optiq lora train mlx-community/Qwen3.5-0.8B-OptiQ-4bit \ --vision --data ./chartqa/train.jsonl \ --rank 8 --iters 800 --learning-rate 5e-5 --output ./chartreader

所有图像都被调整为统一的512像素画布，通过梯度检查点技术使混合门控 delta 反向传播适应内存限制，并使用梯度裁剪和5e-5学习率防止模式崩溃。

总结

chartreader-0.8B-OptiQ-4bit为Mac用户提供了一个高效、准确的图表问答解决方案。通过简单的安装和部署步骤，你就能在本地拥有一个强大的视觉语言模型，轻松处理各种图表问答任务。无论是数据分析、学术研究还是日常工作，这款模型都能为你提供快速准确的图表信息提取能力。

该项目基于OptiQ构建，OptiQ是一个为Apple Silicon优化的混合精度量化、LoRA和OpenAI兼容服务器，专门用于LLM和VLM模型。

【免费下载链接】chartreader-0.8B-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/chartreader-0.8B-OptiQ-4bit