把 266 美元的平板变成“自己的 AI 平板”关键不在于硬件改造而在于用一套完整的本地模型工作流把设备的算力充分调度起来。文章会从硬件准备、模型选型、环境搭建到完整代码实现讲清楚四个 AI 模型如何分工协作以及每一步背后的设计思路。无论你是想在平板上实现语音交互、文档识别、代码辅助还是想搭建一个脱离云端的私人智能终端这套方案都能给你可复用的参考。1. 背景为什么要做一台“AI 平板电脑”1.1 从问题说起很多开发者手边都有一台闲置或低成本的平板电脑屏幕不错、续航尚可但性能比不上一台像样的笔记本用来刷视频又觉得浪费。于是有人开始思考能不能把它改造成一台“AI 工作台”这个想法听起来很酷但实际操作时有几个现实问题平板算力有限跑不动动辄几十 GB 的大模型。云端 API 虽然方便但每次调用都有成本而且涉及数据隐私。平板上的应用生态里没有一个现成应用能同时满足“语音输入、本地问答、OCR 文档识别、代码生成”这四类需求。所以与其等一个完美的产品不如自己动手组合一套方案。预算控制在 266 美元左右约相当于一台入门级平板的价位再配合四个不同定位的开源 AI 模型就能得到一个完全属于自己、不依赖云端的 AI 平板。1.2 什么是“自己的 AI 平板”这里的“自己的”我理解为三层含义硬件是自己的不受云平台限制模型是本地部署的数据不用上传到第三方服务器工作流是自己定义的四个模型按你的业务需求协同工作。也就是说这不是给平板刷一个系统也不是装一个 APP 那么简单而是把平板变成一个“本地 AI 服务终端”。你在平板上说一句话语音识别模型把它转成文字主模型理解意图并组织回答遇到图片里的文字OCR 模型负责提取需要写代码时编程模型生成代码片段。整个过程全部在本地或局域网内完成。1.3 这篇文章的核心目标本文会围绕下面几个问题展开如何选择适合平板场景的 AI 模型如何在平板上部署模型运行环境如何让四个模型协同工作如何通过浏览器或简单前端调用整套能力遇到内存不足、服务启动失败、模型下载慢等问题时如何排查。无论你手里的平板是 Android、Linux 还是 iPad 配合远程环境本文都会给出思路代码示例可以直接参考或修改。2. 环境准备与硬件选型2.1 平板硬件需求平板要不要买贵的其实不一定。真正影响体验的硬件参数主要是三个硬件项最低要求推荐配置说明内存4 GB8 GB 及以上决定能否运行 7B 量级模型存储32 GB128 GB 及以上模型文件占用空间较大CPU/GPU四核带 GPU 或 NPU 加速影响推理速度如果你的平板内存只有 4 GB建议优先考虑 1.5B3B 参数量的量化模型或者采用“平板作为终端、局域网内一台电脑负责推理”的架构。后面实战章节会同时给出两种部署方式。2.2 部署模式选择根据是否拥有独立的算力设备有两种主流架构模式一纯端侧部署所有模型都运行在平板上。这种方式最“私有”完全离线但对硬件要求高。适合内存 8 GB 以上的平板运行量化后的 3B7B 模型。模式二局域网远程推理平板负责展示和交互真正的模型运行在家里的台式机或笔记本上。前提是那台电脑有一张不错的显卡或者至少内存足够大。这种方式适合内存较小的平板。推荐刚开始接触本地模型的人先采用模式二因为调试方便模型选择空间也更大。等熟悉了整套工作流再尝试把模型迁移到平板上。2.3 软件环境清单组件作用备注Ollama模型加载与推理服务开源支持 CPU/GPU命令简单Python 3.10编写后端服务脚本推荐 3.10 或 3.11Flask搭建 HTTP 服务也可以换成 FastAPIHTML JavaScript平板浏览器端界面不需要安装 APPTermux可选Android 平板上的 Linux 环境用于纯端侧部署场景这里要说明一点不同平板的系统不同软件安装方式会有差异。例如 Android 平板可以直接安装 Termux在 Termux 里部署 Ollama而 iPad 想跑本地服务会比较麻烦通常更适合作为远程终端。本文示例以“局域网远程推理 平板浏览器前端”为主线端侧部署方案会单独说明。3. 四个 AI 模型的分工与选型思路3.1 为什么需要四个模型很多人以为一个模型就能搞定所有事但实际上把任务拆给多个模型会更高效原因有两个一个模型同时擅长对话、语音识别、OCR 和代码生成需要超大参数和大量训练数据本地设备很难承载不同任务对模型的推理时延和资源占用要求不同分开部署可以按需加载避免同时占用过多内存。所以本文选择四个模型分别承担四类任务。3.2 四个模型的定位模型角色典型应用参数量参考Qwen2.5-7B-Instruct 或 Llama 3.2主对话模型理解用户意图、组织回答、调用其他能力3B~8BWhisper small/base语音识别模型把语音转换为文本244M~769MPaddleOCR 或 RapidOCROCR 文本识别模型从图片、截图、扫描件中提取文字轻量Qwen2.5-Coder-7B 或 CodeLlama编程辅助模型生成代码、解释代码、补全功能1.5B~7B注意这里的参数量只是参考范围实际模型文件大小取决于量化方式。例如 Q4_K_M 量化后的 7B 模型大约 4.4 GB3B 模型大约 2 GB。具体版本建议以模型仓库和 Ollama 标签页为准不要盲目追求最新版本。3.3 四个模型如何协同四个模型不是同时运行而是通过一个“调度中枢”来协同。用户输入语音 → 语音识别模型转成文本文本交给主对话模型主模型识别出意图如果任务里包含图片文字识别主模型先触发 OCR 流程OCR 模型返回文字如果任务是代码相关主模型触发编程模型生成代码。下文实战部分会用一个简化版 Flask 服务来实现这个调度逻辑。4. 完整实战搭建本地 AI 平板工作台4.1 创建项目结构为了便于维护先创建统一的目录结构。以下操作在电脑终端中执行如果是在平板的 Termux 中路径换成~/ai-tablet即可。mkdir -p ai-tablet/backend mkdir -p ai-tablet/frontend cd ai-tablet目录规划ai-tablet/ ├── backend/ │ ├── app.py # Flask 主服务 │ ├── requirements.txt # Python 依赖 │ └── config.py # 模型配置 └── frontend/ └── index.html # 平板浏览器界面4.2 安装 Ollama 并拉取模型Ollama 是当前本地模型部署中比较省心的工具。它会自动处理模型加载、权重量化和请求调度。安装完成后可以用命令直接拉取模型。以 Linux / macOS 环境为例curl -fsSL https://ollama.com/install.sh | shWindows 用户可以从 Ollama 官网下载安装包安装后 Ollama 会常驻后台。启动服务ollama serveWindows 上一般会自动启动无需手动执行ollama serve。如果是在 Android 平板上通过 Termux 部署则需要额外安装 Termux 版 Ollama具体命令以对应仓库的 README 为准不在这里硬写。拉取四个模型ollama pull qwen2.5:7b-instruct ollama pull whisper:small ollama pull qwen2.5-coder:7b第三个 OCR 模型不使用 Ollama而是用 Python 库因为 OCR 场景里 Python 生态更灵活对平板的适配也更好。查看已拉取的模型ollama list执行后你会看到类似下面的输出NAME ID SIZE MODIFIED qwen2.5:7b-instruct xxxx 4.4 GB ... whisper:small xxxx 484 MB ... qwen2.5-coder:7b xxxx 4.4 GB ...4.3 编写后端核心代码4.3.1 安装 Python 依赖后端服务使用 Flask再加上 OpenAI 风格的 Ollama API 调用。创建requirements.txtflask3.0.3 requests2.32.3 openai1.40.3 paddleocr2.8.1 paddlepaddle2.6.1其中paddleocr和paddlepaddle用于 OCR。如果安装速度慢可以使用国内镜像源pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple如果平板或电脑没有 GPUPaddlePaddle CPU 版就够了。4.3.2 创建配置类backend/config.py用于集中管理模型名称、服务地址等配置。# 文件路径ai-tablet/backend/config.py class Config: # Ollama 服务地址 OLLAMA_BASE_URL http://127.0.0.1:11434 # 模型名称需要与 ollama list 中的名称一致 CHAT_MODEL qwen2.5:7b-instruct VOICE_MODEL whisper:small CODE_MODEL qwen2.5-coder:7b # 是否启用 OCR 功能 ENABLE_OCR True # Flask 服务端口 SERVER_PORT 50004.3.3 编写 Flask 主服务backend/app.py是核心负责接收平板端的请求并调度四个模型。# 文件路径ai-tablet/backend/app.py import base64 import tempfile import os import requests from flask import Flask, request, jsonify from openai import OpenAI from config import Config app Flask(__name__) client OpenAI( base_urlf{Config.OLLAMA_BASE_URL}/v1, api_keyollama # 本地服务不需要真实 key任意值即可 ) # 初始化 OCR 模型 ocr_engine None if Config.ENABLE_OCR: from paddleocr import PaddleOCR ocr_engine PaddleOCR(use_angle_clsTrue, langch, show_logFalse) def chat_with_model(model: str, prompt: str, stream: bool False): 通用对话函数调用 Ollama 上的模型 response client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], streamstream ) if stream: return response return response.choices[0].message.content def recognize_speech(audio_base64: str) - str: 语音识别把 base64 音频转成文字 audio_data base64.b64decode(audio_base64) with tempfile.NamedTemporaryFile(suffix.wav, deleteFalse) as f: f.write(audio_data) temp_path f.name try: with open(temp_path, rb) as audio_file: # 这里使用 OpenAI SDK 调用 whisper 接口 result client.audio.transcriptions.create( modelConfig.VOICE_MODEL, fileaudio_file ) return result.text finally: os.unlink(temp_path) def ocr_image(image_base64: str) - str: OCR 识别从图片中提取文字 if ocr_engine is None: return OCR 未启用 image_data base64.b64decode(image_base64) with tempfile.NamedTemporaryFile(suffix.png, deleteFalse) as f: f.write(image_data) temp_path f.name try: result ocr_engine.ocr(temp_path, clsTrue) text_lines [] if result: for page in result: if page: for line in page: text_lines.append(line[1][0]) return \n.join(text_lines) finally: os.unlink(temp_path) app.route(/api/chat, methods[POST]) def api_chat(): 主对话接口 data request.get_json() prompt data.get(prompt, ) if not prompt: return jsonify({error: prompt is required}), 400 answer chat_with_model(Config.CHAT_MODEL, prompt) return jsonify({response: answer}) app.route(/api/voice, methods[POST]) def api_voice(): 语音转文字接口 data request.get_json() audio_base64 data.get(audio_base64, ) if not audio_base64: return jsonify({error: audio_base64 is required}), 400 text recognize_speech(audio_base64) return jsonify({text: text}) app.route(/api/ocr, methods[POST]) def api_ocr(): OCR 文字识别接口 data request.get_json() image_base64 data.get(image_base64, ) if not image_base64: return jsonify({error: image_base64 is required}), 400 text ocr_image(image_base64) return jsonify({text: text}) app.route(/api/code, methods[POST]) def api_code(): 代码生成接口 data request.get_json() prompt data.get(prompt, ) if not prompt: return jsonify({error: prompt is required}), 400 answer chat_with_model(Config.CODE_MODEL, prompt) return jsonify({response: answer}) if __name__ __main__: app.run(host0.0.0.0, portConfig.SERVER_PORT)代码说明client OpenAI(...)这里使用了 OpenAI Python SDK但base_url指向 Ollama 的本地地址。Ollama 兼容 OpenAI 接口省去了自己拼接 HTTP 请求的麻烦。chat_with_model()是一个通用函数主对话模型和编程模型共用。语音识别接口先接收 base64 音频写入临时文件后调用 whisper 模型。文件处理完会删除避免占用磁盘空间。OCR 接口同样处理 base64 图片。use_angle_clsTrue表示启用角度分类对倾斜的文字识别效果更好。Flask 监听0.0.0.0这样局域网内的平板才能访问到服务。4.4 编写平板端 Web 界面平板不需要安装任何 APP只要通过浏览器访问电脑的 IP 即可。为了让四个功能在一个页面上完成编写frontend/index.html。!-- 文件路径ai-tablet/frontend/index.html -- !DOCTYPE html html langzh-CN head meta charsetUTF-8 meta nameviewport contentwidthdevice-width, initial-scale1.0 titleAI 平板工作台/title style body { font-family: Microsoft YaHei, sans-serif; margin: 20px; background: #f5f7fa; } .card { background: #fff; border-radius: 12px; padding: 20px; margin-bottom: 20px; box-shadow: 0 2px 8px rgba(0,0,0,0.08); } textarea, input[typefile], input[typetext] { width: 100%; padding: 10px; margin: 8px 0; border: 1px solid #ccc; border-radius: 8px; box-sizing: border-box; } button { background: #4a90d9; color: white; border: none; padding: 10px 24px; border-radius: 8px; cursor: pointer; } button:hover { background: #357abd; } .result { background: #f0f4f8; border-radius: 8px; padding: 12px; margin-top: 10px; white-space: pre-wrap; font-size: 14px; } h2 { margin-top: 0; font-size: 18px; } /style /head body h1✨ AI 平板工作台/h1 div classcard h2 主对话/h2 textarea idchatInput rows3 placeholder输入你的问题.../textarea button onclicksendChat()发送/button div classresult idchatResult/div /div div classcard h2 语音识别/h2 input typefile idaudioFile acceptaudio/* button onclicksendAudio()识别语音/button div classresult idaudioResult/div /div div classcard h2 OCR 文字识别/h2 input typefile idimageFile acceptimage/* button onclicksendOcr()提取文字/button div classresult idocrResult/div /div div classcard h2⚙️ 代码生成/h2 textarea idcodeInput rows3 placeholder描述你想生成的代码功能.../textarea button onclicksendCode()生成代码/button div classresult idcodeResult/div /div script const BASE_URL http://你的电脑IP:5000; async function postData(url, payload) { const res await fetch(BASE_URL url, { method: POST, headers: { Content-Type: application/json }, body: JSON.stringify(payload) }); return res.json(); } function fileToBase64(file) { return new Promise((resolve, reject) { const reader new FileReader(); reader.onload () resolve(reader.result.split(,)[1]); reader.onerror reject; reader.readAsDataURL(file); }); } async function sendChat() { const prompt document.getElementById(chatInput).value; const data await postData(/api/chat, { prompt }); document.getElementById(chatResult).textContent data.response || data.error; } async function sendAudio() { const file document.getElementById(audioFile).files[0]; if (!file) { alert(请先选择音频文件); return; } const audio_base64 await fileToBase64(file); const data await postData(/api/voice, { audio_base64 }); document.getElementById(audioResult).textContent data.text || data.error; } async function sendOcr() { const file document.getElementById(imageFile).files[0]; if (!file) { alert(请先选择图片); return; } const image_base64 await fileToBase64(file); const data await postData(/api/ocr, { image_base64 }); document.getElementById(ocrResult).textContent data.text || data.error; } async function sendCode() { const prompt document.getElementById(codeInput).value; const data await postData(/api/code, { prompt }); document.getElementById(codeResult).textContent data.response || data.error; } /script /body /html页面功能很简单四个卡片对应四个接口。注意BASE_URL要替换成你电脑在局域网内的 IP可以在电脑上执行ipconfigWindows或ifconfigLinux/macOS查看。4.5 启动服务并测试首先启动后端python app.py看到类似输出说明启动成功* Running on all addresses (0.0.0.0) * Running on http://127.0.0.1:5000然后用电脑浏览器访问http://127.0.0.1:5000不过此时还没有静态页面我们可以先把index.html放到 Flask 的静态目录或者在 Flask 中增加一个路由返回页面。为了演示方便在app.py中增加一个页面路由from flask import send_from_directory app.route(/) def index(): return send_from_directory(../frontend, index.html)如果你只把它当成接口服务也可以用 VS Code 的 Live Server 或者其他静态文件服务器来打开index.html效果一样。4.6 验证四个能力在浏览器页面中分别测试主对话输入“用一句话介绍你自己”应该返回模型生成的回答语音识别上传一个包含人声的 wav 文件返回识别后的文字OCR上传一张包含文字的截图或照片返回提取出的文字内容代码生成输入“用 Python 写一个快速排序”返回代码。如果是局域网内平板访问需要确保平板和电脑在同一个 Wi-Fi 下并关闭电脑防火墙对私有网络的限制。5. 常见问题与排查思路5.1 模型相关报错问题现象常见原因解决思路model not foundOllama 未拉取对应模型执行ollama list检查ollama pull 模型名模型加载时间过长模型文件较大首次加载需要加载到内存耐心等待或换参数量更小的模型报错connection refusedOllama 服务未启动执行ollama serve或重新启动 Ollama显存/内存不足模型量化等级不够低或同时加载多个模型使用 Q4 量化模型或把keep_alive设为 0用后自动释放5.2 网络相关报错问题现象常见原因解决思路平板无法访问后端不处于同一局域网或防火墙拦截检查 IP 和防火墙设置局域网访问卡顿Wi-Fi 信号弱或带宽不足靠近路由器或使用网线连接电脑Ollama 下载模型慢默认使用境外源配置国内镜像源或使用代理仅限合法网络环境5.3 OCR 与 Python 环境问题问题现象常见原因解决思路PaddleOCR 导入失败缺少依赖库安装shapely、Pillow等依赖OCR 识别结果为空图片不清晰或角度过大提高图片分辨率关闭角度分类重试Python 版本不兼容依赖库对 Python 3.12 支持不完整使用 3.10 或 3.11 虚拟环境5.4 排查清单如果整套服务跑不起来按下面的顺序排查先确认 Ollama 服务是否启动再确认ollama list里是否有对应模型用电脑访问http://127.0.0.1:11434是否返回响应确认 Flask 服务有没有报错日志检查平板与电脑是否在同一个网段检查防火墙是否放行 5000 端口和图 11434 端口。6. 最佳实践与工程建议6.1 模型量化与资源控制本地模型部署最核心的工作是平衡“效果”和“资源占用”。优先选择 Q4_K_M 量化的模型文件体积适中效果损失可控平板内存只有 8 GB 时不要同时保持三个大模型常驻可以设置 Ollama 的keep_alive0每次调用完立即释放内存如果常用场景只有对话和 OCR可以只常驻主对话模型编程模型按需加载。Ollama 环境变量设置示例# 模型加载后 5 分钟没有请求就释放 OLLAMA_KEEP_ALIVE5m在实际项目中可以把这个配置写进启动脚本避免手动管理。6.2 安全与隐私边界本地模型虽然数据不出设备但不要因此放松警惕不要给模型连接数据库、文件系统等真实业务权限如果服务监听0.0.0.0局域网内所有设备都能访问。家庭网络还好如果是公共网络建议只监听127.0.0.1或用 Nginx 做访问控制语音和 OCR 数据在传输过程中是 base64 编码没有加密。如果数据敏感建议在 Nginx 层配置 HTTPS。6.3 日志与监控后端服务要记录至少三类日志请求日志谁在什么时间调用了哪个接口模型推理耗时方便发现哪个模型拖慢整体响应错误堆栈定位崩溃原因。我习惯在api_*接口里增加简单的耗时统计import time start time.time() result chat_with_model(...) elapsed time.time() - start print(f[chat] elapsed{elapsed:.2f}s)生产环境可以接入更完整的日志框架但个人项目里 print 足够。6.4 前端展示优化本文的 Web 界面只是一个最小示例。如果希望更像一个真正的 AI 平板应用可以继续优化使用Streaming流式输出让模型一个字一个字地显示体验更自然给按钮增加加载状态防止用户重复提交把对话历史保存在 IndexedDB 中刷新页面不丢失。流式输出在 Flask 中可以这样处理把streamTrue的响应结果逐段发送到前端使用EventSource或fetch读取流。6.5 从技术验证走向日常使用架构跑通后建议把它固化成可重复使用的“服务包”编写start.sh脚本一键启动 Ollama 和 Flask把frontend/index.html打包到 Flask 静态目录避免另外起服务在平板上把网页“添加到主屏幕”启动后像原生 APP 一样全屏显示。#!/bin/bash # 文件路径ai-tablet/start.sh echo 启动 Ollama... nohup ollama serve /tmp/ollama.log 21 echo 启动 AI 平板后端... cd backend python app.py这种方式让日常使用成本降到最低开个网页就能完成大部分 AI 任务。7. 总结266 美元买到的是一块屏幕和一组基础硬件真正让它变成“自己的平板电脑”的是围绕它建立起来的本地 AI 工作流。文章从硬件选型、模型分工、环境部署到代码实现完整跑通了一套包含主对话、语音识别、OCR 和代码生成四类能力的 AI 平板方案。四个模型的组合并不是唯一的答案。你可以根据自己的实际场景调整模型型号如果只需要实时语音对话保留 Whisper 和主模型就够如果经常扫描文档OCR 模块可以升级成更高精度的模型如果在平板上做开发辅助编程模型可以替换成最新版本的代码专用模型。下一步建议先动手把这套最小方案跑起来确认硬件可以承载之后再去尝试流式输出、多轮对话、知识库挂载RAG等进阶功能。运行中发现模型回答质量不理想时优先分析是模型量化等级过低、提示词表达不清晰还是参数量不够支撑当前任务避免盲目换更大模型导致设备卡顿。
把266美元平板改造成本地AI工作台：四模型协同实战
把 266 美元的平板变成“自己的 AI 平板”关键不在于硬件改造而在于用一套完整的本地模型工作流把设备的算力充分调度起来。文章会从硬件准备、模型选型、环境搭建到完整代码实现讲清楚四个 AI 模型如何分工协作以及每一步背后的设计思路。无论你是想在平板上实现语音交互、文档识别、代码辅助还是想搭建一个脱离云端的私人智能终端这套方案都能给你可复用的参考。1. 背景为什么要做一台“AI 平板电脑”1.1 从问题说起很多开发者手边都有一台闲置或低成本的平板电脑屏幕不错、续航尚可但性能比不上一台像样的笔记本用来刷视频又觉得浪费。于是有人开始思考能不能把它改造成一台“AI 工作台”这个想法听起来很酷但实际操作时有几个现实问题平板算力有限跑不动动辄几十 GB 的大模型。云端 API 虽然方便但每次调用都有成本而且涉及数据隐私。平板上的应用生态里没有一个现成应用能同时满足“语音输入、本地问答、OCR 文档识别、代码生成”这四类需求。所以与其等一个完美的产品不如自己动手组合一套方案。预算控制在 266 美元左右约相当于一台入门级平板的价位再配合四个不同定位的开源 AI 模型就能得到一个完全属于自己、不依赖云端的 AI 平板。1.2 什么是“自己的 AI 平板”这里的“自己的”我理解为三层含义硬件是自己的不受云平台限制模型是本地部署的数据不用上传到第三方服务器工作流是自己定义的四个模型按你的业务需求协同工作。也就是说这不是给平板刷一个系统也不是装一个 APP 那么简单而是把平板变成一个“本地 AI 服务终端”。你在平板上说一句话语音识别模型把它转成文字主模型理解意图并组织回答遇到图片里的文字OCR 模型负责提取需要写代码时编程模型生成代码片段。整个过程全部在本地或局域网内完成。1.3 这篇文章的核心目标本文会围绕下面几个问题展开如何选择适合平板场景的 AI 模型如何在平板上部署模型运行环境如何让四个模型协同工作如何通过浏览器或简单前端调用整套能力遇到内存不足、服务启动失败、模型下载慢等问题时如何排查。无论你手里的平板是 Android、Linux 还是 iPad 配合远程环境本文都会给出思路代码示例可以直接参考或修改。2. 环境准备与硬件选型2.1 平板硬件需求平板要不要买贵的其实不一定。真正影响体验的硬件参数主要是三个硬件项最低要求推荐配置说明内存4 GB8 GB 及以上决定能否运行 7B 量级模型存储32 GB128 GB 及以上模型文件占用空间较大CPU/GPU四核带 GPU 或 NPU 加速影响推理速度如果你的平板内存只有 4 GB建议优先考虑 1.5B3B 参数量的量化模型或者采用“平板作为终端、局域网内一台电脑负责推理”的架构。后面实战章节会同时给出两种部署方式。2.2 部署模式选择根据是否拥有独立的算力设备有两种主流架构模式一纯端侧部署所有模型都运行在平板上。这种方式最“私有”完全离线但对硬件要求高。适合内存 8 GB 以上的平板运行量化后的 3B7B 模型。模式二局域网远程推理平板负责展示和交互真正的模型运行在家里的台式机或笔记本上。前提是那台电脑有一张不错的显卡或者至少内存足够大。这种方式适合内存较小的平板。推荐刚开始接触本地模型的人先采用模式二因为调试方便模型选择空间也更大。等熟悉了整套工作流再尝试把模型迁移到平板上。2.3 软件环境清单组件作用备注Ollama模型加载与推理服务开源支持 CPU/GPU命令简单Python 3.10编写后端服务脚本推荐 3.10 或 3.11Flask搭建 HTTP 服务也可以换成 FastAPIHTML JavaScript平板浏览器端界面不需要安装 APPTermux可选Android 平板上的 Linux 环境用于纯端侧部署场景这里要说明一点不同平板的系统不同软件安装方式会有差异。例如 Android 平板可以直接安装 Termux在 Termux 里部署 Ollama而 iPad 想跑本地服务会比较麻烦通常更适合作为远程终端。本文示例以“局域网远程推理 平板浏览器前端”为主线端侧部署方案会单独说明。3. 四个 AI 模型的分工与选型思路3.1 为什么需要四个模型很多人以为一个模型就能搞定所有事但实际上把任务拆给多个模型会更高效原因有两个一个模型同时擅长对话、语音识别、OCR 和代码生成需要超大参数和大量训练数据本地设备很难承载不同任务对模型的推理时延和资源占用要求不同分开部署可以按需加载避免同时占用过多内存。所以本文选择四个模型分别承担四类任务。3.2 四个模型的定位模型角色典型应用参数量参考Qwen2.5-7B-Instruct 或 Llama 3.2主对话模型理解用户意图、组织回答、调用其他能力3B~8BWhisper small/base语音识别模型把语音转换为文本244M~769MPaddleOCR 或 RapidOCROCR 文本识别模型从图片、截图、扫描件中提取文字轻量Qwen2.5-Coder-7B 或 CodeLlama编程辅助模型生成代码、解释代码、补全功能1.5B~7B注意这里的参数量只是参考范围实际模型文件大小取决于量化方式。例如 Q4_K_M 量化后的 7B 模型大约 4.4 GB3B 模型大约 2 GB。具体版本建议以模型仓库和 Ollama 标签页为准不要盲目追求最新版本。3.3 四个模型如何协同四个模型不是同时运行而是通过一个“调度中枢”来协同。用户输入语音 → 语音识别模型转成文本文本交给主对话模型主模型识别出意图如果任务里包含图片文字识别主模型先触发 OCR 流程OCR 模型返回文字如果任务是代码相关主模型触发编程模型生成代码。下文实战部分会用一个简化版 Flask 服务来实现这个调度逻辑。4. 完整实战搭建本地 AI 平板工作台4.1 创建项目结构为了便于维护先创建统一的目录结构。以下操作在电脑终端中执行如果是在平板的 Termux 中路径换成~/ai-tablet即可。mkdir -p ai-tablet/backend mkdir -p ai-tablet/frontend cd ai-tablet目录规划ai-tablet/ ├── backend/ │ ├── app.py # Flask 主服务 │ ├── requirements.txt # Python 依赖 │ └── config.py # 模型配置 └── frontend/ └── index.html # 平板浏览器界面4.2 安装 Ollama 并拉取模型Ollama 是当前本地模型部署中比较省心的工具。它会自动处理模型加载、权重量化和请求调度。安装完成后可以用命令直接拉取模型。以 Linux / macOS 环境为例curl -fsSL https://ollama.com/install.sh | shWindows 用户可以从 Ollama 官网下载安装包安装后 Ollama 会常驻后台。启动服务ollama serveWindows 上一般会自动启动无需手动执行ollama serve。如果是在 Android 平板上通过 Termux 部署则需要额外安装 Termux 版 Ollama具体命令以对应仓库的 README 为准不在这里硬写。拉取四个模型ollama pull qwen2.5:7b-instruct ollama pull whisper:small ollama pull qwen2.5-coder:7b第三个 OCR 模型不使用 Ollama而是用 Python 库因为 OCR 场景里 Python 生态更灵活对平板的适配也更好。查看已拉取的模型ollama list执行后你会看到类似下面的输出NAME ID SIZE MODIFIED qwen2.5:7b-instruct xxxx 4.4 GB ... whisper:small xxxx 484 MB ... qwen2.5-coder:7b xxxx 4.4 GB ...4.3 编写后端核心代码4.3.1 安装 Python 依赖后端服务使用 Flask再加上 OpenAI 风格的 Ollama API 调用。创建requirements.txtflask3.0.3 requests2.32.3 openai1.40.3 paddleocr2.8.1 paddlepaddle2.6.1其中paddleocr和paddlepaddle用于 OCR。如果安装速度慢可以使用国内镜像源pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple如果平板或电脑没有 GPUPaddlePaddle CPU 版就够了。4.3.2 创建配置类backend/config.py用于集中管理模型名称、服务地址等配置。# 文件路径ai-tablet/backend/config.py class Config: # Ollama 服务地址 OLLAMA_BASE_URL http://127.0.0.1:11434 # 模型名称需要与 ollama list 中的名称一致 CHAT_MODEL qwen2.5:7b-instruct VOICE_MODEL whisper:small CODE_MODEL qwen2.5-coder:7b # 是否启用 OCR 功能 ENABLE_OCR True # Flask 服务端口 SERVER_PORT 50004.3.3 编写 Flask 主服务backend/app.py是核心负责接收平板端的请求并调度四个模型。# 文件路径ai-tablet/backend/app.py import base64 import tempfile import os import requests from flask import Flask, request, jsonify from openai import OpenAI from config import Config app Flask(__name__) client OpenAI( base_urlf{Config.OLLAMA_BASE_URL}/v1, api_keyollama # 本地服务不需要真实 key任意值即可 ) # 初始化 OCR 模型 ocr_engine None if Config.ENABLE_OCR: from paddleocr import PaddleOCR ocr_engine PaddleOCR(use_angle_clsTrue, langch, show_logFalse) def chat_with_model(model: str, prompt: str, stream: bool False): 通用对话函数调用 Ollama 上的模型 response client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], streamstream ) if stream: return response return response.choices[0].message.content def recognize_speech(audio_base64: str) - str: 语音识别把 base64 音频转成文字 audio_data base64.b64decode(audio_base64) with tempfile.NamedTemporaryFile(suffix.wav, deleteFalse) as f: f.write(audio_data) temp_path f.name try: with open(temp_path, rb) as audio_file: # 这里使用 OpenAI SDK 调用 whisper 接口 result client.audio.transcriptions.create( modelConfig.VOICE_MODEL, fileaudio_file ) return result.text finally: os.unlink(temp_path) def ocr_image(image_base64: str) - str: OCR 识别从图片中提取文字 if ocr_engine is None: return OCR 未启用 image_data base64.b64decode(image_base64) with tempfile.NamedTemporaryFile(suffix.png, deleteFalse) as f: f.write(image_data) temp_path f.name try: result ocr_engine.ocr(temp_path, clsTrue) text_lines [] if result: for page in result: if page: for line in page: text_lines.append(line[1][0]) return \n.join(text_lines) finally: os.unlink(temp_path) app.route(/api/chat, methods[POST]) def api_chat(): 主对话接口 data request.get_json() prompt data.get(prompt, ) if not prompt: return jsonify({error: prompt is required}), 400 answer chat_with_model(Config.CHAT_MODEL, prompt) return jsonify({response: answer}) app.route(/api/voice, methods[POST]) def api_voice(): 语音转文字接口 data request.get_json() audio_base64 data.get(audio_base64, ) if not audio_base64: return jsonify({error: audio_base64 is required}), 400 text recognize_speech(audio_base64) return jsonify({text: text}) app.route(/api/ocr, methods[POST]) def api_ocr(): OCR 文字识别接口 data request.get_json() image_base64 data.get(image_base64, ) if not image_base64: return jsonify({error: image_base64 is required}), 400 text ocr_image(image_base64) return jsonify({text: text}) app.route(/api/code, methods[POST]) def api_code(): 代码生成接口 data request.get_json() prompt data.get(prompt, ) if not prompt: return jsonify({error: prompt is required}), 400 answer chat_with_model(Config.CODE_MODEL, prompt) return jsonify({response: answer}) if __name__ __main__: app.run(host0.0.0.0, portConfig.SERVER_PORT)代码说明client OpenAI(...)这里使用了 OpenAI Python SDK但base_url指向 Ollama 的本地地址。Ollama 兼容 OpenAI 接口省去了自己拼接 HTTP 请求的麻烦。chat_with_model()是一个通用函数主对话模型和编程模型共用。语音识别接口先接收 base64 音频写入临时文件后调用 whisper 模型。文件处理完会删除避免占用磁盘空间。OCR 接口同样处理 base64 图片。use_angle_clsTrue表示启用角度分类对倾斜的文字识别效果更好。Flask 监听0.0.0.0这样局域网内的平板才能访问到服务。4.4 编写平板端 Web 界面平板不需要安装任何 APP只要通过浏览器访问电脑的 IP 即可。为了让四个功能在一个页面上完成编写frontend/index.html。!-- 文件路径ai-tablet/frontend/index.html -- !DOCTYPE html html langzh-CN head meta charsetUTF-8 meta nameviewport contentwidthdevice-width, initial-scale1.0 titleAI 平板工作台/title style body { font-family: Microsoft YaHei, sans-serif; margin: 20px; background: #f5f7fa; } .card { background: #fff; border-radius: 12px; padding: 20px; margin-bottom: 20px; box-shadow: 0 2px 8px rgba(0,0,0,0.08); } textarea, input[typefile], input[typetext] { width: 100%; padding: 10px; margin: 8px 0; border: 1px solid #ccc; border-radius: 8px; box-sizing: border-box; } button { background: #4a90d9; color: white; border: none; padding: 10px 24px; border-radius: 8px; cursor: pointer; } button:hover { background: #357abd; } .result { background: #f0f4f8; border-radius: 8px; padding: 12px; margin-top: 10px; white-space: pre-wrap; font-size: 14px; } h2 { margin-top: 0; font-size: 18px; } /style /head body h1✨ AI 平板工作台/h1 div classcard h2 主对话/h2 textarea idchatInput rows3 placeholder输入你的问题.../textarea button onclicksendChat()发送/button div classresult idchatResult/div /div div classcard h2 语音识别/h2 input typefile idaudioFile acceptaudio/* button onclicksendAudio()识别语音/button div classresult idaudioResult/div /div div classcard h2 OCR 文字识别/h2 input typefile idimageFile acceptimage/* button onclicksendOcr()提取文字/button div classresult idocrResult/div /div div classcard h2⚙️ 代码生成/h2 textarea idcodeInput rows3 placeholder描述你想生成的代码功能.../textarea button onclicksendCode()生成代码/button div classresult idcodeResult/div /div script const BASE_URL http://你的电脑IP:5000; async function postData(url, payload) { const res await fetch(BASE_URL url, { method: POST, headers: { Content-Type: application/json }, body: JSON.stringify(payload) }); return res.json(); } function fileToBase64(file) { return new Promise((resolve, reject) { const reader new FileReader(); reader.onload () resolve(reader.result.split(,)[1]); reader.onerror reject; reader.readAsDataURL(file); }); } async function sendChat() { const prompt document.getElementById(chatInput).value; const data await postData(/api/chat, { prompt }); document.getElementById(chatResult).textContent data.response || data.error; } async function sendAudio() { const file document.getElementById(audioFile).files[0]; if (!file) { alert(请先选择音频文件); return; } const audio_base64 await fileToBase64(file); const data await postData(/api/voice, { audio_base64 }); document.getElementById(audioResult).textContent data.text || data.error; } async function sendOcr() { const file document.getElementById(imageFile).files[0]; if (!file) { alert(请先选择图片); return; } const image_base64 await fileToBase64(file); const data await postData(/api/ocr, { image_base64 }); document.getElementById(ocrResult).textContent data.text || data.error; } async function sendCode() { const prompt document.getElementById(codeInput).value; const data await postData(/api/code, { prompt }); document.getElementById(codeResult).textContent data.response || data.error; } /script /body /html页面功能很简单四个卡片对应四个接口。注意BASE_URL要替换成你电脑在局域网内的 IP可以在电脑上执行ipconfigWindows或ifconfigLinux/macOS查看。4.5 启动服务并测试首先启动后端python app.py看到类似输出说明启动成功* Running on all addresses (0.0.0.0) * Running on http://127.0.0.1:5000然后用电脑浏览器访问http://127.0.0.1:5000不过此时还没有静态页面我们可以先把index.html放到 Flask 的静态目录或者在 Flask 中增加一个路由返回页面。为了演示方便在app.py中增加一个页面路由from flask import send_from_directory app.route(/) def index(): return send_from_directory(../frontend, index.html)如果你只把它当成接口服务也可以用 VS Code 的 Live Server 或者其他静态文件服务器来打开index.html效果一样。4.6 验证四个能力在浏览器页面中分别测试主对话输入“用一句话介绍你自己”应该返回模型生成的回答语音识别上传一个包含人声的 wav 文件返回识别后的文字OCR上传一张包含文字的截图或照片返回提取出的文字内容代码生成输入“用 Python 写一个快速排序”返回代码。如果是局域网内平板访问需要确保平板和电脑在同一个 Wi-Fi 下并关闭电脑防火墙对私有网络的限制。5. 常见问题与排查思路5.1 模型相关报错问题现象常见原因解决思路model not foundOllama 未拉取对应模型执行ollama list检查ollama pull 模型名模型加载时间过长模型文件较大首次加载需要加载到内存耐心等待或换参数量更小的模型报错connection refusedOllama 服务未启动执行ollama serve或重新启动 Ollama显存/内存不足模型量化等级不够低或同时加载多个模型使用 Q4 量化模型或把keep_alive设为 0用后自动释放5.2 网络相关报错问题现象常见原因解决思路平板无法访问后端不处于同一局域网或防火墙拦截检查 IP 和防火墙设置局域网访问卡顿Wi-Fi 信号弱或带宽不足靠近路由器或使用网线连接电脑Ollama 下载模型慢默认使用境外源配置国内镜像源或使用代理仅限合法网络环境5.3 OCR 与 Python 环境问题问题现象常见原因解决思路PaddleOCR 导入失败缺少依赖库安装shapely、Pillow等依赖OCR 识别结果为空图片不清晰或角度过大提高图片分辨率关闭角度分类重试Python 版本不兼容依赖库对 Python 3.12 支持不完整使用 3.10 或 3.11 虚拟环境5.4 排查清单如果整套服务跑不起来按下面的顺序排查先确认 Ollama 服务是否启动再确认ollama list里是否有对应模型用电脑访问http://127.0.0.1:11434是否返回响应确认 Flask 服务有没有报错日志检查平板与电脑是否在同一个网段检查防火墙是否放行 5000 端口和图 11434 端口。6. 最佳实践与工程建议6.1 模型量化与资源控制本地模型部署最核心的工作是平衡“效果”和“资源占用”。优先选择 Q4_K_M 量化的模型文件体积适中效果损失可控平板内存只有 8 GB 时不要同时保持三个大模型常驻可以设置 Ollama 的keep_alive0每次调用完立即释放内存如果常用场景只有对话和 OCR可以只常驻主对话模型编程模型按需加载。Ollama 环境变量设置示例# 模型加载后 5 分钟没有请求就释放 OLLAMA_KEEP_ALIVE5m在实际项目中可以把这个配置写进启动脚本避免手动管理。6.2 安全与隐私边界本地模型虽然数据不出设备但不要因此放松警惕不要给模型连接数据库、文件系统等真实业务权限如果服务监听0.0.0.0局域网内所有设备都能访问。家庭网络还好如果是公共网络建议只监听127.0.0.1或用 Nginx 做访问控制语音和 OCR 数据在传输过程中是 base64 编码没有加密。如果数据敏感建议在 Nginx 层配置 HTTPS。6.3 日志与监控后端服务要记录至少三类日志请求日志谁在什么时间调用了哪个接口模型推理耗时方便发现哪个模型拖慢整体响应错误堆栈定位崩溃原因。我习惯在api_*接口里增加简单的耗时统计import time start time.time() result chat_with_model(...) elapsed time.time() - start print(f[chat] elapsed{elapsed:.2f}s)生产环境可以接入更完整的日志框架但个人项目里 print 足够。6.4 前端展示优化本文的 Web 界面只是一个最小示例。如果希望更像一个真正的 AI 平板应用可以继续优化使用Streaming流式输出让模型一个字一个字地显示体验更自然给按钮增加加载状态防止用户重复提交把对话历史保存在 IndexedDB 中刷新页面不丢失。流式输出在 Flask 中可以这样处理把streamTrue的响应结果逐段发送到前端使用EventSource或fetch读取流。6.5 从技术验证走向日常使用架构跑通后建议把它固化成可重复使用的“服务包”编写start.sh脚本一键启动 Ollama 和 Flask把frontend/index.html打包到 Flask 静态目录避免另外起服务在平板上把网页“添加到主屏幕”启动后像原生 APP 一样全屏显示。#!/bin/bash # 文件路径ai-tablet/start.sh echo 启动 Ollama... nohup ollama serve /tmp/ollama.log 21 echo 启动 AI 平板后端... cd backend python app.py这种方式让日常使用成本降到最低开个网页就能完成大部分 AI 任务。7. 总结266 美元买到的是一块屏幕和一组基础硬件真正让它变成“自己的平板电脑”的是围绕它建立起来的本地 AI 工作流。文章从硬件选型、模型分工、环境部署到代码实现完整跑通了一套包含主对话、语音识别、OCR 和代码生成四类能力的 AI 平板方案。四个模型的组合并不是唯一的答案。你可以根据自己的实际场景调整模型型号如果只需要实时语音对话保留 Whisper 和主模型就够如果经常扫描文档OCR 模块可以升级成更高精度的模型如果在平板上做开发辅助编程模型可以替换成最新版本的代码专用模型。下一步建议先动手把这套最小方案跑起来确认硬件可以承载之后再去尝试流式输出、多轮对话、知识库挂载RAG等进阶功能。运行中发现模型回答质量不理想时优先分析是模型量化等级过低、提示词表达不清晰还是参数量不够支撑当前任务避免盲目换更大模型导致设备卡顿。
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
