AI基建的第八步(进阶):要不要部署本地大模型?
绝大多数人不需要部署本地大模型。
日常写作、合同审查、法律研究,直接用 ChatGPT、Claude 等顶级云端模型,效果一般更好,也更省事。
本地模型吸引我的不是“更强”,而是:有些资料可以不离开自己的电脑。
一、什么叫本地大模型
Mac 上装了 ChatGPT App,不等于模型跑在本地。
本地模型,是把模型文件下载到自己电脑上,用自己的 CPU、GPU 和内存完成推理。配置得当,断网也能跑。
容易上手的工具有 Ollama、LM Studio 等,不用从头搭环境,选个模型下载就能体验。
二、律师为什么可能需要它
律师手上很多资料本身就敏感:客户合同、尽调底稿、诉讼证据、劳动人事资料、未公开交易文件。
模型跑在本机,原始资料就少往第三方服务器发——多一个数据不出本机的处理方案。
尤其适合数据量大、任务标准化、不需要顶级推理能力的活:文件分类、批量摘要、信息提取、合同初筛、知识库打标签、大量资料的第一轮整理。
三、不要为了“本地”牺牲工作质量
本地部署不等于模型更强。复杂合同审查、法律意见书、诉讼策略、重大监管问题分析,我还是坚持这个系列第一篇的原则:
高价值任务优先使用能力最强的模型。
本地模型负责基础处理,顶级模型负责复杂推理。 比如一个项目有几千份资料,本地模型先做分类、摘要和筛选;真正重要的几十份,再根据保密要求交给更强的模型分析。
四、我更看好“本地知识库”
比起在电脑上装个聊天机器人,律师更值得研究的是 本地知识库。
把长期积累的法规、案例、IPO问询、监管规则、研究成果、模板和脱敏项目经验建好索引。以后 Agent 先从自己的资料里找答案,再让模型分析。
查一下以前处理过的劳务派遣超比例 IPO 案例。
找出历史项目中关于同业竞争整改的回复口径。
值钱的不是哪个模型,而是多年积累的专业知识,开始可以被AI随时调用。
五、代价也很明显
硬件。 模型越大,内存要求越高。明确打算长期研究本地 AI,买 Mac 时内存留点余量。
维护。 模型版本、硬盘占用、运行速度、更新、不同工具之间的兼容,都得操心。
效果。 跑在自己电脑里,不会自动达到顶级商业模型的水平。
如果每天都在维护模型,而不是让模型帮自己干活,这套基建就没意义了。
六、本地运行也不等于绝对安全
模型在本地,但 Agent 能联网、接了外部 MCP、装了第三方插件,或者文件本身在自动同步云盘,数据照样可能离开电脑。安全要看整条数据链路,不能只看模型在不在本地。
七、我的选择:把它当作备用大脑
我不会用本地模型替代 ChatGPT、Claude 这些主力模型,它是一个备用的大脑:高质量工作用顶级云端模型;大量重复处理、敏感资料要少外传、没网的时候,用本地模型。
没有隐私、离线、本地知识库或大批量处理的需求,直接跳过。需求出现了,再试着部署一个。
不是为了证明自己的电脑也能跑AI,而是让AI工作系统多一个选择:有些数据,我可以留在自己手里。
