Skip to content
返回系列目录
查看 GitHub 源文件

源文件:https://github.com/lennonli/licheng-AI-tutorials/blob/main/docs/ai-infra-08-local-model-ABL-20260929-V2.md

AI基建的第八步(进阶):要不要部署本地大模型? ​

绝大多数人不需要部署本地大模型。

日常写作、合同审查、法律研究,直接用 ChatGPT、Claude 等顶级云端模型,效果一般更好,也更省事。

本地模型吸引我的不是“更强”,而是:有些资料可以不离开自己的电脑。

一、什么叫本地大模型 ​

Mac 上装了 ChatGPT App,不等于模型跑在本地。

本地模型,是把模型文件下载到自己电脑上,用自己的 CPU、GPU 和内存完成推理。配置得当,断网也能跑。

容易上手的工具有 Ollama、LM Studio 等,不用从头搭环境,选个模型下载就能体验。

二、律师为什么可能需要它 ​

律师手上很多资料本身就敏感:客户合同、尽调底稿、诉讼证据、劳动人事资料、未公开交易文件。

模型跑在本机,原始资料就少往第三方服务器发——多一个数据不出本机的处理方案。

尤其适合数据量大、任务标准化、不需要顶级推理能力的活:文件分类、批量摘要、信息提取、合同初筛、知识库打标签、大量资料的第一轮整理。

三、不要为了“本地”牺牲工作质量 ​

本地部署不等于模型更强。复杂合同审查、法律意见书、诉讼策略、重大监管问题分析,我还是坚持这个系列第一篇的原则:

高价值任务优先使用能力最强的模型。

本地模型负责基础处理,顶级模型负责复杂推理。 比如一个项目有几千份资料,本地模型先做分类、摘要和筛选;真正重要的几十份,再根据保密要求交给更强的模型分析。

四、我更看好“本地知识库” ​

比起在电脑上装个聊天机器人,律师更值得研究的是 本地知识库。

把长期积累的法规、案例、IPO问询、监管规则、研究成果、模板和脱敏项目经验建好索引。以后 Agent 先从自己的资料里找答案,再让模型分析。

查一下以前处理过的劳务派遣超比例 IPO 案例。

找出历史项目中关于同业竞争整改的回复口径。

值钱的不是哪个模型,而是多年积累的专业知识,开始可以被AI随时调用。

五、代价也很明显 ​

硬件。 模型越大,内存要求越高。明确打算长期研究本地 AI,买 Mac 时内存留点余量。

维护。 模型版本、硬盘占用、运行速度、更新、不同工具之间的兼容,都得操心。

效果。 跑在自己电脑里,不会自动达到顶级商业模型的水平。

如果每天都在维护模型,而不是让模型帮自己干活,这套基建就没意义了。

六、本地运行也不等于绝对安全 ​

模型在本地,但 Agent 能联网、接了外部 MCP、装了第三方插件,或者文件本身在自动同步云盘,数据照样可能离开电脑。安全要看整条数据链路,不能只看模型在不在本地。

七、我的选择:把它当作备用大脑 ​

我不会用本地模型替代 ChatGPT、Claude 这些主力模型,它是一个备用的大脑:高质量工作用顶级云端模型;大量重复处理、敏感资料要少外传、没网的时候,用本地模型。

没有隐私、离线、本地知识库或大批量处理的需求,直接跳过。需求出现了,再试着部署一个。

不是为了证明自己的电脑也能跑AI,而是让AI工作系统多一个选择:有些数据,我可以留在自己手里。

内容同步自 GitHub 仓库,仅作为工具教程与工作流说明。

CONTACT

联系李成律师

扫描二维码添加微信,沟通法律 AI、非诉业务及相关合作事项。

手机端可点击二维码查看原图并长按识别。

李成律师微信二维码扫码添加微信