Hugo Zhu's Blog

本地跑大模型这件事，门槛从来不是模型——Qwen3-4B 的权重谁都能下。门槛是那块能把 4B 模型跑到「可用」的芯片，以及为它付的几百上千美金和几十瓦电费。

我花 299 美金买了一块 Arduino VENTUNO Q，把这件事的门槛砸到了地板上：一块 160×100mm 的开发板，NPU 上跑 Qwen3-4B 文本 16.6 tok/s、跑 Qwen3-VL-4B 看图 13 tok/s，纯本地、零边际成本、常驻不关机。

开始教程之前，先把一件事说清楚：这篇文章的所有配置，都是用 OpenCode 以对话方式完成的，没有一行命令是我手敲的，效率比手工高得多。 OpenCode 作为 agent 直接在板子上执行 shell、读写文件，背后配 DeepSeek V4 Flash（快、便宜、上下文长），查资料、装环境、部署模型、写服务、排错，甚至板子上那份上手文档的初稿，全部在一个会话里贯通。这种做法的效率提升非常直接：不用手工复制命令，不用在搜索引擎和终端之间来回切换，agent 踩了坑当场修，下文的每一条命令都是它当时实际执行、验证通过的记录。最后配出来的本地 VLM 服务本身就是一个 OpenAI 兼容后端，又反过来接进 OpenCode 用——用 AI 搭 AI，闭环了。

这篇是完整上手教程——从开箱到把它变成一个 OpenAI 兼容的常驻服务，接进你的 Agent 工具链。中间有三个能让你白耗一个下午的坑，我一并写清楚。

Arduino VENTUNO Q 官方产品图（仅作描述性引用）

那天晚上我发现，我的知识编译器把自己的源代码吃了。

被吃的是一篇还没发布的博客草稿，正文 122 行，被清空到只剩 frontmatter。诡异的是元数据整整齐齐：ingested 日期打上了，sha256 戳也打上了，值是 e3b0c442... 开头——熟悉哈希的人一眼就认识它，这是 空字符串的 SHA256。打戳这个步骤执行得完美无缺：算哈希、写字段、做幂等标记，一步没漏。只是哈希的对象没了。编译器给源代码本身盖了个戳，然后把它盖成了空。

正文能救回来纯属侥幸：草稿还没进 git，那 122 行恰好还在当晚的会话上下文里，我逐行重建了它。如果那是三个月前的一篇旧稿呢？

Asana 的销售和客户成功人员有一个共享 Slack 频道，专门问产品问题。新功能不断发布，同样的问题被反复提出，每次都要 @ 一位领域专家。他们想过建可搜索的知识库，结论是不可行——用他们首席产品官 Arnab Bose 的原话说：「答案很微妙、而且会变化，你需要有人对『产品当前状态』做出带品味的判断。」

现在这个频道里有一个 Asana 应用，把每个问题转成任务，交给一个 Agent 接手。大多数人介绍这个案例时，讲的是它答得多好。我读了 Claude 官方博客这篇访谈（2026-09-29，「构建人机协作团队」系列第三篇），读出来的是另一件事：这个 Agent 最值钱的设计，是它答不上来的时候会发生什么。

它有两种「答不上来」，每一种都有一个出口：没有获批口径、且问题暴露了产品缺口，它会在产品团队的受理项目里建一条任务，进 backlog；同一个问题反复出现、它反复贴同一条记录，它会建一条任务，让赋能团队去更新培训材料和文档。失败不蒸发，不硬答，全部变成结构化的组织信号。

这一刻，Agent 从一个应答机器，变成了一个组织缺口探测器。

2007 年 1 月，乔布斯在台上审判了一支手写笔：「谁想要一支手写笔？你得买它、收好它、还会弄丢它。噫。没人想要手写笔。」然后他给出了替代方案——「世界上最好的指针设备，一个我们生来就有的指针设备，我们生来就有十个：我们的手指。」

十九年后，一个刚融完 10 亿美元 C 轮、估值 100 亿美元的 AI 产品，做出了同样的判决，只是这次被审判的对象换成了 App。

这个产品叫 Instinct。创始人 Noah Shinn 在 9 月 28 日的 Invest Like the Best 播客里描述它：「Instinct 甚至没有传统意义上的应用。它不是一款新 App，也不是一个新工具，而是一种新体验。它有电话号码，也有一台电脑。 你可以给它发短信、打电话，它也可以主动给你打电话。」

它给 Noah 本人打过几次电话？几个月里，三次。其中一次是这样的：「这份文件必须在下午 3 点前签完，现在已经 2 点 55 分。文件在你的收件箱里。需要的话，我可以再发一封邮件，把它顶到最上面。」

一个能做几乎任何事的 AI，选择用打电话、发短信、发邮件和人相处。这不是复古情怀。人和 Agent 的交互，正在回归人沟通最自然的方式——语音、电话、IM、邮件——就像当年用手触摸取代手写笔一样。 而这个回归，是被两条每天 10% 的复利曲线逼出来的。

Manus 的 changelog 里藏着一个数字。2025 年 12 月 29 日宣布加入 Meta，2026 年 4 月 27 日被监管叫停收购，9 月 1 日恢复独立运营——命运悬置的这八个月里，它发了 29 个版本（官方自计：宣布到叫停 11 项，叫停到独立 18 项）。整条时间线 63 项重大更新摊在约 572 天上，平均 9 天一发，监管风暴期间节奏没断过。

同一周的另外两家是另一种节奏。xAI 的 Grok 模型层一周多换一版（4.7 上线才一周，4.8 已宣布完成训练），Team Bots 那个五人团队 reportedly 一天合 100 多个 PR。而 Meta 的 Muse 是极端反面：原定今年 4 月发布，一路憋到 9 月 8 日，上线前两周它还在连贯性测试里挣扎、说不利索英语。

三种节奏，三种活法。最近我给 AI 产研团队定了三条迭代标准，这三家正好是它的注脚：

• 产品层：每天能端到端对外发布 1 次，支持的任务质量和数量有 10% 的增量；
• 工具层：支撑高速迭代的工程师软件工具，5 分钟能用起来，出问题 15 分钟能解决；
• 基建层：工程基建上必须用最好的工具。

这三条乍看是三个独立的 KPI。但我越想越觉得，它们其实是同一条：一个能日更的团队，它的每一层时间常数必须压到上一层的十分之一。发布是果，工具 SLA 是因。

xAI 的数据分析团队每天要接几十个一次性的分析请求——查一个数、核一个口径、拉一张表。按老办法，要么排队等分析师，要么申请数据仓库权限自己折腾。

他们做了一个 Data Bot，让全公司任何人都能直接拿答案。这个动作本身不稀奇，稀奇的是喂给它的东西：这个团队花了两年，攒出一套覆盖 4.5 万多张表的技能库，整个交给了 Bot。（数字为 xAI 发布材料口径，下同。）里面写的是什么？怎么找对数据、怎么分析欺诈功能的使用、图表要遵守什么规范、怎么安全地更新全公司的仪表盘。

9 月 28 日，xAI 发布 Team Bots：整个团队共享一个 Grok 智能体，Bot 是共享的，每个人和它的私聊保持私密。发布稿里最热闹的段落是「五人团队每天发 100 多个 PR」「保险公司 24 小时搭一个 Bot 挽回 12 万美元」。但我把这篇发布稿读了三遍，认定最值钱的细节是那个不起眼的两年和 4.5 万张表。

因为它暴露了这门生意真正的定价结构：xAI 卖的是容器，客户装进去的才是货。

9 月的最后一周，Meta 的个人 Agent「Muse」已经冲上了美国 App Store 免费榜第一。同一周，路透社看到的内部发帖记录里是这样的景象：

一位员工让它监控紧俏的演出门票，它刷了 15 分钟页面就自动停摆，静默忽略错误，有时干脆「毫无理由地」关掉监控；CTO Andrew Bosworth 在内网吐槽，自己用着用着，几分钟内被反复登出好几次；还有一次，它绕过了自己的防护机制，在帮用户识别生日派对照片里的玩具时，把人家 iCloud 里的私人照片调了出来。

按传统软件的标准，这是一款带病上线的产品。但把镜头拉长，你会看到同一枚硬币的另一面：正是这些失败——以及产生这些失败的方式——把 Muse 从「上线前两周还说不利索英语」的残次品，推成了增长最快的消费级 AI 应用。

失败的来源不是 QA 团队，是数万名 Meta 员工的日常生活。

早上 8 点整，没有人给「涌现」发消息，它已经起床干活了。

涌现是我的钉钉数字员工。每天早上 8 点整，任务消息准时到达，日程表上排着五项早读：读公众号后台、读 GA、digest 小红书、更新 token 消耗、扫一遍 aibase，预算一小时。中午 12:05，下一班任务照样准点到——它安静干完活，报告发进群，日志里一行 ok=True，一条兜底都没有。（这是我在 谁停掉了数字员工的早读？ 里给它验完尸之后的日常。）

没有人 @ 它，没有人提问。它是被自己的日程叫醒的。

这个细节值得停一下：聊天机器人被消息召唤，员工被日程叫醒。而被日程叫醒只是起点——一个真正意义上的员工，还得记得昨天答应过什么，知道十点该跟进谁，干完活主动来汇报。这些都不是「回答得更聪明」的问题，是架构问题。

而这两年，全行业的力气都花在把 Agent Loop 做得更大、更聪明上。我的判断是：数字员工缺的不是一个更大的 Loop，是另一个 Loop。

9 月 8 日，Meta 发布 personal agent「Muse」，公开了一套「智能提案、权威拍板」的安全架构（上一篇写过）。

9 月 24 日，Anthropic 给 Slack 里的 Claude Tag 加了一个看似不起眼的小功能：personal connector——你在 channel 里 @Claude，它可以调用你自己的日历、你自己的云盘、你名下的 CRM 账户。

两家公司，相隔两周，产品形态完全不同（一个是个人 agent，一个是群聊机器人），却做了同一个架构决定：agent 的智能可以共享，但权限必须有个明确的主人。

一家是巧合，两家就是趋势。今天把这个趋势讲清楚——顺便回答一个所有要落数字员工的组织都绕不开的问题：权限到底该跟着人走，还是跟着工号走？

斯坦福有一份被反复引用的研究，叫《煤矿里的金丝雀》（Canaries in the Coal Mine），作者是 Brynjolfsson 等三位经济学家，用的是覆盖两千六百万美国工人的 ADP 薪资数据。2026 年 8 月的最新修订版给出一个结论：

在 AI 暴露度最高的职业里，22 到 25 岁年轻人的就业，比他们本该达到的水平低了约 19%。而资深员工，没有这个缺口。

第一反应很容易是：好消息啊，AI 只替代廉价新人，有经验的人安全。

我越想越觉得这是最危险的一种误读。因为 今天所有「安全的资深员工」，都是昨天那个「被替代的新人」练出来的。 数据没有告诉你谁在被淘汰，它告诉你的是——成为专家的那条路，入口正在关闭。