本地大模型推理
24GB 显存装不下整份权重，就按层分：注意力层与 KV 常驻显存，其余留在主机内存。换来的是交互延迟低于 100ms，且这个数字不随网络波动。
一台合上盖子就能搬走的智能体底座。
24GB VRAM 加主机内存分层加载量化权重，推理、记忆、工具调用全在本地闭环——数据不出域，不依赖云端 API，拔了网线照样跑。
// 现场可实机验机：带一份自己的语料进去，看它跑不跑得动
$ instfree status ● vram 24GB · 18.2GB available ● model 70B quantized · tiered load ● airymaxrt v0.1.18 · 15 daemons ● network local-only · air-gapped ● posture fail-closed · audit on │ mode Pro · full precision ✔ inference stays on this desk
从模型推理到智能体执行，中间不经过任何人的服务器。
下面六项都是拆机可验的事实，不是配置表上的形容词。
24GB 显存装不下整份权重，就按层分：注意力层与 KV 常驻显存，其余留在主机内存。换来的是交互延迟低于 100ms，且这个数字不随网络波动。
七层堆栈、v0.1.18 版运行时、15 个守护进程按依赖顺序拉起。三阶段认知循环、L1+L2 分层记忆开箱可用，不用再装一遍环境。
支持完全 air-gapped 部署：不发起任何出站连接，模型、语料、记忆、审计日志全部落在本机磁盘。企业敏感数据、病历、风控模型留得下来。
Cupolas 默认启用：沙箱隔离、RBAC、IO 净化、append-only 审计。策略没写放行就是拒绝，规则下发到每个守护进程是毫秒级。
默认全本地；需要更强训练时可以只把训练放云端、推理留在本地。协同走单向出网白名单，语料不外传，链路随时可切断。
同一份 manifest 管多台机器，能力 Badge 是 64-bit 三元组，跨机调用不换语义。一台跑不动的任务可以摊到几台，不必重做应用。
同一块主板、同一套运行时，两种功耗姿态。
选哪个取决于机器是全天待人唤醒，还是长期值守。
共同点只有一个：数据不能离开这栋楼。
只要这条成立，云端 API 的方案基本可以直接排除。
金融、医疗、政务。风控问答、病历结构化、公文起草，语料与结论都留在内网，审计日志可追溯到每一次调用。
工厂产线、仓储物流。质检与调度判断在本地完成，网络中断不影响产线继续跑，恢复后再补传结果。
涉密场所、航天、远洋。完全 air-gapped 运行，模型与知识库随机器进场，升级靠离线介质而不是拉取。
本地全功能智能体运行时，不占云 API 配额、不看限流脸色。同一份代码在办公机上跑通，搬到一体机不用改一行。
说清场景与规模，我们回一份具体到型号和交付周期的规格与报价。
也支持先寄一台样机到贵方环境实测。