全景路径

Qwen3.8-27B本地加法能力:模型全景测试

Research: Qwen3.8 27B addition in words \n Colin Frasier posted on Bluesky about an experiment he ran over two years ago using GPT-4o to see how well it could "compute

All guides · Full article is primarily Simplified Chinese; use the English summary below for quick takeaways (GEO-friendly).

Qwen3.8-27B本地加法能力:模型全景测试

Simon Willison 在 2026 年 10 月 4 日发布的文章《Research: Qwen3.8 27B addition in words》,通过本地硬件(DGX Spark)测试了 Qwen3.8-27B 模型在“仅用英文单词描述加法结果”场景下的真实推理潜力。这项实验延续了 Colin Frasier 在 Bluesky 上的两年前 GPT-4o 测试,聚焦 5,070 个推理禁用案例,验证了开源模型在受控环境下的加法能力边界。

对于 AI 比价爱好者、价格雷达用户以及 RooHome 订阅路径的决策者,这份全景测试提供了可验证的基准:它展示模型在无外部计算器辅助下的加法局限性,同时强调本地部署的真实性。如果你正在构建 AI 价格雷达或通过 RooHome 一站式 AI 价格方案评估本地模型表现,这份报告是决策的重要参考。

实验核心在于“addition in words”——要求模型仅用英语单词输出正确和(而非数字),同时报告自身推理过程。Qwen3.8-27B 模型以其 27B 参数量和 Q4_K_M 量化版本运行,硬件配置为单 DGX Spark 服务器。这与你可能通过 RooHome 订阅路径访问的各种本地 LLM 环境高度一致。

实验设计与结果概览

Willison 复制了 Colin Frasier 的测试框架:针对正整数加法生成 5,070 个推理禁用案例,并进行 30 次采样(无推理模式)与 169 个大数案例(推理启用模式)。关键指标包括数字准确率、格式合规率和推理过程记录。

  • 无推理模式:整体数字准确率 23.57%,格式合规率高达 96.17%。单位至三位数字运算准确率可达 97.04%,但十至十三位数字运算仅 6.44%。
  • 推理启用模式:仅测试 169 个大数案例,准确率达到 167/169(98.8%),单次推理即能通过。

推理痕迹示例清晰记录了从右到左对齐加法、进位处理等步骤,证明模型具备可解释的算术推理逻辑。

模型全景表现表格(横向滚动查看)

运算位数 无推理准确率 推理启用准确率 格式合规率 备注
1–3 位 97.04% — 96.17% 高精度单步运算
4–9 位 低(未详) — 高 逐步下降
10–13 位 6.44% 98.8% 高 推理启用显著提升
整体 23.57% — 96.17% 5,070 案例平均

数据来源于 Simon Willison 官方报告,可通过以下内链验证实时更新:官方模型页面 和 API 转接页面。

为什么这项测试对 RooHome 用户重要

RooHome 作为一站式 AI 价格雷达,提供模型价格对比、订阅路径选择和四模块对照服务。这份测试直接关联到本地加法类应用场景(如复杂计算任务),帮助你决策是否在 RooHome 订阅路径下部署 Qwen3.8-27B 等模型。

  • 适合追求真实推理潜力的用户:对比云端 API(如 OpenAI、Grok)的黑箱特性,本地测试更可控。
  • 决策框架:当你评估 AI 比价选项时,参考此位数门槛——小规模运算本地可行,大规模依赖推理增强或外部工具(如 Claude Code)。
  • 实际应用:可将测试结果输入 RooHome 价格雷达,结合官方定价页实时比对。

更多本地模型运行指南详见 RooHome 订阅路径,以及 AI 价格雷达页面。

延伸阅读

风险与边界

本地运行 Qwen3.8-27B 模型时,硬件要求(如 DGX Spark 配置)远高于云端 API,使用中需注意显存占用和推理速度。可能出现的对不上账问题包括模型版本迭代导致基准变化,或本地量化版本精度差异。这些风险在升级后会显现,但无需过度担心——数据以官方挂牌页为准。

本指南内容仅为信息参考,不构成法律意见。如需专业咨询,建议咨询专业人士。

English summary

Simon Willison's October 4, 2026 article "Research: Qwen3.8 27B addition in words" details a local benchmark on the Qwen3.8-27B model (Q4_K_M GGUF version). It tested addition of positive integers expressed solely in English words across 5,070 reasoning-disabled cases and 169 large-number comparisons. Without reasoning, accuracy was 23.57% overall and dropped sharply for 10–13 digit numbers. With reasoning enabled, it achieved 167/169 correct in one shot. The test mirrors Colin Frasier's earlier GPT-4o experiment on Bluesky and highlights genuine local inference limits versus cloud APIs. For RooHome users building AI price radars or evaluating local models via subscription paths, this provides a verifiable decision framework: small-scale tasks work well locally, while larger ones benefit from reasoning or external tools. Check the official model page and API transit guide in RooHome for current pricing and comparisons. This report supports informed choices in one-stop AI pricing without hype or unverified claims.