首页 新闻资讯 Thinking Machines Lab 开源 Inkling 2 Mini,循环 Transformer 可在笔记本本地运行

Thinking Machines Lab 开源 Inkling 2 Mini,循环 Transformer 可在笔记本本地运行

Mira Murati 团队发布开放权重模型 Inkling 2 Mini,26.4B 总参、3.4B 激活,中间层循环三次,支持笔记本离线运行。

11 月 20 日,前 OpenAI CTO Mira Murati 创办的 Thinking Machines Lab 发布开放权重模型 Inkling 2 Mini,定位可在笔记本电脑本地运行的轻量模型,权重已上线 Hugging Face,并可在公司 Tinker 平台推理与微调。

模型采用循环 Transformer 架构,共 24 层,中间 12 层共享权重循环运行三次,以 24 层权重完成每 token 48 层计算;总参数 26.4B,每 token 激活 3.4B,计入循环后有效激活约 5.4B,原生支持图文多模态,上下文窗口最高 100 万 token,采用 NVFP4 与 MXFP8 低比特精度。官方数据显示,其在 DeepSWE v1.1 取得 48.2%、Vals Index v2.2 取得 46.5%,在 100B 以下开放权重模型中领先;本地推理已支持 Ollama、Unsloth、llama.cpp 等路径。

看点:在主流路线堆参数之外,循环层用重复计算换取推理深度,为小模型本地部署提供了另一条 scaling 思路;基准成绩为官方自报,实际多轮对话与长约束指令表现仍待社区评测检验。

果葡萄官网的头像

作者: 果葡萄官网

专注人工智能领域,导航资源聚合平台

为您推荐

特斯拉推送 FSD V15,AI 实时生成「实景视图」驾驶可视化界面

特斯拉启动 FSD V15 监督版推送,新实景视图由实时 AI 视频生成、无需游戏引擎;中国市场按法规准备中。

马斯克回应算力供需讨论,警告 AI 行业明年或面临严重资金短缺

在 Chollet 讨论算力供需后,马斯克称大规模算力集群供电冷却极难,AI 行业明年或面临严重资金短缺。

OpenAI 发布对抗性蒸馏防护报告,每周封禁数千至数万账号并支持立法

OpenAI 公开模型防蒸馏检测与处置机制,称每周封禁数千至数万账号,并支持相关立法;点名对象为其单方说法。

CrowdStrike 洽谈收购同行 Zscaler,或成网络安全业史上最大并购之一

据彭博援引知情人士,CrowdStrike 正洽谈收购 Zscaler,合并市值约 2650 亿美元;谈判尚未定论,双方未回应置评。

AI 编程公司 Cognition 洽谈新一轮融资,估值约 750 亿美元

据彭博报道,Devin 开发商 Cognition AI 以约 750 亿美元估值洽谈新融资,拟筹 20 亿美元以上;谈判仍在进行。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

返回顶部