首页 实用资源 OpenAI 推出 MedChemBench 药物化学推理基准,99 道题评估分子理解能力

OpenAI 推出 MedChemBench 药物化学推理基准,99 道题评估分子理解能力

MedChemBench 取自 117 篇论文与专利、含 761 个分子结构,评测模型重建分子、解释证据与筛选化合物的能力。

11 月 20 日,OpenAI 发布 MedChemBench(简称 MCB),用于评估模型在药物化学研究中的多模态推理能力。该基准包含 99 道回顾性题目,取自 117 篇近年论文与专利,覆盖 761 个分级分子结构,可用于评测模型的化学理解水平。

每道题给出生物背景、初始候选化合物与分子结构、后续实验结果及图表,要求模型完成诸如从候选先导物中选择推进化合物等任务。评分分为四部分:分子结构重建(原子连接与立体化学)、科学解释(证据支撑)、排序与选择、性质预测(数值或类别)。在 xhigh 难度档,GPT-6.2 Astra 得分 84.5%,GPT-6 Astra 为 83.3%,GPT-6.1 Sol 为 82.0%,GPT-5.6 Sol 为 58.2%;GPT-6 Astra 的分子结构部分达到 95.4%,但在化合物选择与性质预测上仅拿到约一半分数。

看点:基准结果暴露出“能重建分子结构”与“能筛选出真正有价值的化合物”之间仍有明显差距。OpenAI 同时提示,基准表现不能证明模型已经能够发现新药或改善实验室决策;该资源适合用于横向对比模型的化学推理短板。

果葡萄官网的头像

作者: 果葡萄官网

专注人工智能领域,导航资源聚合平台
没有了

已是最早文章

为您推荐

Anthropic开源官方Skills知识库

  2025年12月,Anthropic正式在GitHub上开源其Agent Skills官方知识库。该库整合...

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

返回顶部