MedChemBench 取自 117 篇论文与专利、含 761 个分子结构,评测模型重建分子、解释证据与筛选化合物的能力。
11 月 20 日,OpenAI 发布 MedChemBench(简称 MCB),用于评估模型在药物化学研究中的多模态推理能力。该基准包含 99 道回顾性题目,取自 117 篇近年论文与专利,覆盖 761 个分级分子结构,可用于评测模型的化学理解水平。
每道题给出生物背景、初始候选化合物与分子结构、后续实验结果及图表,要求模型完成诸如从候选先导物中选择推进化合物等任务。评分分为四部分:分子结构重建(原子连接与立体化学)、科学解释(证据支撑)、排序与选择、性质预测(数值或类别)。在 xhigh 难度档,GPT-6.2 Astra 得分 84.5%,GPT-6 Astra 为 83.3%,GPT-6.1 Sol 为 82.0%,GPT-5.6 Sol 为 58.2%;GPT-6 Astra 的分子结构部分达到 95.4%,但在化合物选择与性质预测上仅拿到约一半分数。
看点:基准结果暴露出“能重建分子结构”与“能筛选出真正有价值的化合物”之间仍有明显差距。OpenAI 同时提示,基准表现不能证明模型已经能够发现新药或改善实验室决策;该资源适合用于横向对比模型的化学推理短板。

