综合评分
总分综合分 = Σ(有来源分项得分 × 该分项原始权重 / 有来源分项权重总和)
缺少真实来源的分项不补假分,综合分只在已补源分项之间重归一。
来源规则:所有计入分项必须有来源链接、采集日期和可解释输入。
评分方法
榜单不是自定义拍脑袋排名。综合分由公开评测来源、真实内容页用户评价、价格可用性、代码能力、数据分析和生态开放度组成;缺失数据不伪造,并在页面显示数据完整度。
计算公式
原始权重:能力 40% + 用户口碑 30% + 成本可用性 15% + 代码能力 6% + 数据分析 4% + 生态开放度 5%。缺源分项显示待补源,不进入综合分。
优先来自 Artificial Analysis、OpenCompass、SuperCLUE、LMArena 等公开评测或偏好榜单,录入后统一归一到 0-100。
固定展示知乎、小红书、抖音、微博、虎扑、贴吧、B站;每个平台至少 3 条真实原文短摘录才计分,所有合格平台等权平均。
参考公开 API 价格、免费可用性、访问门槛、是否开放权重和是否易于接入。
优先使用 LiveBench coding 分项和 Artificial Analysis 代码相关公开信号,按来源置信度加权。
优先使用 LiveBench data_analysis 分项,并补充公开数据/表格/知识任务评测。
参考 API/文档、开源生态、工具链适配、企业接入成熟度和社区资料。
分项公式
综合分 = Σ(有来源分项得分 × 该分项原始权重 / 有来源分项权重总和)
缺少真实来源的分项不补假分,综合分只在已补源分项之间重归一。
来源规则:所有计入分项必须有来源链接、采集日期和可解释输入。
能力 = Σ(外部评测归一分 × 来源置信度) / Σ来源置信度
优先使用 Artificial Analysis、LiveBench、OpenCompass、SuperCLUE、LMArena 等可追溯能力来源。
来源规则:外部来源必须能打开到榜单、模型页、数据仓库或方法论页。
口碑 = 合格平台分等权平均;平台分 = 该平台真实原文评价单条分均值;单条 = 场景匹配45% + 用户态度30% + 互动质量15% + 来源时效10%
口碑只使用真实内容页或评论页的原文短摘录,先按平台聚合,再按平台等权计入。
来源规则:固定展示知乎、小红书、抖音、微博、虎扑、贴吧、B站;每个平台至少 3 条真实原文才计入口碑分。
成本可用性 = API 价格倒排60% + 免费入口20% + 开源部署20%
API 价格按输入 30%、输出 70%折算为百万 tokens 成本,并在同批模型内做 min-max 反向归一。
来源规则:价格、免费入口和开源地址都必须来自官方文档或官方模型仓库链接。
代码能力 = LiveBench coding 分项70% + Artificial Analysis 代码类公开信号30%;缺源时按可用来源重归一
优先使用 LiveBench coding、Artificial Analysis 能力 API 中的代码相关指标,避免用主观印象替代开发任务表现。
来源规则:必须能追溯到公开榜单、官方 API 返回、数据集或可复现导入文件。
数据分析 = LiveBench data_analysis 分项80% + 数据/表格/知识任务公开评测20%;缺源时按可用来源重归一
关注表格理解、数据归纳、长文档抽取和分析类任务,来源不足时不编造分数。
来源规则:必须能追溯到 LiveBench、OpenCompass/SuperCLUE 等公开分项或可复现导入文件。
生态开放度 = API/文档25% + SDK/工具链25% + 开源仓库30% + 集成案例20%
从产品入口、官方文档、开源仓库和可验证集成资料判断生态可用性。
来源规则:只使用官方链接、开源仓库或可追溯开发者资料。
外部评测来源若已是 0-100 分,直接使用;若是排名或 Elo,按同批候选模型做 min-max 归一。
同一分项存在多个来源时,按来源置信度加权平均;置信度取决于公开可追溯性、评测规模和与中文模型场景的相关性。
缺失分项显示 N/A,不补假分;综合分只用可用分项的权重重归一,并显示数据完整度。
用户口碑只展示真实原文短摘录、来源链接和平台互动指标;摘要型内容、搜索结果页、样本不足平台不进入口碑分。
通过官方 API 接入模型能力、代码相关公开信号和价格指标;前台入口使用模型榜单页。
作为能力、代码能力、数据分析的公开来源,覆盖 reasoning、math、coding、language、data analysis、instruction following 等分项。
用于追溯 LiveBench 数据、评测说明和导入文件。
参考匿名成对人类偏好和 Elo 排名思路,用作能力与真实偏好补充。
引用其大规模人类偏好评估框架,避免只依赖静态题库。
参考开源可复现评测框架和公开榜单,补充中文、代码、知识等任务。
参考中文大模型综合评测结构,补充中文场景能力信号。
外部评测接入
适合作为通用能力、代码相关能力和价格信号的外部数据源;生产抓取应走官方 API 并缓存,不能前端直连。API 文档:https://artificialanalysis.ai/api-reference/。
可用于:能力评测、代码能力、成本与可用性
使用官方 API 或页面公开指标时必须标注 Artificial Analysis、指标名、模型榜单或 API 文档和 retrievedAt。
适合补充客观能力、代码和数据分析分项;不能替代真实用户口碑。开源仓库:https://github.com/livebench/livebench。
可用于:能力评测、代码能力、数据分析
使用 livebench.ai、GitHub 或 Hugging Face 数据时标注 LiveBench、数据文件、分项和 retrievedAt。
用户评价只展示短摘录、统计和来源链接,不转载完整原文。
不使用登录态,不绕过反爬;平台 API 不可用时生成浏览器 MCP 采集任务,再人工筛选短摘录。
外部评测榜单更新频繁,页面应显示 retrievedAt,旧数据需要定期复核。