中国大模型榜单公开评分与口碑来源

评分方法

真实来源驱动的评分方法

榜单不是自定义拍脑袋排名。综合分由公开评测来源、真实内容页用户评价、价格可用性、代码能力、数据分析和生态开放度组成;缺失数据不伪造,并在页面显示数据完整度。

计算公式

综合分 = 有来源分项按原始权重重归一

原始权重:能力 40% + 用户口碑 30% + 成本可用性 15% + 代码能力 6% + 数据分析 4% + 生态开放度 5%。缺源分项显示待补源,不进入综合分。

能力评测

40%

优先来自 Artificial Analysis、OpenCompass、SuperCLUE、LMArena 等公开评测或偏好榜单,录入后统一归一到 0-100。

用户口碑

30%

固定展示知乎、小红书、抖音、微博、虎扑、贴吧、B站;每个平台至少 3 条真实原文短摘录才计分,所有合格平台等权平均。

成本与可用性

15%

参考公开 API 价格、免费可用性、访问门槛、是否开放权重和是否易于接入。

代码能力

6%

优先使用 LiveBench coding 分项和 Artificial Analysis 代码相关公开信号,按来源置信度加权。

数据分析

4%

优先使用 LiveBench data_analysis 分项,并补充公开数据/表格/知识任务评测。

生态开放度

5%

参考 API/文档、开源生态、工具链适配、企业接入成熟度和社区资料。

分项公式

每个分数都必须能追到公式和来源

综合评分

总分

综合分 = Σ(有来源分项得分 × 该分项原始权重 / 有来源分项权重总和)

缺少真实来源的分项不补假分,综合分只在已补源分项之间重归一。

来源规则:所有计入分项必须有来源链接、采集日期和可解释输入。

能力评测

分项

能力 = Σ(外部评测归一分 × 来源置信度) / Σ来源置信度

优先使用 Artificial Analysis、LiveBench、OpenCompass、SuperCLUE、LMArena 等可追溯能力来源。

来源规则:外部来源必须能打开到榜单、模型页、数据仓库或方法论页。

用户口碑

分项

口碑 = 合格平台分等权平均;平台分 = 该平台真实原文评价单条分均值;单条 = 场景匹配45% + 用户态度30% + 互动质量15% + 来源时效10%

口碑只使用真实内容页或评论页的原文短摘录,先按平台聚合,再按平台等权计入。

来源规则:固定展示知乎、小红书、抖音、微博、虎扑、贴吧、B站;每个平台至少 3 条真实原文才计入口碑分。

成本与可用性

分项

成本可用性 = API 价格倒排60% + 免费入口20% + 开源部署20%

API 价格按输入 30%、输出 70%折算为百万 tokens 成本,并在同批模型内做 min-max 反向归一。

来源规则:价格、免费入口和开源地址都必须来自官方文档或官方模型仓库链接。

代码能力

分项

代码能力 = LiveBench coding 分项70% + Artificial Analysis 代码类公开信号30%;缺源时按可用来源重归一

优先使用 LiveBench coding、Artificial Analysis 能力 API 中的代码相关指标,避免用主观印象替代开发任务表现。

来源规则:必须能追溯到公开榜单、官方 API 返回、数据集或可复现导入文件。

数据分析

分项

数据分析 = LiveBench data_analysis 分项80% + 数据/表格/知识任务公开评测20%;缺源时按可用来源重归一

关注表格理解、数据归纳、长文档抽取和分析类任务,来源不足时不编造分数。

来源规则:必须能追溯到 LiveBench、OpenCompass/SuperCLUE 等公开分项或可复现导入文件。

生态开放度

分项

生态开放度 = API/文档25% + SDK/工具链25% + 开源仓库30% + 集成案例20%

从产品入口、官方文档、开源仓库和可验证集成资料判断生态可用性。

来源规则:只使用官方链接、开源仓库或可追溯开发者资料。

计算规则

1外部评测来源若已是 0-100 分,直接使用;若是排名或 Elo,按同批候选模型做 min-max 归一。

2同一分项存在多个来源时,按来源置信度加权平均;置信度取决于公开可追溯性、评测规模和与中文模型场景的相关性。

3缺失分项显示 N/A,不补假分;综合分只用可用分项的权重重归一,并显示数据完整度。

4用户口碑只展示真实原文短摘录、来源链接和平台互动指标;摘要型内容、搜索结果页、样本不足平台不进入口碑分。

外部评测接入

LiveBench 与 Artificial Analysis 的使用方式

合规与局限

用户评价只展示短摘录、统计和来源链接,不转载完整原文。

不使用登录态,不绕过反爬;平台 API 不可用时生成浏览器 MCP 采集任务,再人工筛选短摘录。

外部评测榜单更新频繁,页面应显示 retrievedAt,旧数据需要定期复核。