工具介绍
关于 FlagEval 的定位、能力与适用场景
FlagEval(天秤)由智源研究院将联合多个高校团队打造,是一种采用“能力—任务—指标”三维评测框架的大模型评测平台,旨在提供全面、细致的评测结果。该平台已提供了 30 多种能力、5 种任务和 4 大类指标,共 600 多个维度的全面评测,任务维度包括 22 个主客观评测数据集和 84433 道题目。

官网首页截图/收录于 2025/05/03
关于 FlagEval 的定位、能力与适用场景
FlagEval(天秤)由智源研究院将联合多个高校团队打造,是一种采用“能力—任务—指标”三维评测框架的大模型评测平台,旨在提供全面、细致的评测结果。该平台已提供了 30 多种能力、5 种任务和 4 大类指标,共 600 多个维度的全面评测,任务维度包括 22 个主客观评测数据集和 84433 道题目。
收录不代表推荐,请结合自己的工作流与预算做最终判断。
Same category
生物医学研究问答数据集和模型得分排行榜
H2O.ai推出的基于Elo评级方法的大模型评估系统
由复旦大学NLP实验室推出的大模型评测基准
以众包方式进行匿名随机对战的LLM基准平台
HELM全称Holistic Evaluation...
全方位的多模态大模型能力评测体系
一个综合性的大模型中文评估基准
上海人工智能实验室推出的大模型开放评测体系