关闭
您当前的位置:首页 > 伙乘资讯 > 20AI大模型

CMMLU:一个用于评估中文语言模型的综合性基准,涵盖了多个领域和任务,旨在提供对模型在中文语境下的知识和推理能力的评估

来源:伙乘AI 时间:2023-12-25 作者:伙乘AI 浏览量:

CMMLU是一个综合性的中文评估基准,用于评估语言模型在中文语境下的知识和推理能力。

CMMLU有哪些功能?

CMMLU涵盖了从基础学科到高级专业水平的67个主题,包括自然科学、人文科学、社会科学和生活常识等。它提供了五次测试和零次测试两种评估方式,以展示模型在不同情境下的表现。


应用场景:

CMMLU可用于评估中文语言模型的能力,帮助研究人员和开发者了解模型在不同任务和领域中的表现,从而改进和优化模型。


CMMLU:https://github.com/haonan-li/CMMLU?


1703469024054.png

微信扫一扫分享资讯

相关推荐
暂无相关推荐
热门话题
推荐文章