SuperCLUE中文通用大模型基准6月测评发布:360智脑蝉联“国产第一”
6月19日,中文通用大模型基准(SuperCLUE)最新发布6月榜单,三六零集团(601360.SH,以下简称360)自研认知型通用大模型360智脑多项能力蝉联国产大模型第一,部分能力评分已超越GPT
6月19日,中文通用大模型基准(SuperCLUE)最新发布6月榜单,三六零集团(601360.SH,以下简称360)自研认知型通用大模型360智脑多项能力蝉联国产大模型第一,部分能力评分已超越GPT-3.5甚至超越GPT-4。
SuperCLUE是针对中文可用的通用大模型测评基准,代表时下中文大模型的发展效果情况。SuperCLUE从基础能力、中文特性、学术与专业能力三个层面对国内外通用大模型产品进行测试,360智脑在以上三方面均位列国内第一,世界第三。
上月出炉的SuperCLUE榜单中,360智脑已取得国产大模型第一的成绩。为避免刷题,确保结果公正客观,SuperCLUE在6月新一轮测评中采用了全新独立的评测数据集,同时数量级扩大近10倍到3714道题。测试结果显示,360智脑与GPT-3.5的总分差距从上月的8分缩小至本月的5分以内,同时在上下文对话、语义理解、计算等能力上,评分已追平甚至超越GPT。
据了解,过去3个月内,360智脑已完成从1.0版本到4.0版本的迭代,刷新了国产大模型的中国速度。"360智脑4.0"已具备跨模态生成能力,并依托该能力全国首发大模型定制AI数字人和文生视频功能。
本文源自金融界资讯