为满足大模型产业化落地选型测试和能力监测需求,中国信通院于“2024中国信通院ICT深度观察研究成果报告会”上发布大模型评测体系“方升”,旨在建立业界大模型基准测试统一的“度量衡”,规范大模型产业发展。
甲骨易是中国信通院“方升”大模型基准测试首批合作伙伴,携手共建“通用幻觉基准测试集”,获得中国信通院“大模型基准测试体系合作伙伴”证书,共同致力于加快构适产业界适用于中文大模型全面、客观、统一、规范的大模型基准测试体系。
中国信通院称,“方升”能够合理解决模型评测规则混乱、距离应用场景较远等亟待解决的问题,从四个维度对大模型进行全面、客观、统一的评估。“方升”测试体系测试体系搭建动态测试数据库,涵盖测试数据集107个,测试数据条数达到123万。此次中国信通院联合甲骨易等产业界多家机构首次推出面向行业、通用、应用、安全领域的评测数据集6个,使中文大模型能更好地产业智能化落地,加速大模型与产业融合。
随着大模型快速发展,其带来的真假难辨的“幻觉”和虚假信息难以检测等影响大模型落地的问题一直被人们关注。甲骨易在深入布局全球智能语言服务生态的同时,将全球多语言本地化能力平移到数据服务领域,成立甲骨易AI研究院(甲骨易AI Lab),推出中文大模型评测体系LucyEval,在全球业内率先发布基于中文多任务理解能力测试集,后续再次首发中文大模型多学科生成能力评测,开创性地将大模型成熟度评测维度从通识评测转向业务场景评测,通过深化对中文大模型的能力评测,帮助中文大模型提升全球竞争力。
甲骨易获得中国信通院“大模型基准测试体系合作伙伴”证书
在发布LucyEval时甲骨易就曾表示:“如何最快速地判断机器是否能正确理解人类的知识和语言是我们共同关注的问题。甲骨易AI研究院希望通过LucyEval对模型各方面能力的客观测试,找到模型的不足,帮助设计者和工程师更加精准地调整、训练模型,助力大模型不断迈向更智能的未来。”
甲骨易始终坚持以高质量数据加快模型在应用场景下的智能化进程,以人工智能关键技术作为企业数字化转型的核心驱动力。甲骨易坚信通过此次与中国信通院联合发布的幻觉基准测试集,能够帮助中文大模型更好地对抗幻觉,实现真正的人模共生。
最新发现
相关资讯
甲骨易成为中国信通院大模型基准测试体系“方升”首批合作伙伴
为满足大模型产业化落地选型测试和能力监测需求,中国信通院于“2024中国信通院ICT深度观察研究成果报告会”上发布大模型评测体系“方升”,旨在建立业界大模型基准测试统一的“度量衡”,规范大模型产业发展。甲骨易是
2025-06-26 13:56:41
中国青少年研究会:发布年度关键词“AIGC”、“平替”引领全年潮流
2023年即将落幕,有哪些关键词组成了你的年度记忆?12月26日,中国青少年研究会联合夸克App发布《2023年轻人搜索关键词报告》并举办主题研讨会,AIGC、在线学艺、上岸、平替、MBTI测试、松弛感、City walk、精神
2025-06-26 13:32:41
AITOP100x敦煌,“丝路神韵,新春欢乐颂”飞天跑酷IP主题AI新春海报创意大赛,24/1/19截稿
AI TOP100 x 敦煌 x 敦煌艺术学会丝绸之路的魅力,新年的欢乐颂飞天跑酷IP主题 AI新春海报创意大赛 活动介绍一场结合传统文化和现代科技的艺术盛事,迎接2024年春节的到来。本次比赛以“敦煌飞天跑酷IP
2025-06-26 13:08:41
美图x站酷“2024新说Al设计师计划”,我的龙年AI守护神!2024/1/22征集截止
美图与站酷联手推出“2024新说Al设计师计划”我的龙年AI守护神第一阶段收集主题2023年12月27日至2024年1月22日 2024年新锐AI设计师计划是什么?过去一年Al在设计领域取得了巨大的创新我们已经看到了一系
2025-06-26 12:44:42
创业关注:原钉钉副总裁杀入AIAgent赛道,创建BetterYeah AI品牌,获亿元融资!
人工智能公司斑头雁智能科技近日完成近千万美元A轮融资,用于继续深入打造企业级AI Agent(人工智能代理)产品BetterYeah AI。斑头雁智能科技目前累计完成2轮融资,融资额合计人民币1亿元。斑头雁智能科技在杭州
2025-06-26 12:20:41
2024新年福利!AI设计、3D角色建模等百元录播课免费送!1/31征集截止
大家好,我是花生~2023 已经结束了,参与学习了《零基础 AI 绘画入门指南》的小伙伴也应该基本掌握了 Midjorney 和 SD WebUI 这两款 AI 绘画工具。没学过的可以看看课程介绍 https: pro uisdc com为了感谢大家
2025-06-26 11:56:41
今日热榜
2024世界人工智能大会:孙林君分享实在Agent创新应用与落地进展
2025-05-13 13:19:45国务院国资委:要大力发展人工智能,加快建立适应人工智能发展的体制机制
2025-03-24 13:26:36智汇瓯江,数创未来!2024中国人工智能数字创新大会在温举行
2025-04-02 15:46:08高盛分析:AI对未来石油价格的双重影响与挑战
2025-04-17 12:07:10上海人工智能实验室乔宇:大模型推动交互式创作式阅读
2025-04-28 18:27:58美银三大理由反驳AI巨额投入恐打水漂的担忧
2025-04-29 12:26:15国际劳工组织报告:人工智能加剧全球发展鸿沟
2025-05-01 09:21:38上海加快教学设备更新聚焦集成电路与AI领域
2025-05-01 09:41:39生成式AI学术写作:剽窃边界与应用指南详解
2025-05-01 20:23:58SASE如何重塑网络安全新架构?全面解析SASE技术优势
2025-05-01 22:44:25热门推荐