世界实时:百川智能发布开源中英文大模型,多个榜单评测成绩最佳
DoNews6月15日消息,15日,百川智能公司推出了70亿参数量的中英文预训
DoNews6月15日消息,15日,百川智能公司推出了70 亿参数量的中英文预训练大模型——baichuan-7B。
(相关资料图)
baichuan-7B不仅在C-Eval、AGIEval和Gaokao中文权威评测榜单上,以显著优势全面超过了ChatGLM-6B等其他大模型,并且在MMLU英文权威评测榜单上,大幅领先LLaMA-7B。
目前baichuan-7B大模型已在Hugging Face、Github以及Model Scope平台发布。
为了验证模型的各项能力,baichuan-7B在C-Eval、AGIEval和Gaokao三个最具影响力的中文评估基准进行了综合评估,并且均获得了优异成绩,它已经成为同等参数规模下中文表现最优秀的原生预训练模型。
在中文C-EVAL的评测中,baichuan-7B的综合评分达到了42.8分,超过了ChatGLM-6B的38.9分,甚至比某些参数规模更大的模型还要出色。
C-Eval评测基准由上海交通大学、清华大学以及爱丁堡大学联合创建,是面向中文语言模型的综合考试评测集,覆盖了52个来自不同行业领域的学科。
在AGIEval的评测里,baichuan-7B综合评分达到34.4分,远超LLaMa-7B、Falcon-7B、Bloom-7B以及ChatGLM-6B等其他开源模型。
AGIEval评测基准由微软研究院发起,旨在全面评估基础模型在人类认知和问题解决相关任务上的能力,包含了中国的高考、司法考试,以及美国的SAT、LSAT、GRE和GMAT等20个公开且严谨的官方入学和职业资格考试。
在GAOKAO评测中,baichuan-7B的综合评分达到了36.2分,显著领先于同参数规模的各种其他预训练模型。
GAOKAO评测基准是复旦大学研究团队创建的评测框架,以中国高考题目作为数据集,用于测试大模型在中文语言理解和逻辑推理能力方面的表现。
baichuan-7B不仅在中文方面表现优异,在英文上表现同样亮眼。在MMLU的评测中baichuan-7B综合评分高达42.5分,大幅领先英文开源预训练模型LLaMA-7B的34.2分以及中文开源模型ChatGLM-6B的36.9分。
MMLU由加州大学伯克利分校等知名高校共同打造,集合了科学、工程、数学、人文、社会科学等领域的57个科目,主要目标是对模型的英文跨学科专业能力进行深入测试。其内容广泛,从初级水平一直涵盖到高级专业水平。
训练语料对大模型的训练结果至关重要。在构建预训练语料库方面,百川智能以高质量中文语料为基础,同时融合了优质的英文数据。
在数据质量方面,通过质量模型对数据进行打分,对原始数据集进行篇章级和句子级的精确筛选;在内容多样性方面,利用自研超大规模局部敏感哈希聚类系统和语义聚类系统,对数据进行了多层次多粒度的聚类,最终构建了包含1.2万亿token的兼顾质量和多样性的预训练数据。相较于其他同参数规模的开源中文预训练模型,数据量提高了超过50%。
在万亿优质中英文数据的基础上,为了更好地提升训练效率,baichuan-7B深度整合了模型算子来加快计算流程,并针对任务负载和集群配置,自适应优化了模型并行策略以及重计算策略。
通过高效的训练过程调度通信,baichuan-7B成功地实现了计算与通信的高效重叠,进而达到了超线性的训练加速,在千卡集群上训练吞吐达到180+Tflops的业界领先水平。
同时,已有的开源模型窗口长度在2K以内,对于一些长文本建模任务,如需要引入外部知识做搜索增强的场景,更长的处理长度有助于模型在训练与推理阶段捕获越多的上下文信息,2K的处理长度存在比较大的制约。
baichuan-7B基于高效的attention算子优化实现了万级别超长动态窗口的扩张能力,本次开源的预训练模型开放了4K上下文窗口,使模型应用场景更加广泛。
此外,baichuan-7B还对模型训练流程进行了深度优化,采用了更科学且稳定的训练流程和超参数选择,使得 baichuan-7B模型的收敛速度大大提升。与同等参数规模的模型相比,baichuan-7B在困惑度(PPL)和训练损失(training loss)等关键性能指标上表现更加优秀。
秉持开源精神,baichuan-7B代码采用Apache-2.0协议,模型权重采用了免费商用协议,只需进行简单登记即可免费商用。
baichuan-7B此次开源的内容十分丰富,包含了推理代码、INT4量化实现、微调代码,以及预训练模型的权重。其中,微调代码方便用户对模型进行调整和优化;推理代码与INT4量化实现则有助于开发者低成本地进行模型的部署和应用;预训练模型权重开源后,用户则可以直接使用预训练模型进行各种实验研究。
据了解,北京大学和清华大学两所顶尖大学已率先使用baichuan-7B模型推进相关研究工作,并计划在未来与百川智能深入合作,共同推动baichuan-7B模型的应用和发展。
关键词:
DoNews6月15日消息,15日,百川智能公司推出了70亿参数量的中英文预训
电影“封神三部曲”开篇之作《封神第一部》发布定档预告片,封神人物与
深圳南山启动第二轮汽车专项促消费活动6月15日消息,盖世汽车从深圳市
你们好,最近小活发现有诸多的小伙伴们对于qq号码查定位,qq号定位对方
将pdf转换成word的具体操作方式如下:打开微信app,在上方的搜索栏中搜
重庆积极推进传统制造业向数字化、智能化转型,加快培育数字经济新业态
人人钢琴网官网,蛐蛐钢琴网官方这个很多人还不知道,现在让我们一起来
瑞典非营利环保组织“恢复湿地”(AterstallVatmarker)14日接受法新社
四川新闻网-首屏新闻成都6月14日讯(记者胡旭阳摄影报道)地中海风味、
1、《查理九世》一部真人奇幻电影,改编自雷欧幻像原创少年冒险系列小
长沙海关今天发布统计数据显示,今年前5月,湖南对非洲进出口270 1亿元
6月14日,大参林(603233)融资买入701 49万元,融资偿还915 58万元,
人民银行6月13日发布的数据显示,5月份人民币贷款增加1 36万亿元。5月
中银航空租赁(02588)公布,将于2023年6月23日派发2022年末期股息每股
河北做好取消普通高等学校毕业生就业报到证有关衔接工作报到手续做“减
据日本媒体近日报道,日本多地存在教师短缺难题,地方政府正在招聘没有
挖贝网8月15日,梦赛力士(838629)近日发布2022年半年度报告,报告期
1、借款人向要贷款的银行发起抵押贷款的申请;2、贷款银行对贷款申请进
1、海瑞(1514年1月22日—1587年11月13日),男,字汝贤,号刚峰,海南
想必现在有很多小伙伴对于儿童随访表内容怎么写方面的知识都比较想要了
1、安悦柔润洁面凝露是由碧欧法皮肤医学研究中心生产的一款化妆品。2、
1、不是函授呀!国家承认!是职业技术学校!。本文分享完毕,希望对大
【短讯】欧盟对谷歌提起反垄断诉讼考虑分拆其广告技术业务。新闻资讯提
今年4月,国家知识产权局确定10个城市(地区)为首批国家知识产权保护
和佳退6月14日公告,公司收到珠海中院送达的《决定书》[(2022)粤04破
Copyright 2015-2022 南极酒业网 版权所有 备案号:粤ICP备2022077823号-13 联系邮箱: 317 493 128@qq.com