首页 新闻 荣登CLUE榜首,腾讯云NLP超大模型解决方案再升级

企业新闻

荣登CLUE榜首,腾讯云NLP超大模型解决方案再升级

日期:2022年05月08日

       近来, 腾讯云AI与腾讯优图实验室的加快团队在CLUE言语分类使命上进行实验, 一举在CLUE分类使命1.0和1.1中拿下业界榜首的好作用。(HUMAN为人类标示作用, 非模型作用, 不参加排名。)怎么与AI进行无障碍的对话?近年来跟着人工智能的开展, NLP(自然言语处理)一直是业界外重视的焦点, 其间预练习模型(Pre-TrainedModel, PTM)络绎不绝作为当下最具有革命性的立异作用, 正成为国内外互联网企业探究的要点, 构建以中文为中心的超大规模预练习模型及生态势在必行, 各大公司在反哺本身事务的一起纷繁向CLUE榜单建议“冲击”。CLUE是中文言语了解范畴最具权威性的测评基准之一,

涵盖了文本类似度、分类、阅览了解等很多语义剖析和了解类子使命。作为“刷榜利器”的预练习模型便是经过在大规模文本上会聚很多算力, 不断集约化地练习大模型, 预练习出通用的言语特征, 就可以供给给很多企业运用,

大大降低了自然言语处理研讨和使用的门槛。
       “工欲善其事, 必先利其器”腾讯云TI渠道是根据腾讯云强壮核算才能的一站式机器学习生态服务渠道。它可以对各种数据源、组件、算法、模型和评价模块进行组合,

使得算法工程师和数据科学家在其之上可以方便地进行模型练习、评价和猜测。TI系列产品支撑公有云拜访、私有化布置以及专属云布置。TI-ACC是腾讯云AI和优图实验室最新发布的一款AI加快组件产品, 是根据优图实验室开源的跨渠道高功能推理结构TNN和练习结构(TI系列)基础上的一次全新晋级, 能一起为企业供给 AI 模型练习和推理加快服务, 支撑多种结构和场景, 可以明显进步模型练习推理注视、降低成本。本次大模型的预练习彻底依托于腾讯云TI渠道, 并斑驳陆离TI-ACC进行练习加快。
       全体的练习计划如下:首要, 模型的超卓作用离不开背面海量优质中文预练习语料的支撑。腾讯云团队在TI渠道上构建了海量语料的预处理、清洗和评价使命, 汇集了小说、新闻、社区谈论等的不同范畴的优质内容, 以及各学科论文、使用描绘等专业性较强的特定内容, 筛选出数百GB高质量中文语料, 保证数据“来历广”且“质量精”。在此基础上, 针对NLP超大模型的特色和存在的问题, 腾讯云团队结合底层基础设施在单机核算功能和多机扩展两方面进行了深度优化。在核算功能优化方面, TI-ACC对Transformer结构模型进行了稀少化核算、算子交融、动态文本长度输入等优化。在多机扩展上, 斑驳陆离了Zero-DP络绎不绝结合反向图显存节约、大模型参数多轮通讯、使用层NCCL通讯优化和参数主动调优等优化手法。终究, TI-ACC可以高效练习千亿级参数的NLP大模型, 极大的提升了模型预练习注视。此外, 咱们在模型上对Transformer结构做了微调, 再加上渐进式的课程学习练习计划, 使得大模型可以更快学会更多的常识。
       此次登顶CLUE榜单, 一方面代表了腾讯云在NLP生态范畴达到了业界领先水平, 另一方面预示着TI-ACC助力中文预练习模型在高效练习和推理方面迈上新台阶。

相关新闻

  • 2022-06-19 15:51:00

    股市2条真理!!感谢天涯的朋友,让我知道的!掌握了,就可以赚钱!

    关于股市的2个真相!!感谢天涯的朋友,让我知道!如果你掌握它,你可以赚钱!第一个道理,你被追高了,股票上涨,不是为了你解开,而是为了让你解锁,说明,你可以走高,不要做这种事,买——赶——--uncover--sell,最后你赚的钱还是0!第二个真相,经销商强烈买票,大量的票不是第二天买来陷害自己的!......

  • 2022-05-07 17:46:18

    BOE(京东方)亮相数字中国 “三驾马车”加速物联网战略转型

    2021年4月25日-29日,第四届数字我国建造效果展在福州举办,BOE(京东方)高档副总裁、才智体系立异工作CEO陆宽应邀出席数字我国建造峰会,并宣布《物联引领合创未来》主题讲演,初次共享了BOE(京东方)物联网战略转型的“三驾马车”,以及对构建物联立异生态的考虑和主张。一起,在展会期间,BOE(......

  • 2022-05-11 14:34:29

    58同城到家精选入选2021CCFA生活服务业优秀实践案例集,创新模式获行业认可

    6月29日,由我国连锁运营协会主办的首届服务业连锁品牌立异峰会在上海举办。本届峰会现场发布了《2021CCFA日子服务业优异实践事例集》,58同城到家精选凭仗其在家政服务业的立异实践及超卓体现成功当选。近年来,在消费晋级和数字化革新的双引擎驱动下,顾客对新场景的巴望和新商业形式的需求益发激烈。为了发......

联系我们