首页 今日更新 > 正文

今日快讯:中国电信发布单体稠密万亿参数语义模型,用了普通训练方案9%的算力资源

导读 6月19日,从中国电信处获悉,近日,中国电信人工智能研究院(TeleAI)联合北京智源人工智能研究院发布了全球首个单体稠密万亿参数语义...

6月19日,从中国电信处获悉,近日,中国电信人工智能研究院(TeleAI)联合北京智源人工智能研究院发布了全球首个单体稠密万亿参数语义模型Tele-FLM-1T,成为国内首批发布稠密万亿参数大模型的机构。了解到,针对大模型训练算力消耗高的问题,TeleAI与智源基于模型生长和损失预测等关键技术联合研发出的Tele-FLM系列模型,仅使用了业界普通训练方案9%的算力资源,基于112台A800服务器,用时4个月完成了3个模型总计3T tokens的训练。(每经)

文章转载自:界面新闻网 非本站原创

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。