国盛证券刘高畅:中文数据欠缺 算力消耗显著|全球快资讯
(相关资料图)
国盛证券刘高畅在节目中表示,数据方面,高质量的中文语料库相对稀缺,会有一些误差率的问题;算力方面,训练端对算力的要求不是很极限,但应用端对算力的消耗非常显著。
以下为文字精华:
提问:除了算法,人工智能训练的时候也需要很大的算力,包括海量的数据,特别是我们中国跟海外的数据源可能还存在一些割裂。在算力和数据方面,我们和海外有多少差距?
刘高畅:数据方面,在GPT3以前用的都是互联网的公开数据,中文目前来看,客观的条件就是高质量的语料库相对来讲会稀缺一些。
在整个OpenAI的大模型中,我们了解到中文的语料库使用只有5%,从误差率的角度来讲,英文可能在2%—3%,中文大概在10%以上。用中文去测试ChatGPT,效果也不如英文。但是,我们也看到国内的高质量语料库在快速生成中,大家也在探索,包括知乎和万方这样的一些高质量语料库在形成。
大模型的数据还是以互联网公开数据为主,可能在写代码这个阶段,一些顶尖大厂比如微软,代码的水平会比较高,但是毕竟这一块只是小部分,我们推测起不了决定性的作用,应该不是特别大的瓶颈。OpenAI在去年GPT3.5的时候,大概用了45TB的数据,做模型数据集处理和倾斜的部分应该是不超过1TB的,所以其实是很少的数据,这一点不用特别担心。
算力方面,如果从训练端的角度来看,如果在GPT3以前,用2000张英伟达A100的算力,如果你训不出来成果,我们建议就不要去做了,说明这个团队水平有点问题。如果在GPT3.5以前,5000张如果训不出来,我们建议也不要再做训练了,说明这个团队多多少少有点问题。
我们认为在训练阶段,对算力的需求量没有那么极限,国内明面上和潜在的产业中的储备我们认为是够的。
应用端来看,做模型蒸馏和模型裁剪,把算力的消耗做到以前的90%,已经是很高的缩减度了。但是就这样的情况来看,算力还是会捉襟见肘,对未来算力的消耗还会非常显著,包括我们国家的一些晶圆代工和设计厂商,这也是他们需要努力的地方,其实是机遇也是挑战。
标签:
- 国盛证券刘高畅:中文数据欠缺 算力消耗显著|全球快资讯
- 云顶之弈最新版本最强阵容 金铲铲之战最新版本最强阵容
- 免费赠险吸引客源被盯上!一地监管摸底健康险“魔方业务”,什么信号? 环球微资讯
- 硬笔书法作品优秀作品 104字古诗词硬笔书法
- uart什么意思?uart接口是什么?电视机uart什么意思?
- 珲春市市场监督管理局开展节前放心消费示范单位专项检查
- 图片格式png与jpg有什么区别?照片怎么弄成png?
- 长度单位换算表大全 长度单位从大到小排列
- 【新视野】电池原材料价格大跌坑到宁王?宁德时代回应
- 全球报道:抢占新型储能产业制高点
- 300Ah+电芯密集发布 有“芯”集成加剧储能卡位赛-环球消息
- 风光储融合发展的前哨站,为什么落在了乌兰察布?
- 分时电价设计:准确反映系统内在成本|全球独家
- 储能扶上马:出海业绩爆发,毛利率存隐忧-新要闻
- 货拉拉司机收到“运一个凉的老太太”订单?平台方回应 热文
- 突发利空!网红零食品牌业绩掉队,关店超500家……-全球新消息
- 环球新消息丨阿根廷将使用人民币结算中国进口商品
- 每日头条!物实验结果表明:新型凝胶可完全治愈侵袭性脑肿瘤
- 动态焦点:马斯克调整推特:未登录用户无法搜索
- 降价策略加剧利润率之忧 特斯拉市值跌破5000亿美元
- 回合制RPG是否过时,对《崩坏:星穹铁道》来说可能不是重要问题
- 《星战绝地幸存者》IGN9分:有望成为30年来系列最佳
- 河南省100家文旅消费新场景名单发布 全球最资讯
- 碰撞保护:欧洲NCAP的最新技术和测试方法
- 环球快资讯丨广西有多少个市有动物园_广西有多少个市
- 涉嫌寻衅滋事 胡鑫宇事件造谣者被公诉
- 创举的意思是什么_创举的解释
- 中国红牛十问泰国天丝 泰国天丝红牛简介
- 环球热消息:光线传媒04月26日获深股通增持1106.24万股
- 全国各地住宿出游热度持续攀升 甘肃敦煌全方位提升服务
- 国盛证券刘高畅:中文数据欠缺 算力消耗显
- 云顶之弈最新版本最强阵容 金铲铲之战最新
- 免费赠险吸引客源被盯上!一地监管摸底健康
- 硬笔书法作品优秀作品 104字古诗词硬笔书法
- uart什么意思?uart接口是什么?电视机uart
- 珲春市市场监督管理局开展节前放心消费示范
- 图片格式png与jpg有什么区别?照片怎么弄成
- 长度单位换算表大全 长度单位从大到小排列
- 【新视野】电池原材料价格大跌坑到宁王?宁
- 全球报道:抢占新型储能产业制高点
- 300Ah+电芯密集发布 有“芯”集成加剧储能
- 风光储融合发展的前哨站,为什么落在了乌兰
- 分时电价设计:准确反映系统内在成本|全球
- 储能扶上马:出海业绩爆发,毛利率存隐忧-
- 货拉拉司机收到“运一个凉的老太太”订单?
- 突发利空!网红零食品牌业绩掉队,关店超50
- 环球新消息丨阿根廷将使用人民币结算中国进
- 每日头条!物实验结果表明:新型凝胶可完全
- 动态焦点:马斯克调整推特:未登录用户无法
- 降价策略加剧利润率之忧 特斯拉市值跌破50
- 回合制RPG是否过时,对《崩坏:星穹铁道》
- 《星战绝地幸存者》IGN9分:有望成为30年来
- 河南省100家文旅消费新场景名单发布 全球
- 碰撞保护:欧洲NCAP的最新技术和测试方法
- 环球快资讯丨广西有多少个市有动物园_广西
- 涉嫌寻衅滋事 胡鑫宇事件造谣者被公诉
- 创举的意思是什么_创举的解释
- 中国红牛十问泰国天丝 泰国天丝红牛简介
- 环球热消息:光线传媒04月26日获深股通增持
- 全国各地住宿出游热度持续攀升 甘肃敦煌全