- 新能源业务大幅低于预期海得控制去年净亏223亿元国内分布式储能尚未形成规模
- 工行研发大规模专家并行推理集群技术实现大模型推理成本下降
- 储能标准丨分布式储能电站运维技术规范!明确典型故障及处理方式!
- 鸿蒙电脑正式发布 智能终端全面开启鸿蒙时代
- 推动国产化替代龙思云助力中国制造迈向高质量发展
联系人:王经理
手机:13928851055
电话:13928851055
邮箱:sgbwre@163.com
地址:广州市天河南一街14-16号华信大夏四楼
工行研发大规模专家并行推理集群技术实现大模型推理成本下降
近日,工商银行软件开发中心(以下简称“工行软开”)透露,该行完成金融业首个大规模专家并行推理技术突破。
据悉,从2025年初以来,不少机构对DeepSeek大模型进行了部署。虽然DeepSeek等MoE架构大模型在各行业应用效果良好,但在国内算力设施上的推理并发能力、吞吐低延时等技术指标,相对国外先进算力的推理方案仍有较大提升空间,较高的大模型推理成本也不利于各机构通过AI进行转型与发展。
因此,工行与华为合作,完成金融业国内首个大规模专家并行推理集群的技术突破和验证。
据介绍,该技术方案中利用MoE模型的架构特点,通过研发路由专家负载均衡算法、优化集群通讯协议和算子重构融合等技术手段实现了分布式并行推理,可以在算力投入不变的情况下,服务能力翻倍。
测试结果显示,在2k输入/2k输出场景下,该方案可实现满血DeepSeek单卡推理并发、单卡每秒tokens吞吐能力较当前业界方案(数十tokens/秒)提升3至4倍,端到端时延降低50%,使得推理成本可以等比例下降。
据《银行科技研究社》了解,工行早在2024上半年就开始在行内部署并试点应用DeepSeek系列开源大模型;2025年2月则完成了DeepSeek开源大模型的私有化部署,并将其接入行内“工银智涌”大模型矩阵体系。
而前不久,工行软开基于DeepSeek大模型建设了“面向移动端的智能研发助手”,对接DeepSeek R1深度思考模型及DeepSeek通用模型,支持安卓、iOS、鸿蒙系统、仓颉语言移动端全部技术栈进行研发,支持代码Kaiyun官方网站续写、知识问答功能。
该助手已在工行个人手机银行、工银e生活、企业手机银行、海外个人手机银行、海外企业手机银行、兴农通等移动端应用推广使用。
值得一提的是,工行完成DeepSeek开源大模型的私有化部署,接入“工银智涌”后1个月时间内,实现了行内50余个场景的模型升级。
当地时间5月16日,美国财政部公布的数据显示,2025年3月,美债前三大海外债主中,日本、英国增持美国国债,中国减持。中国由美国第二大债主变为第三大债主,英国变为第二大债主。随着美国总统特朗普对全球推出百年未见的高关税后,美国债市陷入动荡。
近日,美国加州里士满市发生多起鸟类离奇死亡事件,引发当地民众困惑与好奇。自今年2月以来,该市陆续清理出50多只鸟类尸体,甚至曾单日死亡5只以上。众多鸟类在飞行途中突然“爆炸”,尸体坠落在街道或民宅后院。目击者称,鸟类Kaiyun官方网站坠落前听到巨大爆炸声,靠近地面时瞬间爆炸,场景十分残忍。
当地时间5月18日,根据美国前总统拜登办公室发布的一份声明,拜登被确诊患有恶性前列腺癌,癌细胞已扩散至骨骼。声明指出,拜登上周因泌尿系统症状加剧而新发现一个前列腺结节,医生在进一步评估后于16日诊断拜登患有前列腺癌。
知情人回应娃哈哈为何找今麦郎代工 市场需求突增 内部产能不足 代工不到一年,今年4月已终止合作
已经失联11天了,但是大家从来没有放弃你,你也要坚持住了小孩,从白天找到黑夜,夜里的每一个光亮都是一个希望,加油#救援#石谷解##救援队回应福建8岁男童失踪
大象新闻记者 姜明圆上官正义于2025年5月12日曝光湖南长沙县一处乡村别墅内存在非法代孕活动后,引发广泛关注。该事件涉及地下代孕产业链的多个环节,并因幕后人员直接联系举报者的“求和”行为进一步引发舆论震动。
5月18日晚,中国福彩网更新彩票开奖公告。双色球第2025055期中奖号码为22 33 5 27 29 2 12 ,在全国开出3注一等奖,其中上海1注,广东2注,单注中奖金额10000000元。
2025英雄亚冠ACL X CF(穿越火线)项目总决赛落幕,白鲨3:0击败EP获得冠军,也拿到了八月在沙特阿拉伯利雅得进行的EWC电竞世界杯穿越火线项目参赛资格。
-
2025-05-20新能源业务大幅低于预期海得控制去年净亏223亿元国内分布式储能尚未形成规模
-
2025-05-19工行研发大规模专家并行推理集群技术实现大模型推理成本下降
-
2025-05-19储能标准丨分布式储能电站运维技术规范!明确典型故障及处理方式!
-
2025-05-19鸿蒙电脑正式发布 智能终端全面开启鸿蒙时代
-
2025-05-19卡莱特灵犀分布式 颠覆性二合一架构更懂LED!
-
2025-05-19天津北辰天士力博科林分布式光伏项目光伏组件采购项目公告
-
2025-05-19运用颠覆性技术推进军事理论创新
-
2025-05-182024 年度信息通信领域十大科技进展公布面向 6G 试验网、南极自主宽带通信等入选