这个国人自研的AI模型开发平台,搞深度学习的你还没听说过吗?
之江实验室是浙江省委、省政府深入实施创新驱动发展战略、探索新型举国体制浙江路径的重大科技创新平台,今天要介绍的这款开源项目就是来自之江实验室牵头的一款人工智能开源开放平台——天枢。
之江实验室自2018年10月启动人工智能开源平台研发,到2019年1月获国家发改委项目支持,再到2020年8月开源上线,之江天枢团队近百名研发人员,历时650余天科研攻关,成功完成平台第一个版本的研制,并上线具有独特性能优势的计算框架、开发平台和工具组件。经历了半年多的迭代,现在已经进化至 v0.3.0 版本,并在 Gitee 上开源。
项目名称:Dubhe
项目作者:之江天枢
开源许可协议:Apache-2.0
项目地址:https://gitee.com/zhijiangtianshu/Dubhe
项目简介
天枢人工智能开源开放平台(简称:天枢平台)是由之江实验室牵头,联合北京一流科技、中国信通院和浙江大学共同自研的人工智能开源平台。整个平台由一站式AI模型开发平台、高性能深度学习框架(OneFlow)和模型炼知框架三大子系统组成。
其中,一站式AI模型开发平台(简称:一站式开发平台)面向AI模型生产的生命周期,提供了包括数据处理、模型开发、模型训练和模型管理等功能,方便用户一站式构建AI算法。
项目架构
项目预览
项目特点
开发友好
天枢第一个版本支持从数据管理、模型开发、训练管理到模型管理的全链路功能,数据管理还能实现数据的智能标注与数据增强。
训练高效
之江天枢平台的分布式训练框架支持数据并行、模型并行、流水并行三种并行模式,能根据不同模型自动编排相适应的并行模式,同时具备出色的线性加速比,数据并行性能有了较大幅度的提升。
此外,天枢还自研了高效通信协议,原生支持RDMA;同时还支持多种深度学习编译器,多芯片轻松实现软件定义数据流,对AI芯片友好兼容。
可视化分析
在模型训练过程当中,开发者能够直观、实时地洞察模型结构、参数趋势、降维分析等重要信息。通过可视化分析,辅助参数调整,从而改变训练路径。
模型炼知
当前主流深度学习算法构建过程通常需要经过数据处理、模型开发和大规模训练计算等步骤来生产模型,而本次天枢推出了全新的模型生产方式模型炼知,通过领先的模型重组炼知技术,实现灵活按需定制模型。
天枢的深度模型炼知框架具备度量功能,能够自动度量多个视觉模型是否能够进行重组,并通过逐层重组、共同特征提取、多任务自适应分支解码等,将不同模型结构进行重组,直接生产出一个全新的模型,应用在新的场景。
在天枢模型炼知框架上,只要输入两个预训练模型,框架能重组出一个新的多任务模型,该模型可以同时处理两个任务,不仅提升了计算效率,降低了能耗,还增强了模型的能力边界。
发展规划
截至目前,天枢平台已经汇聚了阿里云、蚂蚁金服、新华三(H3C)、海康威视等数十家家生态伙伴。
在后续版本中,天枢将进一步丰富算法库,搭建面向视觉的AutoML平台,实现拖拽式模型开发。还将进一步优化分布式训练性能,不断提高训练规模与并行效率,最终形成去中心化式分布式训练。同时,高效的端侧推理平台在研发计划中,将完善部署环节,实现端侧推理功能。
值得一提的是,为支持企业发展,有力扩展企业生态,天枢平台支持中小微企业免费使用,进一步推动人工智能技术向各行各业渗透应用。
现在 Dubhe 已正式在 Gitee 开源,如果你是深度学习的开发者和爱好者,那么这个一站式深度学习开发平台一定是你不可错过的一站,现在就去项目主页给它一个 Star 吧:https://gitee.com/zhijiangtianshu/Dubhe
-
上一篇
【揭露】莫让“短视频培训”成“割韭菜”噱头
-
下一篇
▲重庆市经济和信息化委员会的公告页面
就在此前6月5日,四川成都刚刚公布了最新AI政策(《争夺西部AI第一城!成都AI新政策来了,最高奖励1000万元》)。本次,重庆的新AI政策与其形成了西部地区发力AI的共鸣,也展现出一些差异化对比。
重庆强调场景驱动,提出了多个重点场景布局,包括制造业智能化升级、重点行业智能化应用、重大项目重大活动、未来新赛道发展,其中涉及机器视觉工业检测、智慧路网管控、智能辅助诊断、沉浸式虚拟展馆、数字孪生工厂、虚拟人等众多应用落地场景,与当地产业结合紧密。
面向这些场景,重庆进一步提出了五大方向16条重点任务,包括提出了推进全国一体化算力网络成渝国家枢纽节点建设、积极引进国内外人工智能领军企业、建设人工智能开源社区、推进自主的人工智能框架、算子等根技术和AIGC(AI Generated Content)等关键技术研发等举措。
值得一提的是,重庆在《计划》中强调了大模型发展,提出要鼓励科研机构、龙头企业积极争取参与大模型旗舰项目,推进AI大模型技术攻关;还要推动大中小企业融通创新发展,共同推进国产AI大模型技术研发和应用落地。围绕AI大模型、AI开发框架及工具体系等方向,建设人工智能开源社区,实施一批开源项目,打造人工智能开源开放生态。
当下,全国已有北京、深圳、成都、杭州、无锡、上海、重庆多城面向AI大模型时代推出了新政策或政策意见稿,AI地方战一触即发。
七城打响AI大模型地方战!重庆成都争夺西部AI第一城
七城打响AI大模型地方战!重庆成都争夺西部AI第一城