1987WEB视界-分享互联网热门产品和行业

您现在的位置是:首页 > 人工智能AI > 正文

人工智能AI

这个国人自研的AI模型开发平台,搞深度学习的你还没听说过吗?

1987web2023-08-12人工智能AI103
之江实验室是浙江省委、省政府深入实施创新驱动发展战略、探索新型举国体制浙江路径的重大科技创新平台,今天要介绍的这款开源项目就是来自之江实验室牵头的一款人工智能开源开放平台——天枢。

之江实验室是浙江省委、省政府深入实施创新驱动发展战略、探索新型举国体制浙江路径的重大科技创新平台,今天要介绍的这款开源项目就是来自之江实验室牵头的一款人工智能开源开放平台——天枢。

之江实验室自2018年10月启动人工智能开源平台研发,到2019年1月获国家发改委项目支持,再到2020年8月开源上线,之江天枢团队近百名研发人员,历时650余天科研攻关,成功完成平台第一个版本的研制,并上线具有独特性能优势的计算框架、开发平台和工具组件。经历了半年多的迭代,现在已经进化至 v0.3.0 版本,并在 Gitee 上开源。

项目名称:Dubhe

项目作者:之江天枢

开源许可协议:Apache-2.0

项目地址:https://gitee.com/zhijiangtianshu/Dubhe

项目简介

天枢人工智能开源开放平台(简称:天枢平台)是由之江实验室牵头,联合北京一流科技、中国信通院和浙江大学共同自研的人工智能开源平台。整个平台由一站式AI模型开发平台、高性能深度学习框架(OneFlow)和模型炼知框架三大子系统组成。

其中,一站式AI模型开发平台(简称:一站式开发平台)面向AI模型生产的生命周期,提供了包括数据处理、模型开发、模型训练和模型管理等功能,方便用户一站式构建AI算法。

项目架构

项目预览

项目特点

开发友好

天枢第一个版本支持从数据管理、模型开发、训练管理到模型管理的全链路功能,数据管理还能实现数据的智能标注与数据增强。

训练高效

之江天枢平台的分布式训练框架支持数据并行、模型并行、流水并行三种并行模式,能根据不同模型自动编排相适应的并行模式,同时具备出色的线性加速比,数据并行性能有了较大幅度的提升。

此外,天枢还自研了高效通信协议,原生支持RDMA;同时还支持多种深度学习编译器,多芯片轻松实现软件定义数据流,对AI芯片友好兼容。

可视化分析

在模型训练过程当中,开发者能够直观、实时地洞察模型结构、参数趋势、降维分析等重要信息。通过可视化分析,辅助参数调整,从而改变训练路径。

模型炼知

当前主流深度学习算法构建过程通常需要经过数据处理、模型开发和大规模训练计算等步骤来生产模型,而本次天枢推出了全新的模型生产方式模型炼知,通过领先的模型重组炼知技术,实现灵活按需定制模型。

天枢的深度模型炼知框架具备度量功能,能够自动度量多个视觉模型是否能够进行重组,并通过逐层重组、共同特征提取、多任务自适应分支解码等,将不同模型结构进行重组,直接生产出一个全新的模型,应用在新的场景。

在天枢模型炼知框架上,只要输入两个预训练模型,框架能重组出一个新的多任务模型,该模型可以同时处理两个任务,不仅提升了计算效率,降低了能耗,还增强了模型的能力边界。

发展规划

截至目前,天枢平台已经汇聚了阿里云、蚂蚁金服、新华三(H3C)、海康威视等数十家家生态伙伴。

在后续版本中,天枢将进一步丰富算法库,搭建面向视觉的AutoML平台,实现拖拽式模型开发。还将进一步优化分布式训练性能,不断提高训练规模与并行效率,最终形成去中心化式分布式训练。同时,高效的端侧推理平台在研发计划中,将完善部署环节,实现端侧推理功能。

值得一提的是,为支持企业发展,有力扩展企业生态,天枢平台支持中小微企业免费使用,进一步推动人工智能技术向各行各业渗透应用。

现在 Dubhe 已正式在 Gitee 开源,如果你是深度学习的开发者和爱好者,那么这个一站式深度学习开发平台一定是你不可错过的一站,现在就去项目主页给它一个 Star 吧:https://gitee.com/zhijiangtianshu/Dubhe