存储解决方案(阿里云深度学习存储解决方案)

ntechnologytr778 2024-01-15 阅读:9 评论:0
大家好,今天给大家分享存储解决方案,一起来看看吧。介绍提供强大计算能力的同时,还保证了弹性和易用性:神龙服务器,既具有裸服务器的性能,又有虚拟机的弹性,并且使用E-HPC提供了简单高效的集群管理和调度系统。一键部署容器集群,快速建立训练环境...

大家好,今天给大家分享存储解决方案,一起来看看吧。

介绍
  • 提供强大计算能力的同时,还保证了弹性和易用性:

神龙服务器,既具有裸服务器的性能,又有虚拟机的弹性,并且使用E-HPC提供了简单高效的集群管理和调度系统。

一键部署容器集群,快速建立训练环境。

文件共享方面,文件存储NAS和CPFS并行文件系统按需使用,灵活扩展。

  • 保证稳定性的同时,提供了全生命周期的数据管理和灵活高效的数据流动机制:

文件存储NAS和CPFS高可靠,高稳定,保证业务的连续性。

数据从采集到训练,归档,使用高效的数据传输工具,压缩数据流动时间。

从采集到归档,完全的数据生命周期管理。

  • 保证高可靠性的同时,提供了高性能:

高效可靠的容器管理,支持海量容器秒级启动,并经过阿里超大规模验证。

文件存储NAS和CPFS并行文件系统基于盘古架构,提供了11个9个高可靠性的同时,提供了高带宽和高IOPS。

阿里云深度学习解决方案部署配置

利用E-HPC部署计算集群

建立集群

登录管理控制台,定位到 弹性高性能计算 > 集群,选择地域(如华东1),单击 创建集群。

选择硬件配置,网络配置等参数,配置共享存储(文件存储NAS)!

共享存储在这里配置过后,计算集群节点系统起来后,会自动挂载文件系统NAS。

注意:目前CPFS处于公测阶段,如果要使用CPFS并行文件系统,需要手动在服务器节点的终端里执行挂载命令。

选择软件配置,基础配置等参数,最后点击确认创建集群。确认配置清单,配置拓扑图,大约经过20分钟,您可以回到E-HPC集群列表页面,查看新集群状态。若新集群所有节点皆处于正常状态,则集群已创建完毕。

详细步骤及参数,请参考:https://help.aliyun.com/document_detail/57937.html?spm=a2c4g.11186623.2.11.32767c13pITowJ

使用集群:

登录集群,并使用作业调度系统提交作业。目前E-HPC支持两种作业调度软件PBS pro和

SLURM。详细步骤请参考:https://help.aliyun.com/document_detail/58269.html?spm=a2c4g.11186623.2.18.4de045d6BXuXRW

利用Kubernetes构建集群

Kubernetes集群部署

  • 创建Kubernets集群
  • 确认集群配置
  • 集群创建成功
  • 阿里云NAS文件存储部署

    1.创建NAS文件系统

    2.添加挂载点

    3.成功添加挂载点,挂载地址用于后续对接容器使用

    Kubernetes集群对接NAS存储

    1.为集群创建存储卷

    2.成功创建NAS存储卷

    以上就是存储解决方案的内容分享,希望对大家有用。

    版权声明

    本文仅代表作者观点,不代表百度立场。
    本文系作者授权发表,未经许可,不得转载。

    «    2024年3月    »
    123
    45678910
    11121314151617
    18192021222324
    25262728293031
    最近发布
    热门文章