Featured image of post 基于DAG的任务编排系统设计构想

基于DAG的任务编排系统设计构想

随着大数据、人工智能等领域的发展,任务调度系统的重要性日益凸显。DAG任务调度系统是一种常见的任务调度系统,它可以有效地解决多个依赖关系复杂的任务调度问题。本文将对DAG任务编排系统的设计展开构想,并在今后进行完善与工程实施。

Featured image of post HCCL通信库创新大赛记录——Ring AllReduce

HCCL通信库创新大赛记录——Ring AllReduce

HCCL集合通信库(Huawei Collective Communication Library,简称HCCL)是基于昇腾AI处理器的高性能通信库,聚焦于超大计算集群中的流量调度难题,为大集群提供高效可靠的通信服务,是华为AI软件生态CANN的核心组件之一,严重故障场景下可使用Ring AllReduce算法

Featured image of post HCCL通信库创新大赛记录——分块MESH

HCCL通信库创新大赛记录——分块MESH

HCCL集合通信库(Huawei Collective Communication Library,简称HCCL)是基于昇腾AI处理器的高性能通信库,聚焦于超大计算集群中的流量调度难题,为大集群提供高效可靠的通信服务,是华为AI软件生态CANN的核心组件之一,本文针对大数据量采用分块MESH算法

Featured image of post HCCL通信库创新大赛记录——MESH

HCCL通信库创新大赛记录——MESH

HCCL集合通信库(Huawei Collective Communication Library,简称HCCL)是基于昇腾AI处理器的高性能通信库,聚焦于超大计算集群中的流量调度难题,为大集群提供高效可靠的通信服务,是华为AI软件生态CANN的核心组件之一,本文针对中数据量采用MESH算法

Featured image of post HCCL通信库创新大赛记录——Butterfly

HCCL通信库创新大赛记录——Butterfly

HCCL集合通信库(Huawei Collective Communication Library,简称HCCL)是基于昇腾AI处理器的高性能通信库,聚焦于超大计算集群中的流量调度难题,为大集群提供高效可靠的通信服务,是华为AI软件生态CANN的核心组件之一,本文针对小数据量采用Butterfly算法

Featured image of post HCCL通信库创新大赛记录——赛题与环境

HCCL通信库创新大赛记录——赛题与环境

HCCL集合通信库(Huawei Collective Communication Library,简称HCCL)是基于昇腾AI处理器的高性能通信库,聚焦于超大计算集群中的流量调度难题,为大集群提供高效可靠的通信服务,是华为AI软件生态CANN的核心组件之一,本文首先对赛题进行分析、并搭建环境