Featured image of post 大模型分布式训练并行技术

大模型分布式训练并行技术

近年来,随着Transformer、MoE架构的提出,使得深度学习模型轻松突破上万亿规模参数,传统的单机单卡模式已经无法满足超大模型进行训练的要求。因此需要基于单机多卡、甚至是多机多卡进行分布式大模型的训练。

Featured image of post 多轨道网络与多平面网络

多轨道网络与多平面网络

NCCL 2.12引入了PXN机制,结合多轨道网络架构显著缩短传输路径并缓解资源争用,实现更高吞吐与更低延迟。多平面网络能够消除单点故障风险,提升集群鲁棒性。

Featured image of post VPP插件开发标准模板

VPP插件开发标准模板

本文解析了一个名为myplugin的VPP插件。作为框架示例,它遵循VPP插件开发的标准规范,提供了一个最小可运行、具备CLI命令和API接口、可注册特性并通过VPP Feature Arc挂载到接口上的插件骨架。

Featured image of post VPP与自定义插件的安装部署

VPP与自定义插件的安装部署

VPP是一个高性能、可扩展、模块化的用户空间网络数据平面框架。它由FD.io项目开发和维护,用于实现灵活、低延迟、高吞吐的网络功能,本文介绍VPP及插件的安装部署方法。

力扣377-组合总和IV

动态规划:给你一个由不同整数组成的数组nums,和一个目标整数target。请你从nums中找出并返回总和为target的元素组合的个数。