近年来,随着Transformer、MoE架构的提出,使得深度学习模型轻松突破上万亿规模参数,传统的单机单卡模式已经无法满足超大模型进行训练的要求。因此需要基于单机多卡、甚至是多机多卡进行分布式大模型的训练。
NCCL 2.12引入了PXN机制,结合多轨道网络架构显著缩短传输路径并缓解资源争用,实现更高吞吐与更低延迟。多平面网络能够消除单点故障风险,提升集群鲁棒性。
本文解析了一个名为myplugin的VPP插件。作为框架示例,它遵循VPP插件开发的标准规范,提供了一个最小可运行、具备CLI命令和API接口、可注册特性并通过VPP Feature Arc挂载到接口上的插件骨架。
VPP是一个高性能、可扩展、模块化的用户空间网络数据平面框架。它由FD.io项目开发和维护,用于实现灵活、低延迟、高吞吐的网络功能,本文介绍VPP及插件的安装部署方法。
动态规划:给你一个由不同整数组成的数组nums,和一个目标整数target。请你从nums中找出并返回总和为target的元素组合的个数。
飞哥开发内功修炼(https://github.com/yanfeizhang/coder-kung-fu)的学习笔记,涉及内核的收发包原理