分布式训练 – 第4篇 - 分布式训练常用的网络结构及集合通信拓扑算法
在深度学习的分布式训练里，RingAllReduce拓扑算法奠定了数据并行训练的集合通信基础，但集合通信拓扑不只是仅有RingAllreduce，经典的集合通信拓扑算法还有2D-Ring/HierarchicalRingAllReduce，halvinganddoublingAllReduce，Bu...
全国服务热线
13988888888
技术过硬，据实报价
-
05-06
2024
-
04-15
2024
基于Matlab实现光伏并网电压系统侧无功优化算法
基于Matlab实现光伏并网电压系统侧无功优化算法在电力系统中，无功功率是一种重要的电力质量指标，具有稳定电压、提高系统功率因数等作用。对于光伏发电系统而言，由于其本身的特性，无功功率管理变得尤为重要。本文基于Matlab软件，设计了一种考虑泄流效应的光伏并网电压系统侧无功优化算法，并给出相应的源代...
-
04-07
2024
优化算法综述
优化算法综述依据分类具体算法1全局优化遗传算法（GA）、帝国竞争算法（ICA）、粒子群优化（PSO）局部优化模拟退火（SA）、贪婪算法（Greedy）、邻域搜索（NS）2精确算法线性规划（LP）、分支定界法（BB）模拟进化算法v群体仿生类算法、又称为群体智能优化算法GA、PSO数学规划方法：动态规划...
-
03-12
2024
一些优化算法
优化算法，被设计用来寻找函数的最大值或最小值。以下是一些常见的优化算法：一种迭代算法，通过沿着梯度的反方向更新参数，逐步接近函数的最小值。与梯度下降法相似，但它在每次迭代中沿着共轭方向更新参数，从而更快地收敛。使用目标函数的二阶导数信息，通过二次逼近来找到极小值点。牛顿法（Newton'smetho...
-
03-12
2024
利用深度学习模型基于遗传算法（GA）寻求最优解
文章目录前言一、各种优化算法的优缺点二、深度学习模型+遗传算法1.思路2.代码部分三、完整代码四、总结深度学习模型的训练前面的文章已经记录过，深度学习-LSTM预测未来值，训练好后的模型如何使用呢？其中一个用途就是用来寻求最优解，优化算法的种类也有很多，...
-
03-12
2024
基于NSGAII的三目标优化算法
目录一、理论基础2.1遗传算法2.2非支配排序技术2.3NSGAII算法2.4优点2.5缺点2.6实现过程二、核心程序三、仿真结论???近年来，随着多目标优化问题在工程和科学领域中的广泛应用，基于NSGAII的三目标优化算法逐渐成为了优化算法研究的热点。本文将从数学公式和原理、优缺点、...
-
03-11
2024
《Python智能优化算法：从原理到代码实现与应用》出版啦
各位亲爱的小伙伴，让各位久等了。我们撰写的《Python智能优化算法：从原理到代码实现与应用》由电子工业出版社出版了。本书以理论结合应用为指导思想，以智能优化算法为对象，以Python为开发语言，主要讲解智能优化算法的基本原理、代码实现、应用案例和性能测试。本书轻理论，重实践，目的是使读者能够迅速地...
-
03-11
2024
五种多目标优化算法（NSWOA、MOJS、MOAHA、MOPSO、NSGA2）性能对比（提供MATLAB代码）
为了测试5种算法的性能将其求解9个多目标测试函数（zdt1、zdt2、zdt3、zdt4、zdt6、Schaffer、Kursawe、Viennet2、Viennet3），其中Viennet2与Viennet3的目标为3，其余测试函数的目标为2，并采用6种评价指标（IGD、GD、HV、Coverag...
-
03-04
2024
Pytorch基础（十）——优化器（SGD，Adagrad，RMSprop，Adam，LBFGS等）
Pytorch中优化器的目的：将损失函数计算出的差值Loss减小。优化过程：优化器计算网络参数的梯度，然后使用一定的算法策略来对参数进行计算，用新的参数来重新进行训练，最终降低Loss。其中官网提供了13种优化算法，其中主要的有5种：SGD(stochasticgradientdescent随机...
-
03-04
2024
基于自适应调整权重和搜索策略的鲸鱼优化算法
优化问题一直是计算机科学、人工智能和工程实践等多个领域研究的热点问题.研究学者受到自然界动物群体行为方式的启发，提出多种智能优化算法，如粒子群优化(particleswarmoptimization，PSO)算法[1]，蚁群优化(antcolonyoptimization，ACO)算法[2]，差分进...
