对源码进行了优化，增加了注释； 性能优于UFLDL网站上的minFunc函数。 希望各位大佬进行采纳！

对源码进行了优化，增加了注释； 性能优于UFLDL网站上的minFunc函数。 希望各位大佬进行采纳！

多批次LBFGS 该代码是用于神经网络训练的革命性优化器的实现。 它的全名是“带CUDA的多批次L-BFGS优化器”。 如今，著名的机器学习框架（例如Tensorflow）通常提供“基于梯度”的优化器（GradientDescent，AdaGrad），该优化器通过计算梯度并将其应用于网络来发挥作用。 该代码为Tensorflow实现了一个经过优化的优化器，它采用了“多批L-BFGS”算法（一种基于准牛顿算法的变体），我覆盖了Tensorflow的优化器的默认实现，并定义了一种用于梯度计算的拟新方法，该方法结合了二阶信息，其执行方式比默认优化器更好。 此外，我通过介绍CUDA技术来优化此优化器。 我在GPU上分配计算步骤。 它将优化器的性能提高至少20％。

本资源是对抗样本领域中首次提出对抗样本概念并提出使用L-BFGS攻击算法的一篇文章的代码实现，使用的语言是Pytorch语言，文件为Jupyter notebook文件，在电脑环境配置无问题的情况下，可以直接运行此代码文件，内含详细注释。

L-BFGS是解无约束非线性规划问题最常用的方法，具有收敛速度快、内存开销少等优点，在机器学习各类算法中常有它的身影。简单的说，L-BFGS和梯度下降、SGD干的同样的事情，但大多数情况下收敛速度更快，这点在大规模计算中很重要。

这个函数可以从UFLDL网站上下载，其好处是在用10000个样本优化30多万个参数时内存不溢出，比网站上所用的minFunc函数好。我下载后整理了一下，翻译了注释，行数从800多行压倒660行