- 综合排序
- 最热优先
- 最新优先
- 来自专栏信数据得永生
JAX 中文文档（十七）
forward-mode autodiff 见 JVP 函数式编程 一种编程范式，程序通过应用和组合纯函数定义。JAX 设计用于函数式程序。 有关详细信息，请参阅 Jacobian-Vector products (JVPs, aka forward-mode autodiff)。 reverse-mode autodiff 见 VJP。
48310编辑于 2024-06-22 - 来自专栏Soul Joy Hub
TensorFlow指南（二）——练习思考：上手TensorFlow
答：主要好处: TensorFlow可以自动计算你的梯度(使用反向模式autodiff)。 TensorFlow可以在不同的线程中并行地运行并行操作。 0.646157 x_assign.eval(feed_dict={x_new_val: 5.0}) print(x.eval()) # 5.0 为了计算10个变量的成本函数的梯度，反向传播 autodiff 关于正向传播 autodiff 呢? 符号微分法呢? 符号微分法、自动微分法 参阅：http://blog.csdn.net/u011239443/article/details/79074931 反向 autodiff(由TensorFlow实现)只需遍历图两次 另一方面，正向 autodiff 需要为每个变量运行一次(如果我们想要10个不同的变量，则需要10次)。至于符号微分，它会构建一个不同的图来计算梯度，所以它不会完全穿越原始的图(除了构建新的梯度图)。
1.4K40发布于 2018-04-18 - 来自专栏Soul Joy Hub
TensorFlow指南（四）——练习思考：深度神经网络（初级）
反向传播和反向模式autodiff的区别是什么? 反向传播是一种用于训练人工神经网络的技术。它首先计算每个模型参数(所有的权重和偏差)的成本函数的梯度，然后使用这些梯度执行梯度下降步骤。 为了计算梯度，反向传播使用反向模式autodiff(虽然在创建反向传播时并没有调用它，并且它已经被重新设计了好几次)。 反向模式autodiff通过计算图执行向前传递，计算当前训练批的每个节点的值，然后执行反向传递，同时计算所有的梯度(请参阅：http://blog.csdn.net/u011239443/article 相反，反向模式autodiff是一种有效地计算梯度的技术，它恰好被反向传播所使用。 列出能在MLP中调整的所有超参数吗?如果MLP过拟合了训练数据，如何调整这些超参数来解决问题呢?
51320发布于 2019-02-13 - 来自专栏机器学习算法与Python学习
纯Python实现Torch API，康奈尔副教授为自己的课程创建了DIY教学库
Setup 地址：https://minitorch.github.io/setup 然后，按照如下顺序创建必要的模块： 模块 0：Fundamental 模块 1：Autodiff 模块 2：Tensors 模块 1：Autodiff Autodiff 是在模块 0 的基础上构建的，向用户展示了如何仅使用标量（scalar）值来创建 MiniTorch 的第一个版本（mini-MiniTorch），涵盖了系统中的关键技术
57910编辑于 2022-07-18 - 来自专栏机器之心
纯Python实现Torch API，康奈尔副教授为自己的课程创建了DIY教学库
Setup 地址：https://minitorch.github.io/setup 然后，按照如下顺序创建必要的模块： 模块 0：Fundamental 模块 1：Autodiff 模块 2：Tensors 模块 1：Autodiff Autodiff 是在模块 0 的基础上构建的，向用户展示了如何仅使用标量（scalar）值来创建 MiniTorch 的第一个版本（mini-MiniTorch），涵盖了系统中的关键技术
71030编辑于 2021-12-13 - 来自专栏机器之心
教程 | 如何利用C++搭建个人专属的TensorFlow
分支与特征后端（https://github.com/OneRaynyDay/autodiff/tree/eigen） 2. 仅支持标量的分支（https://github.com/OneRaynyDay/autodiff/tree/master） 这个项目是我与 Minh Le 一起完成的。 为什么？ 「Autodiff」的神经网络，迭代，优化：25397.2 ms 4.「Autodiff」的神经网络，迭代，无优化：29052.4 ms 5. 「Autodiff」的神经网络，带有递归，无优化：28121.5 ms 令人惊讶的是，Scikit 是所有这些中最快的。这可能是因为我们没有做庞大的矩阵乘法。
1K100发布于 2018-05-10 - 来自专栏OpenMMLab
一睹为快！PyTorch1.11 亮点一览
functorch 是一个向 PyTorch 添加可组合函数转换的库，旨在提供可组合的 vmap（向量化）和 autodiff 转换，可与 PyTorch 模块和 PyTorch autograd 一起使用 计算每个样本的梯度 · 单机运行多个模型的集成 · 在元学习（MAML）内循环中高效地批处理任务 · 高效地计算雅可比矩阵（Jacobians）和海森矩阵（Hessians） vmap（向量化）、vjp（反向模式 autodiff ）和 jvp（前向模式 autodiff）转换的组合使得用户毫不费劲地表达上述内容，无需为每个转换设计单独的库。
80410编辑于 2022-04-09 - 来自专栏计算机视觉战队
麻省理工新框架 | MIT开源高性能自动微分框架，速度提升4.5倍（附框架源码）
double foo(double); double grad_foo(double x) { return __enzyme_autodiff(foo, x); } 通过优化微分后的代码，Enzyme 优化遍历可创建任何必需的派生函数，用生成的函数替换对__enzyme_autodiff 的调用。
79110发布于 2021-01-12 - 来自专栏机器之心
MIT开源高性能自动微分框架Enzyme：速度提升4.5倍
double foo(double); double grad_foo(double x) { return __enzyme_autodiff(foo, x); } 通过优化微分后的代码， 优化遍历可创建任何必需的派生函数，用生成的函数替换对__enzyme_autodiff 的调用。 更多详细介绍，可查看 MIT 研究者们提交的 NeurIPS 2020 论文： ?
1.1K10发布于 2021-01-06 - 来自专栏Rust语言学习交流
【社区投稿】pytorch+burn 实现A卡训练模型
; cfg.num_epochs = 8; cfg.batch_size = 1000; cfg.learning_rate = 1.0; 4.1 CPU 我们先用cpu尝试一下： train::<Autodiff Cpu); run起程序， 风扇开始呼呼转动，窗口直接黑屏卡死，cpu监控拉满： image.png 4.2 GPU 接下来用我们的笔记本自带的垃圾卡跑一下（一般的a卡和i卡都可以跑） train::<Autodiff 比如用m1芯片： train::<Autodiff<LibTorch>>(cfg,LibTorchDevice::Mps); 或者CUDA train::<Autodiff<LibTorch>>(cfg
79610编辑于 2024-04-15 - 来自专栏GiantPandaCV
踩坑记 如何编译所有版本的TVM
mnist_dlsys.py -l -m mlp 三、粗略地看看dlsys里面的测试代码 看看有什么文件 ├── dl_stack.png ├── python │ └── dlsys │ ├── autodiff.py │ ├── __init__.py │ └── tvm_op.py ├── README.md └── tests ├── dlsys │ ├── autodiff.py
1.3K40编辑于 2022-05-27 - 来自专栏智能算法
深度学习三人行(第2期)---- TensorFlow爱之再体验
1.2 autodiff方法计算 上面的方法并没有什么问题，但是唯一不足的是需要数学推导梯度的损失函数公式。 自动计算梯度一般有以下四种方法，TensorFlow用了reverse-mode autodiff方法，该方法特别适用于大量输入，少量输出的神经网络系统中。 ? 本期小结 至此，我们从TensorFlow直接计算梯度下降法入手，分别学习了autodiff方法，优化器的方法以及MBGD。
830100发布于 2018-04-03 - 来自专栏新智元
谷歌开源计算框架JAX：比Numpy快30倍，还可在TPU上运行！
简单来说，就是GPU和TPU加速、支持自动微分(autodiff)的numpy。
2.1K30发布于 2021-03-10 - 来自专栏开源服务指南
微软开源，全平台通用：Shell 自动补全工具 | 开源日报 No.132
crate)，支持多种计算平台： Torch 后端，支持 CPU 和 GPU Ndarray 后端与 no_std 兼容，在各个平台上都能适用 WebGPU 后端，提供跨平台浏览器内置 GPU 计算能力 Autodiff
73210编辑于 2023-12-26 - 来自专栏人工智能
从概念到实践，我们该如何构建自动微分库
我最近开始写自己的 autodiff 程序包。这篇博客文章记录了我一路以来学到的东西，并把它当成 Julia Evans 的「穷人版」博客文章。 ：https://github.com/maciejkula/wyrm FizzBuzz：https://github.com/maciejkula/fizzbuzz 动机 关于为什么我想要有自己的 autodiff 我希望能够用我的 autodiff 库像 Python 包那样以最小的依赖关系来编写和构造模型。
1.2K100发布于 2018-02-05 - 来自专栏深度应用
『JAX中文文档』JAX快速入门
简单的说就是GPU加速、支持自动微分(autodiff)的numpy。众所周知，numpy是Python下的基础数值运算库，得到广泛应用。用Python搞科学计算或机器学习，没人离得开它。 我们继续深入学习实验： print(grad(jit(grad(jit(grad(sum_logistic)))))(1.0)) -0.035325594 对于更高级的autodiff，可以将其jax.vjp
2.9K11发布于 2021-04-29 - 来自专栏开源服务指南
免费私有 ChatGPT 应用程序：一键轻松部署 | 开源日报 No.293
实现了反向传播（reverse-mode autodiff）和动态构建 DAG。 神经网络库具有 PyTorch-like API，代码量非常小。
49810编辑于 2024-07-10 - 来自专栏机器之心
深度 | 从概念到实践，我们该如何构建自动微分库
我最近开始写自己的 autodiff 程序包。这篇博客文章记录了我一路以来学到的东西，并把它当成 Julia Evans 的「穷人版」博客文章。 ：https://github.com/maciejkula/wyrm FizzBuzz：https://github.com/maciejkula/fizzbuzz 动机 关于为什么我想要有自己的 autodiff 我希望能够用我的 autodiff 库像 Python 包那样以最小的依赖关系来编写和构造模型。
1.2K80发布于 2018-05-10 - 来自专栏DeepHub IMBA
NeurIPS 2022-10大主题、50篇论文总结
(1)或者当我们盲目地对不够平滑的函数使用autodiff时，我们能得到什么保证呢?(3)或者在哪些条件下，在分布外情况下表现良好是可能的?(2).如果你对这些问题感兴趣，请查看下面的论文。 3、 Automatic differentiation of nonsmooth iterative algorithms 当你对不够平滑的函数应用autodiff时会发生什么?基本上还好。 4、 Efficient and Modular Implicit Differentiation Autodiff，但以隐式形式(即当您无法将f(x)隔离在等号的左侧时)。
1K20编辑于 2023-02-01 - 来自专栏HyperAI超神经
PyTorch 2.0 重磅发布：编译、编译、还是编译！
AOTAutograd 重载 PyTorch autograd engine，作为一个 tracing autodiff，用于生成超前的 backward trace。 3. Distributed, Autodiff, Data loading, Accelerators 等的良好抽象 PyTorch自2017年面世以来，硬件加速器（如GPU）的计算速度提高了约 15倍，内存访问速度提高了约
2.1K10编辑于 2023-02-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号