首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >需要澄清SGD优化器

需要澄清SGD优化器
EN

Stack Overflow用户
提问于 2021-05-21 12:31:55
回答 1查看 71关注 0票数 1

我有一个关于SGD Optimizer的问题。

有三种类型的Gradient Descent Algorithm

Descent

  • Mini-Batch梯度下降
  1. 随机梯度下降

Stochastic Gradient Descent是一个Algorithm,其中一个来自Training SetInstanceRandom上被取下来,而Weights被更新到关于这个Instance的方面。

SGD Optimizer稍微偏离了上面的定义,它可以接受超过1的batch_size。有人能澄清这个偏差吗?

下面的代码似乎符合Stochastic Gradient Descent的定义

代码语言:javascript
复制
model.compile(optimizer = 'sgd', loss = 'mse')
model.fit(x, y,epochs = 500, batch_size = 1,verbose=1)

但是,下面的代码似乎令人困惑/偏离(因为batch_size > 1):

代码语言:javascript
复制
model.compile(optimizer = 'sgd', loss = 'mse')
model.fit(x, y,epochs = 500, batch_size = 32, verbose=1)

谢谢您的澄清。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-05-21 16:59:01

引用维基百科的话:

它可以被视为梯度下降优化的随机逼近,因为它将实际的梯度(从整个数据集中计算)替换为它的估计(根据随机选择的数据子集计算)。

所以你提到的三种类型都是SGD。即使您使用所有数据执行SGD迭代,它仍然是实际梯度的随机估计;因为在收集新数据时(您的数据集不包括宇宙中的所有数据),您的估计将发生变化,因此是随机的。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/67636925

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档