- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
MCMC采样_MCMC认证
MCMC(一)蒙特卡罗方法 MCMC(二)马尔科夫链 MCMC(三)MCMC采样和M-H采样 MCMC(四)Gibbs采样 在MCMC(三)MCMC采样和M-H采样中，我们讲到了M-H 完整代码参见我的github: https://github.com/ljpzzz/machinelearning/blob/master/mathematics/mcmc_3_4.ipynb ,其中： Gibbs采样小结 由于Gibbs采样在高维特征时的优势，目前我们通常意义上的MCMC采样都是用的Gibbs采样。 有了Gibbs采样来获取概率分布的样本集，有了蒙特卡罗方法来用样本集模拟求和，他们一起就奠定了MCMC算法在大数据时代高维数据模拟求和时的作用。MCMC系列就在这里结束吧。
40530编辑于 2022-09-20 - 来自专栏机器学习算法原理与实践
MCMC(三)MCMC采样和M-H采样
MCMC(一)蒙特卡罗方法 MCMC(二)马尔科夫链 MCMC(三)MCMC采样和M-H采样 MCMC(四)Gibbs采样 在MCMC(二)马尔科夫链中我们讲到给定一个概率平稳分布$\pi 本篇我们就讨论解决这个问题的办法：MCMC采样和它的易用版M-H采样。 1. 下面我们来看MCMC采样如何解决这个问题。 2. 好了，现在我们来总结下MCMC的采样过程。 上面这个过程基本上就是MCMC采样的完整采样理论了，但是这个采样算法还是比较难在实际中应用，为什么呢？问题在上面第三步的c步骤，接受率这儿。
98950发布于 2018-08-14 - 来自专栏机器学习算法原理与实践
MCMC(四)Gibbs采样
MCMC(一)蒙特卡罗方法 MCMC(二)马尔科夫链 MCMC(三)MCMC采样和M-H采样 MCMC(四)Gibbs采样 在MCMC(三)MCMC采样和M-H采样中，我们讲到了M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集的问题 Gibbs采样小结 由于Gibbs采样在高维特征时的优势，目前我们通常意义上的MCMC采样都是用的Gibbs采样。 有了Gibbs采样来获取概率分布的样本集，有了蒙特卡罗方法来用样本集模拟求和，他们一起就奠定了MCMC算法在大数据时代高维数据模拟求和时的作用。MCMC系列就在这里结束吧。
1.5K180发布于 2018-08-14 - 来自专栏机器学习算法原理与实践
MCMC(一)蒙特卡罗方法
MCMC(一)蒙特卡罗方法 MCMC(二)马尔科夫链 MCMC(三)MCMC采样和M-H采样 MCMC(四)Gibbs采样 作为一种随机采样方法，马尔科夫链蒙特卡罗（Markov Chain Monte Carlo，以下简称MCMC）在机器学习,深度学习以及自然语言处理等领域都有广泛的应用，是很多复杂算法求解的基础。 下面我们就对MCMC的原理做一个总结。 1. MCMC概述 从名字我们可以看出，MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）。 要弄懂MCMC的原理我们首先得搞清楚蒙特卡罗方法和马尔科夫链的原理。我们将用三篇来完整学习MCMC。在本篇，我们关注于蒙特卡罗方法。 2.
1.3K180发布于 2018-08-14 - 来自专栏谓之小一
MCMC之蒙特卡罗方法
1.MCMC简介 马尔可夫链蒙克卡罗(Markov Chain Monte Carlo,MCMC)是一种随机采样方法，在机器学习、深度学习及自然语言处理等领域都有广泛的应用，是很多复杂算法求解的基础，例如受限玻尔兹曼机 (RBM)便是用MCMC来做一些复杂算法的近似求解。 在具体讲解什么是MCMC之前，我们先看看MCMC可以解决什么样的问题，为什么需要MCMC方法。 2. 为什么需要MCMC? ? ? ? 累积分布函数如下所示 ? ? ? 此时便需要用到下面介绍的MCMC。 3.蒙特卡罗方法 我们首先介绍MCMC中的蒙特卡罗(Monte Carlo)方法，蒙特卡罗是一种随机模拟的方法，最初的蒙特卡罗方法是用来求解积分问题，比如 ? ?
92110发布于 2019-08-14 - 来自专栏AI科技大本营的专栏
浅谈贝叶斯和MCMC
这是这个系列的第一个笔记，是关于贝叶斯和MCMC一些数学原理的讲解和代码的实现，希望能够深入浅出，叙述的容易让人理解。 MCMC(Markov chain Monte Carlo) 你以为说到这贝叶斯的事情就结束了？那你真的就是太 naive 了。贝叶斯公式里的 θ 只是一个参数，有没有想过有两个参数怎么办？ 于是便有了 MCMC 方法，全称是马尔科夫链蒙特卡洛方法。大家别指望在下文里看到详细的计算过程和推导，我还是按照我的理解，简单地从原理出发进行描述，让大家有一个感性的认识。 MCMC 是一个有着完整体系的东西，市面上都很少有详细介绍其理论过程的资料，有的话那都不是几十页纸能讲完的。 MCMC 的 Python 实现——Pymc 原本想在这里详细介绍一个例子的，但终究还是别人的例子，还是去看原资料比较好，见[4]。
1K30发布于 2018-07-23 - 来自专栏谓之小一
MCMC之马尔可夫链
在MCMC之蒙特卡罗方法之中，讲到如何利用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和方法。 下篇文章，我们将重点介绍MCMC采用通过与会的方式解决上述问题，以及改进版的M-H采样和Gibbs采样。 你看到的这篇文章来自于公众号「谓之小一」，欢迎关注我阅读更多文章。
1.2K30发布于 2019-08-14 - 来自专栏ATYUN订阅号
Python可视化解析MCMC
当我们讨论马尔可夫链蒙特卡罗(MCMC)方法时，不变分布是一个关键的概念。后者包括一类从概率分布中抽样的算法，它构造了一个以期望分布为不变分布的马尔可夫链。 实际上，蒙特卡罗(MCMC)方法的目标是找到从不易取样的分布中取样的方法。为了绕过这个问题，有一些方法，比如拒绝抽样和重要性抽样，它们使用了一个更简单的函数，叫做“proposal”。
1.1K40发布于 2019-10-28 - 来自专栏IT派
浅谈贝叶斯和MCMC
这是这个系列的第一个笔记，是关于贝叶斯和MCMC一些数学原理的讲解和代码的实现，希望能够深入浅出，叙述的容易让人理解。 MCMC(Markov chain Monte Carlo) 你以为说到这贝叶斯的事情就结束了？那你真的就是太 naive 了。贝叶斯公式里的 θ 只是一个参数，有没有想过有两个参数怎么办？ 于是便有了 MCMC 方法，全称是马尔科夫链蒙特卡洛方法。大家别指望在下文里看到详细的计算过程和推导，我还是按照我的理解，简单地从原理出发进行描述，让大家有一个感性的认识。 MCMC 是一个有着完整体系的东西，市面上都很少有详细介绍其理论过程的资料，有的话那都不是几十页纸能讲完的。 MCMC 的 Python 实现——Pymc 原本想在这里详细介绍一个例子的，但终究还是别人的例子，还是去看原资料比较好，见[4]。
1.5K30发布于 2018-08-10 - 来自专栏谓之小一
MCMC采样和M-H采样
在MCMC之马尔可夫链之中我们介绍到，给定一个概率分布π，很难直接找到对应的马尔可夫链状态转移矩阵P。只要解决这个问题，我们便可以找到一种通用的概率分布采样方法，进而用于蒙特卡罗模拟。 2.MCMC采样 由于一般情况下，目标平稳分布π(x)和某一马尔可夫链状态转移矩阵Q不满足细致平稳条件，即 ? 我们对上式进行一些变换，使细致平稳条件成立。 其实很像我们在MCMC之蒙特卡罗方法中提到的接受-拒绝采样，那里是以常用分布通过一定的接受-拒绝概率得到一个非常见分布。 下面，我们来总结下MCMC的采样过程 ? 上述过程便是MCMC采样理论，但很难在实际应用，为什么呢? 因为α可能非常小，比如0.1，导致大部分采样值都被拒绝转移，采样效率很低。 3.M-H采样 M-H采样解决了MCMC采样接受率过低的问题，我们首先回到MCMC采样的细致平稳条件 ? 采样效率过低的原因是α(i,j)太小，比如0.1，α(j,i)为0.2，即 ?
1.3K20发布于 2019-08-14 - 来自专栏机器学习算法原理与实践
MCMC(二)马尔科夫链
MCMC(一)蒙特卡罗方法 MCMC(二)马尔科夫链 MCMC(三)MCMC采样和M-H采样 MCMC(四)Gibbs采样 在MCMC(一)蒙特卡罗方法中，我们讲到了如何用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和的方法 当然这么说可能有些武断，但是这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等，当然MCMC也需要它。 幸运的是，MCMC采样通过迂回的方式解决了上面这个大问题，我们在下一篇来讨论MCMC的采样，以及它的使用改进版采样: M-H采样和Gibbs采样. （欢迎转载，转载请注明出处。
1.6K320发布于 2018-08-14 - 来自专栏人工智能头条
机器学习 —— 浅谈贝叶斯和MCMC
这是这个系列的第一个笔记，是关于贝叶斯和MCMC一些数学原理的讲解和代码的实现，希望能够深入浅出，叙述的容易让人理解。 MCMC(Markov chain Monte Carlo) 你以为说到这贝叶斯的事情就结束了？那你真的就是太 naive 了。贝叶斯公式里的 θ 只是一个参数，有没有想过有两个参数怎么办？ 于是便有了 MCMC 方法，全称是马尔科夫链蒙特卡洛方法。大家别指望在下文里看到详细的计算过程和推导，我还是按照我的理解，简单地从原理出发进行描述，让大家有一个感性的认识。 MCMC 是一个有着完整体系的东西，市面上都很少有详细介绍其理论过程的资料，有的话那都不是几十页纸能讲完的。 MCMC 的 Python 实现——Pymc 原本想在这里详细介绍一个例子的，但终究还是别人的例子，还是去看原资料比较好，见[4]。
2K40发布于 2018-07-20 - 来自专栏技术圈
马尔可夫平稳过程到MCMC采样
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
93810发布于 2019-08-21 - 来自专栏数据STUDIO
MCMC确定机器学习集成模型最佳权重
MCMC采样 马尔科夫链 马尔科夫链假设某一时刻状态转移的概率只依赖于它的前一个状态。举个形象的比喻，假如每天的天气是一个状态的话，那个今天是不是晴天只依赖于昨天的天气，而和前天的天气没有任何关系。 当然这么说可能有些武断，但是这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等，当然MCMC也需要它。 M-H采样 M-H采样是MCMC采样的易用版本。 给定一个概率平稳分布 ，很难直接找到对应的马尔科夫链状态转移矩阵 P 。 3, scale=2)) num_bins = 50 plt.hist(pi, num_bins, normed=1, facecolor='red', alpha=0.7) plt.show() MCMC #### ### MCMC algo for dummies ### 1.
47110编辑于 2024-07-24 - 来自专栏机器学习AI算法工程
【LDA数学八卦-3】MCMC 和 Gibbs Sampling
而本节中将要重点介绍的 MCMC(Markov Chain Monte Carlo) 和 Gibbs Sampling算法就是最常用的一种，这两个方法在现代贝叶斯分析中被广泛使用。 这个马氏链的收敛定理非常重要，所有的 MCMC(Markov Chain Monte Carlo) 方法都是以这个定理作为理论基础的。 Metropolis 算法是首个普适的采样方法，并启发了一系列 MCMC方法，所以人们把它视为随机模拟技术腾飞的起点。 我们接下来介绍的MCMC 算法是 Metropolis 算法的一个改进变种，即常用的 Metropolis-Hastings 算法。 所以我们可以取 α(i,j)=min{p(j)q(j,i)p(i)q(i,j),1} 于是，经过对上述MCMC 采样算法中接受率的微小改造，我们就得到了如下教科书中最常见的 Metropolis-Hastings
1.4K80发布于 2018-03-12 - 来自专栏机器学习算法与Python学习
聊一聊贝叶斯和MCMC......
作者 | 徐炎琨 来源 | 知乎问答 整理 | AI科技大本营 这是这个笔记，是关于贝叶斯和MCMC一些数学原理的讲解和代码的实现，希望能够深入浅出，叙述的容易让人理解。 MCMC(Markov chain Monte Carlo) 你以为说到这贝叶斯的事情就结束了？那你真的就是太 naive 了。贝叶斯公式里的 θ 只是一个参数，有没有想过有两个参数怎么办？ 于是便有了 MCMC 方法，全称是马尔科夫链蒙特卡洛方法。大家别指望在下文里看到详细的计算过程和推导，我还是按照我的理解，简单地从原理出发进行描述，让大家有一个感性的认识。 MCMC 是一个有着完整体系的东西，市面上都很少有详细介绍其理论过程的资料，有的话那都不是几十页纸能讲完的。 MCMC 的 Python 实现——Pymc 原本想在这里详细介绍一个例子的，但终究还是别人的例子，还是去看原资料比较好，见[4]。
1.3K41发布于 2018-06-25 - 来自专栏量化投资与机器学习
马尔可夫链蒙特卡洛（MCMC）算法
马尔可夫链蒙特卡洛（MCMC）算法的产生是为了解决计算机产生随机数的问题。产生的随机数要服从一定的概率分布P(X)，当这个目标概率分布不太复杂时，比如均匀分布，计算机可以根据算法产生较好的伪随机数。 但是在实际生活中，随机变量之间一般是有联系的，此时我们就需要引入MCMC的两种算法： Metropolis-Hastings采样法和Gibbs采样法。
4.2K90发布于 2018-01-29 - 来自专栏拓端tecdat
R语言近似贝叶斯计算MCMC（ABC-MCMC）轨迹图和边缘图可视化|附代码数据
近似贝叶斯计算和近似技术基于随机模拟模型中的样本计算近似似然值，在过去几年中引起了很多关注，因为它们有望为任何随机过程提供通用统计技术 一位同事向我询问我们在文章中讨论过的近似贝叶斯计算 MCMC (ABC-MCMC ((difmean < 0.1) & (difsd < 0.2)) return(T) else return(F) } # 我们将其插入一个标准的metropolis Hastings MCMC chn[i+1,] = prl }else{ chn[i+1,] = cain[i,] } } return(mcmc
37800编辑于 2023-06-28 - 来自专栏气象学家
MCMC（Markov Chain Monte Carlo）的理解与实践（Python）
内容目录：MCMC（Markov Chain Monte Carlo）的理解与实践（Python） Markov Chain Monte Carlo (MCMC) methods are a class MCMC（Markov Chain Monte Carlo）用MCMC采样算法实现对Beta 分布的采样 MCMC（Markov Chain Monte Carlo） ? 首先来看经典的MCMC采样算法： ? ? ? : a={}, b={}'.format(a, b)) plt.show() if __name__ == '__main__': plot_mcmc(0.1, 0.1) plot_mcmc (1, 1) plot_mcmc(2, 3) ?
1.6K20发布于 2020-07-03 - 来自专栏媒矿工厂
基于MCMC的X265编码参数优化方法
三、基于MCMC的更优编码参数配置的生成 在有限因素的前提下，为了获取最优值，传统有两种方法。第一种是遍历所有的组合，以获取最优解，一种是使用贪婪法，以最快速度获取较优解。 为了考虑到不同参数之间的相互影响，本工作采用MCMC的思想，设计了一个参数自适应算法。 MCMC的思想，即蒙特卡洛法马尔可夫链，是通过随机采样的方法构筑状态机中的不同状态的跳转情况下结果的几率，并通过各种结果的概率决定当前状态需不需要进行转移。其思想主要用于围棋AI算法。 将目标编码时间分别设置为0.9~0.1，按照设计的MCMC算法，在不遍历所有参数组合的前提下，即可生成一系列比x265默认编码参数更优，并且接近最优的编码参数。 ? An MCMC based Efficient Parameter Selection Model for x265 Encoder[C]//Circuits and Systems (ISCAS),
3K30发布于 2018-07-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号