文章/答案/技术大牛

发布

社区首页 >问答首页 >主题与潜在的Dirichlet分配

问主题与潜在的Dirichlet分配
EN

Stack Overflow用户

提问于 2014-10-14 16:41:51

回答 1查看 970关注 0票数 1

潜在Dirichlet分配(LDA)是一种生成模型，它产生一个主题列表。每个主题都是由单词的分布来表示的。假设每个主题都用它的前40个单词来表示。

给定一个新文档，我如何确定哪些主题构成了这个新文档，而不需要再次运行lda。换句话说，如何使用估计的主题来推断新的未见文档的主题。

更新：

对于估计，我们执行以下操作(为了简单起见，我忽略了超参数)

for(int iter=0;iter<1000;iter++){
  for(int token=0;token<numTokens;token++){
     double[] values=new double[numTopics];
     double pz=0.0d;
    for(int topic=0;topic<numTopics;topic++){
         probabilityOfWordGivenTopic= topicCount[topic][word[token]] / numTokenInTopic[topic];
         probabilityOfTopicGivenDocument= docCount[doc[token]][topic] / docLength[doc[token]];
         pz= probabilityOfWordGivenTopic * probabilityOfTopicGivenDocument;
         values[topic]=pz;
         total+=pz;
   }
 }
}

谢谢。

machine-learning

lda

topic-modeling

回答 1

Stack Overflow用户

回答已采纳

发布于 2014-10-14 19:28:39

在推断步骤中，基本上需要将主题分配给新文档的单词。

对于可见词，使用您的估计模型来分配概率。以你为例，因为你有40个主题，你已经在LDA估计过程中学习了单词主题分布( phi矩阵)。现在，在训练中看到的一个词，比如说w，取这个矩阵的第w列向量，它的大小是40。这个向量给出了单词w在每个主题中的类成员概率。比如说这个向量是(.02，.01，.).004)，这意味着P(w|t_1)=.02，依此类推。

在新文档中，无论您在哪里看到这个单词w，都要从这个发行版中抽取一个示例并为其分配一个主题。显然，这个单词w更有可能被分配给从评估过程中学到的真实(从技术上来说，估计的)主题类。

对于OOV单词(即您在培训期间未见过的单词)，一种常见的做法是使用统一的分布，即在您的示例中使用1/40的概率将主题分配给它。

编辑

从JGibbsLDA提取的代码片段如下：

        for (int m = 0; m < newModel.M; ++m){
            for (int n = 0; n < newModel.data.docs[m].length; n++){
                // (newz_i = newz[m][n]
                // sample from p(z_i|z_-1,w)
                int topic = infSampling(m, n);
                newModel.z[m].set(n, topic);
            }
        }//end foreach new doc

推断抽样的主要步骤是分配单词w的概率。注意，这个概率部分取决于估计的模型概率(代码的trnModel.nww)，部分取决于新的赋值概率(newModel.nw_w)。对于OOV字，trnModel.nww被设置为1/K，这个概率不依赖于P(w\d)。相反，P(w\d)只是在通过Gibbs抽样完成主题分配之后计算出来的后验概率。

    // do multinomial sampling via cummulative method
    for (int k = 0; k < newModel.K; k++){
        newModel.p[k] = (trnModel.nw[w][k] + newModel.nw[_w][k] + newModel.beta)/(trnModel.nwsum[k] +  newModel.nwsum[k] + Vbeta) *
                (newModel.nd[m][k] + newModel.alpha)/(newModel.ndsum[m] + Kalpha);
    }

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/26365933

复制

相似问题

问主题与潜在的Dirichlet分配
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问主题与潜在的Dirichlet分配EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问主题与潜在的Dirichlet分配
EN