Word2Vec word2vec是根据词的共现关系,将词映射到低维向量,并保留了语料中丰富的信息 Skip-Gram 给定input word 预测上下文( 如已知 Wt 预测上下文Wt-2,Wt-1 ,Wt+1) CBOW 给定上下文,预测input word( 如已知 Wt 上下文Wt-2,Wt-1,Wt+1 预测 Wt) ?
简单而言,CBOW模型的作用是已知当前词Wt的上下文环境(Wt-2,Wt-1,Wt+1,Wt+2)来预测当前词,Skip-gram模型的作用是根据当前词Wt来预测上下文(Wt-2,Wt-1,Wt+1,Wt
可以看到,在参数方面我们的 BERT-Large-CAS 在 PTB 和 WT-103 上比 GPT-2 更高效,而在 WT-2 上的表现比 GPT-2 差,我们推测原因可能是 WT-2 的规模非常小。
链接中是提供了RNA-seq以及scRNA-seq的数据,我们选择单细胞数据(scRNA-seq)下载即可 GSM5603819 NPC sc-seq WT-1 GSM5603820 NPC sc-seq WT
CBOW模型的作用是已知当前词Wt的上下文环境(Wt-2,Wt-1,Wt+1,Wt+2)来预测当前词,Skip-gram模型的作用是根据当前词Wt来预测上下文(Wt-2,Wt-1,Wt+1,Wt+2)。