kaggle赛题链接Home Depot Product Search Relevance,这个题目关键点就是特征提取,给的数据需要观察处理
第一类特征(词汇语意)
- 可以用Levenshtein.ratio函数来评估两个英文单词相似度,
- 使用nltk工具,nltk.corpus 中 wordnet来判断两个词语意相似度
- 如果以上两个相似度都很低,还要查看属性文件中是否有匹配单词(只发现一个训练集是三分,但是与title、description十分不匹配,但是与属性文档中一个项匹配)
- 如果以上都不匹配,至少发现四个案例是这样,搜索的产品型号,需要使用google搜索(网络请求),用搜索到的第一个内容再来判断相似度
第二类特征 词向量(gensim中wod2vec)
- 用word2vec训练维基百科英文语料,来衡量两个词汇相关性
- 用word2vec将product_title与product_description合起来作为语料训练得到词向量
第三类特征 tidf