在使用Spark MLlib决策树时，如何处理丢失的数字特征？
在使用Spark MLlib决策树时，如何处理丢失的数字特征？
提问于 2017-05-19 04:00:45
在Spark MLlib中使用决策树时，如何处理缺少的数字特征？
我正在考虑用其他值的平均值来替换缺失的特征，但是我不确定这对模型质量有什么影响。Spark MLlib是否提供了对此常见问题的支持？
回答 1
Stack Overflow用户
发布于 2017-05-19 04:17:44
每个DataFrame都可以利用DataFrameNaFunctions，它可以drop违规记录(而不是整个列)，fill可以用静态“伪数据”填充违规数据，或者replace可以用指定数据替换违规数据。
https://spark.apache.org/docs/2.1.1/api/scala/#org.apache.spark.sql.DataFrameNaFunctions
scala> df.na
res20: org.apache.spark.sql.DataFrameNaFunctions = org.apache.spark.sql.DataFrameNaFunctions@e7e9006
scala> df.na.
drop fill replace页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/44056816
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号