首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >LightGBM内件中的若干问题

LightGBM内件中的若干问题
EN

Stack Overflow用户
提问于 2017-08-18 20:30:48
回答 1查看 739关注 0票数 1

无法理解LightGBM (Windows )是怎么回事。以前我有这个算法真的很强大,但是现在他的表现太差了。

为了进行比较(每个算法中的默认参数),LightGBM根据简单的DIFF-metric = (实际预测)执行。

  • CatBoostRegressor() - 18142884
  • XGBoostRegressor() - 20235110
  • GradientBoostingRegressor() - 20437130
  • LGBMRegressor() - 60296698 (version=2.0.5)

我试图用HyperOpt找到一些更好的参数,但也没有成功。

代码语言:javascript
复制
LGBM_SPACE = {
    'type': 'LGBM',
    'task': hp.choice('lgbm_task', ['train', 'prediction']),
    'boosting_type': hp.choice('lgbm_boosting_type', ['gbdt', 'dart']),
    'objective': hp.choice('lgbm_objective', ['regression']),
    'n_estimators': hp.choice('lgbm_n_estimators', range(10, 201, 5)),
    'learning_rate':  hp.uniform('lgbm_learning_rate', 0.05, 1.0),
    'num_leaves': hp.choice('lgbm_num_leaves', range(2, 7, 1)),
    'tree_learner': hp.choice('lgbm_tree_learner', ['serial', 'feature', 'data']),
    'metric': hp.choice('lgbm_metric', ['l1', 'l2', 'huber', 'fair']),
    'huber_delta': hp.uniform('lgbm_huber_delta', 0.0, 1.0),
    'fair_c': hp.uniform('lgbm_fair_c', 0.0, 1.0),
    'max_depth': hp.choice('lgbm_max_depth', range(3, 11)),
    'min_data_in_leaf': hp.choice('lgbm_min_data_in_leaf', range(0, 6, 1)),
    'min_sum_hessian_in_leaf': hp.loguniform('lgbm_min_sum_hessian_in_leaf', -16, 5),
    'feature_fraction': hp.uniform('lgbm_feature_fractionf', 0.0, 1.0),
    'feature_fraction_seed': hp.choice('lgbm_feature_fraction_seed', [12345]),
    'bagging_fraction': hp.uniform('lgbm_bagging_fraction', 0.0, 1.0),
    'bagging_freq': hp.choice('lgbm_bagging_freq', range(0, 16, 1)),
    'bagging_seed': hp.choice('lgbm_bagging_seed', [12345]),
    'min_gain_to_split': hp.uniform('lgbm_min_gain_to_split', 0.0, 1.0),
    'drop_rate': hp.uniform('lgbm_drop_rate', 0.0, 1.0),
    'skip_drop': hp.uniform('lgbm_skip_drop', 0.0, 1.0),
    'max_drop': hp.choice('lgbm_max_drop', [-1] + range(2, 51, 1)),
    'drop_seed': hp.choice('lgbm_uniform_drop', [12345]),
    'verbose': hp.choice('lgbm_verbose', [-1]),
    'num_threads': hp.choice('lgbm_threads', [2]), 
} 

最好的结果就是450422301,这与上面的结果相比是非常糟糕的。

使用所有scikit的示例-学习API:

代码语言:javascript
复制
model = LGBMRegressor()
model.fit(X, Y)
model.predict(XT)
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-12-16 04:05:20

请尝试使用主分支的最新代码。在Scikit-learn中出现了一个不一致的参数,这个参数是固定的:#1033

或者您可以在alg_conf中添加"min_child_weight":1e-3,"min_child_samples":20。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/45764637

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档