Xgb的特点是什么？ xgb是GBAT的一个工程实现，传统的GBDT是基于CART 作为基分类器，在优化时仅仅用到了一阶信息。 xgb 可以支持线性分类器，增加了 L1 正则项和 L2正则项， xgb对loss函数进行了二阶泰勒展开，使得优化更快更准。 lgb 也是一种GBDT的工程实现，微软提出的xgb调整版本，由于一些并
Task4 建模与调参 此部分为零基础入门金融风控的 Task4 建模调参部分，带你来了解各种模型以及模型的评价和调参策略，欢迎大家后续多多交流。 赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约预测 项目地址：https://github.com/datawhalechina/team-learning-data-mining
针对大型数据集，数据过大无法加载到内存，使用增量训练方式 目录 sklearn https://scikit-learn.org/stable/auto_examples/applications/plot_out_of_core_classification.html#sphx-glr-auto-examples-applications-plot-out-of-core-classification-py lightgbm 自定义生成器 pred
1.L1和l2损失是什么意思？ 相较于MSE，MAE有个优点，那就是MAE对离群值不那么敏感，可以更好地拟合线性，因为MAE计算的是误差y−f(x)的绝对值，对于任意大小的差值，其惩罚都是固定的。 2.参数： 核心参数： 1.objective: 回归应用：用法都是：objectiv
1. model pipeline拆解 # -*- coding: utf-8 -*- import pandas as pd import lightgbm as lgb from sklearn import metrics from woe.eval import eval_segment_metrics # 一般这样，不需改动 params = { 'boosting_type': 'gbdt', 'objective'
之前跑完模型保存都是通过以下脚本保存。 # 保存模型 from sklearn.externals import joblib joblib.dump(model_lgb, r"E:\model.pkl") # 导出 # model_lgb = joblib.load(r"E:\model.pkl") # 导入 最近升级 sklearn 0.24 包之后发现这种保存方式会报错。 scikit-learn
1 案例描述 赛题以预测二手车的交易价格为任务，评测标准：评价标准为MAE(Mean Absolute Error)。 2 代码详情 # 基础工具 import numpy as np import pandas as pd import warnings import matplotlib import matplotlib.pyplot as plt import seaborn as sns from scipy.special i
四、模型调参 目录 四、模型调参来源 1 模型及调参1.1 各类模型及介绍1.1.1 逻辑回归模型((Logistic regression，LR))1.1.2 决策树模型(decision tree)1.1.3 集成模型集成方法（ensemble method） 1.2 模型评估 2 Task4代码参考资料 来源 Datewhle23期__数据挖掘心跳检测 :
这是个人在竞赛中对LGB模型进行调参的详细过程记录，主要包含下面六个步骤： 大学习率，确定估计器参数n_estimators/num_iterations/num_round/num_boost_round； 确定num_leaves和max_depth 确定min_data_in_leaf 确定bagging_fraction+bagging_freq和feature_fraction 确定L1L2正则reg
既然今天闲来无事，索性就来写写半年来的学习总结吧，顺便也写写所遇到的一些悲惨经历，真的是一把型辛酸泪。 一、初入新学校 从2018年10月确定推免资格，选了老板，定了方向之后，感觉到了人生另一个低谷。也只能怪自己，方向每选好。在这里奉劝一下各位，方向以及老板的RP非常重要，不要过
既然今天闲来无事，索性就来写写半年来的学习总结吧，顺便也写写所遇到的一些悲惨经历，真的是一把型辛酸泪。 一、初入新学校 从2018年10月确定推免资格，选了老板，定了方向之后，感觉到了人生另一个低谷。也只能怪自己，方向每选好。在这里奉劝一下各位，方向以及老板的RP非常重要，不要过去看
模型 Xgboost import xgboost as xgb def xgb_model(X_t, X_v, y_t, y_v, test): print("XGB model start") xgb_val = xgb.DMatrix(X_v, label=y_v) xgb_train = xgb.DMatrix(X_t, label=y_t) xgb_test = xgb.DMatrix(test) params
现在的比赛，想要拿到一个好的名次，就一定要进行模型融合，这里总结一下三种基础的模型： - lightgbm：由于现在的比赛数据越来越大，想要获得一个比较高的预测精度，同时又要减少内存占用以及提升训练速度，lightgbm是一个非常不错的选择，其可达到与xgboost相似的预测效果。 - xgboost：在lightgbm出
LightGBM 1.读取csv数据并指定参数建模 # coding: utf-8 import json import lightgbm as lgb import pandas as pd from sklearn.metrics import mean_squared_error # 加载数据 print('Load data...') df_train = pd.read_csv('./data/regression.train.txt', header=
根据以往的经验梯度提升树（gradient boosted tree）可谓横扫Kaggle，不使用GBT感觉都没法再Kaggle混了。决策树相对深度学习来说可谓优点多多：好理解，易解释，对非平衡数据友好，训练起来快等等。在本文中我们主要来了解下LightGBM这个框架并用Kaggle的实战数据来操练下。数据集在这：credit
