Python机器学习基础教程第六章

首先我讲解Pipeline,在我的工作流中有很多组件将步骤连接在一起,比如SelectKBest和RandomForestClassifier.在选择了最好的100个特征后,就运行我的随机森林模型,从而检查更细致的特征是否有更好的表现.Pipeline组件包就是在我的工作流中连贯上述特征选择与转换,随机森林分类器估计的操作的工具.

     那么这里为什么我要用Pipeline,而不将各个步骤分开来呢?主要以下原因:

1代码可读性更强;

2减少跟踪输入模型的数据关于转换和评估的步骤;

3管道组件的增加删除修改更加方便,即插即用;

4最重要一点是,可以方便地用GridSearchCV管理工作流.

     以下代码是一个启动Pipeline以及运行SelectKBest和RandomForestClassifier的过程.

import sklearn.pipeline

select = sklearn.feature_selection.SelectKBest(k=100)

clf = sklearn.ensemble.RandomForestClassifier()

steps = [('feature_selection', select),

        ('random_forest', clf)]

pipeline = sklearn.pipeline.Pipeline(steps)

X_train, X_test, y_train, y_test = sklearn.cross_validation.train_test_split(X, y, test_size=0.33, random_state=42)### fit your pipeline on X_train and y_train

pipeline.fit( X_train, y_train )### call pipeline.predict() on your X_test data to make a set of test predictions

y_prediction = pipeline.predict( X_test )

### test your predictions using sklearn.classification_report()

report = sklearn.metrics.classification_report( y_test, y_prediction )

### and print the report

print(report)

avg / total       0.69      0.72      0.68     13068

     在工作流中我会构建一个步骤列表,他们是关于特征选择,模型选择的步骤,如SelectKBest,RandomForestClassifier,然后将这些步骤放进Pipeline,从而变成一个连贯的工作流程,在管道工作流中我可以按照情况随时调配各种组件,如在最后增加模型预测的评估器.

     顺便说一句,我稍微改变了下评估预测模型的方式,使用的是sklearn.metrics.classification_report(),它比上一篇的cross_val_score提供的信息更多.在这里需要自己手动设置训练集和测试集的比例,而cross_val_score可以自动构建训练集和测试集的比例.

     现在我来说下GridSearchCV.当我决定选择前100个特征的时候,这可能是我自定义决定的;同样道理,使用RandomForestClassifier分类器的默认参数可能不是具有最优表现的.

     因此,现在用GridSearch代替以前选择100个特征,以及选择随机森林最优的参数. 这里使用n_estimators和min_samples_split.它们可以帮我在麻烦的参数设置工作与步骤的组合中,避免局部最优,尝试所有组合,最终找到最优参数设置.

     GridSearchCV会构建所有的参数组合的网格,然后尝试每个组合,最后找到最优组合的模型.

import sklearn.grid_search

              random_forest__min_samples_split=[2, 3, 4, 5, 10])

cv = sklearn.grid_search.GridSearchCV(pipeline, param_grid=parameters)

cv.fit(X_train, y_train)y_predictions = cv.predict(X_test)

report = sklearn.metrics.classification_report( y_test, y_predictions )

     使用sklearn的Pipeline的示例如下:

clf = RandomForestClassifier()

steps = [("my_classifier", clf)]

parameters = dict{my_classifier__min_samples_split=[2, 3, 4, 5]} 

### “my_classifier” is the name of the random forest classifier in the steps list; min_samples_split is the associated sklearn parameter that I want to vary

pipe = Pipeline(steps)

cv = GridSearchCV( pipe, param_grid = parameters)

    一旦网格中参数设置得当,GridSearchCV的强大之处在于它运行尝试了所有的参数组合,使得每个组合运行k=3的交叉验证模型.然后,我可以要求GridSearchCV自动返回到我预测的"最佳"参数集(也就是从它尝试过的最好的模型预测),或者我可以明确要求最佳模式/最佳使用带有GridSearchCV相关方法的参数.参数搜索是相当耗时的事情,但最后结果是一个更好的理解模型的参数表现.

     当然,GridSearchCV也可以单独作为一个对象运用,而不仅是放在Pipeline里面.例如我可以单独优化SelectKBest或者RandomForestClassifier,但由于有时在分析各种步骤之间的相互作用，对优化整个管道是有用的,这部分内容也是值得探讨的地方.最后,GridSearchCV会自动交叉验证分析所有步骤,诸如特征提取也可以交叉验证,而不只是最后的算法进行交叉验证.