如何从scikit-learn决策树中提取决策规则？

Question

如何从scikit-learn决策树中提取决策规则？

我可以从决策树中的受过训练的树中提取基础决策规则（或“决策路径”）作为文本列表吗？

就像是：

if A>0.4 then if B<0.2 then if C>0.8 then class='X'

谢谢你的帮助。

Answer 1

我相信这个答案比其他答案更正确：from&nbsp;sklearn.tree&nbsp;import&nbsp;_treedef&nbsp;tree_to_code(tree,&nbsp;feature_names): &nbsp;&nbsp;&nbsp;&nbsp;tree_&nbsp;=&nbsp;tree.tree_ &nbsp;&nbsp;&nbsp;&nbsp;feature_name&nbsp;=&nbsp;[ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;feature_names[i]&nbsp;if&nbsp;i&nbsp;!=&nbsp;_tree.TREE_UNDEFINED&nbsp;else&nbsp;"undefined!" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;for&nbsp;i&nbsp;in&nbsp;tree_.feature &nbsp;&nbsp;&nbsp;&nbsp;] &nbsp;&nbsp;&nbsp;&nbsp;print&nbsp;"def&nbsp;tree({}):".format(",&nbsp;".join(feature_names)) &nbsp;&nbsp;&nbsp;&nbsp;def&nbsp;recurse(node,&nbsp;depth): &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;indent&nbsp;=&nbsp;"&nbsp;&nbsp;"&nbsp;*&nbsp;depth &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;tree_.feature[node]&nbsp;!=&nbsp;_tree.TREE_UNDEFINED: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;name&nbsp;=&nbsp;feature_name[node] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;threshold&nbsp;=&nbsp;tree_.threshold[node] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print&nbsp;"{}if&nbsp;{}&nbsp;<=&nbsp;{}:".format(indent,&nbsp;name,&nbsp;threshold) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;recurse(tree_.children_left[node],&nbsp;depth&nbsp;+&nbsp;1) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print&nbsp;"{}else:&nbsp;&nbsp;#&nbsp;if&nbsp;{}&nbsp;>&nbsp;{}".format(indent,&nbsp;name,&nbsp;threshold) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;recurse(tree_.children_right[node],&nbsp;depth&nbsp;+&nbsp;1) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;else: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print&nbsp;"{}return&nbsp;{}".format(indent,&nbsp;tree_.value[node]) &nbsp;&nbsp;&nbsp;&nbsp;recurse(0,&nbsp;1)这将打印出有效的Python函数。以下是尝试返回其输入的树的示例输出，该数字介于0和10之间。def&nbsp;tree(f0): &nbsp;&nbsp;if&nbsp;f0&nbsp;<=&nbsp;6.0: &nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;f0&nbsp;<=&nbsp;1.5: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;[[&nbsp;0.]] &nbsp;&nbsp;&nbsp;&nbsp;else:&nbsp;&nbsp;#&nbsp;if&nbsp;f0&nbsp;>&nbsp;1.5 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;f0&nbsp;<=&nbsp;4.5: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;f0&nbsp;<=&nbsp;3.5: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;[[&nbsp;3.]] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;else:&nbsp;&nbsp;#&nbsp;if&nbsp;f0&nbsp;>&nbsp;3.5 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;[[&nbsp;4.]] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;else:&nbsp;&nbsp;#&nbsp;if&nbsp;f0&nbsp;>&nbsp;4.5 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;[[&nbsp;5.]] &nbsp;&nbsp;else:&nbsp;&nbsp;#&nbsp;if&nbsp;f0&nbsp;>&nbsp;6.0 &nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;f0&nbsp;<=&nbsp;8.5: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;f0&nbsp;<=&nbsp;7.5: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;[[&nbsp;7.]] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;else:&nbsp;&nbsp;#&nbsp;if&nbsp;f0&nbsp;>&nbsp;7.5 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;[[&nbsp;8.]] &nbsp;&nbsp;&nbsp;&nbsp;else:&nbsp;&nbsp;#&nbsp;if&nbsp;f0&nbsp;>&nbsp;8.5 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;[[&nbsp;9.]]以下是我在其他答案中看到的一些绊脚石：使用tree_.threshold == -2来决定一个节点是否为叶是不是一个好主意。如果它是一个阈值为-2的真实决策节点怎么办？相反，你应该看看tree.feature或tree.children_*。该行features = [feature_names[i] for i in tree_.feature]与我的sklearn版本崩溃，因为某些值为tree.tree_.feature-2（特别是对于叶节点）。递归函数中不需要多个if语句，只需一个就可以了。

Answer 2

我修改了Zelazny7提交的代码来打印一些伪代码：def&nbsp;get_code(tree,&nbsp;feature_names): &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;left&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;tree.tree_.children_left &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;right&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;tree.tree_.children_right &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;threshold&nbsp;=&nbsp;tree.tree_.threshold &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;features&nbsp;&nbsp;=&nbsp;[feature_names[i]&nbsp;for&nbsp;i&nbsp;in&nbsp;tree.tree_.feature] &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;value&nbsp;=&nbsp;tree.tree_.value &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;def&nbsp;recurse(left,&nbsp;right,&nbsp;threshold,&nbsp;features,&nbsp;node): &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(threshold[node]&nbsp;!=&nbsp;-2): &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print&nbsp;"if&nbsp;(&nbsp;"&nbsp;+&nbsp;features[node]&nbsp;+&nbsp;"&nbsp;<=&nbsp;"&nbsp;+&nbsp;str(threshold[node])&nbsp;+&nbsp;"&nbsp;)&nbsp;{" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;left[node]&nbsp;!=&nbsp;-1: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;recurse&nbsp;(left,&nbsp;right,&nbsp;threshold,&nbsp;features,left[node]) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print&nbsp;"}&nbsp;else&nbsp;{" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;right[node]&nbsp;!=&nbsp;-1: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;recurse&nbsp;(left,&nbsp;right,&nbsp;threshold,&nbsp;features,right[node]) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print&nbsp;"}" &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;else: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print&nbsp;"return&nbsp;"&nbsp;+&nbsp;str(value[node]) &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;recurse(left,&nbsp;right,&nbsp;threshold,&nbsp;features,&nbsp;0)如果您get_code(dt, df.columns)使用相同的示例，您将获得：if ( col1 <= 0.5 ) {return [[ 1.&nbsp; 0.]]} else {if ( col2 <= 4.5 ) {return [[ 0.&nbsp; 1.]]} else {if ( col1 <= 2.5 ) {return [[ 1.&nbsp; 0.]]} else {return [[ 0.&nbsp; 1.]]}}}