本文介绍在 scikit-learn 管道中结合 SequentialFeatureSelector 与 passthrough 语义，通过比例型参数 n_features_to_select（如 1.0）统一建模“全特征使用”场景，使网格搜索能公平比较不同特征子集规模（含全部特征）的性能表现。
本文介绍在 scikit-learn 管道中结合 sequentialfeatureselector 与 `passthrough` 语义，通过比例型参数 `n_features_to_select`（如 `1.0`）统一建模“全特征使用”场景，使网格搜索能公平比较不同特征子集规模（含全部特征）的性能表现。
在构建机器学习管道时，常需评估特征选择对模型性能的实际增益。但标准的 SequentialFeatureSelector（SFS）默认不支持 n_features_to_select = n_features（即保留全部特征），直接指定整数 3 会触发 ValueError: n_features_to_select must be —— 这看似限制了“是否启用特征选择”的决策空间。
关键突破点在于：n_features_to_select 支持浮点数输入，表示所选特征占原始特征总数的比例。 因此，当预处理后特征维度为 n 时，设 n_features_to_select=1.0 即等价于“选择全部特征”，其行为在功能上与 'passthrough' 一致，且天然兼容 Pipeline 的参数网格结构，无需额外分支或自定义转换器。
以下是在原示例基础上优化后的完整实现：
import pandas as pd
import seaborn as sns
from sklearn.pipeline import Pipeline
from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import LogisticRegression
from sklearn.feature_selection import SequentialFeatureSelector
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
# 数据准备（同原示例）
titanic = sns.load_dataset('titanic')
features = ['age', 'fare', 'sex']
X = titanic[features].copy()
y = titanic['survived']
# 构建预处理器（保持不变）
numeric_features = ['age', 'fare']
numeric_transformer = Pipeline([
('imputer', SimpleImputer(strategy='constant')),
('scaler', StandardScaler())
])
categorical_features = ['sex']
categorical_transformer = Pipeline([
('imputer', SimpleImputer(strategy='constant')),
('onehot', OneHotEncoder(drop='first', sparse_output=False))
])
preprocessor = ColumnTransformer([
('num', numeric_transformer, numeric_features),
('cat', categorical_transformer, categorical_features)
], remainder='passthrough')
# 初始化分类器与 SFS（注意：SFS 需基于可拟合的 estimator）
clf = LogisticRegression(max_iter=1000, solver='liblinear')
sfs = SequentialFeatureSelector(clf, direction='forward', cv=3)
# 构建管道：预处理 → 特征选择 → 分类
pipeline = Pipeline([
('preprocessor', preprocessor),
('feature_selection', sfs),
('classifier', clf)
])
# ✅ 关键改进：使用比例参数，支持 [1/3, 2/3, 1.0]
# 假设预处理后特征数为 4（age、fare、sex_male），则：
# 1/3 ≈ 1 个特征，2/3 ≈ 2 个特征，1.0 = 全部 4 个特征
param_grid = {
'feature_selection__n_features_to_select': [1/3, 2/3, 1.0],
'classifier__C': [0.1, 1.0, 10.0]
}
grid_search = GridSearchCV(pipeline, param_grid, cv=5, scoring='accuracy', n_jobs=-1)
grid_search.fit(X, y)
# 查看详细结果（含各参数组合的均值/标准差得分）
results_df = pd.DataFrame(grid_search.cv_results_)
print("Grid search results (top 5 by mean test score):")
print(results_df[[
'param_feature_selection__n_features_to_select',
'param_classifier__C',
'mean_test_score', 'std_test_score'
]].sort_values('mean_test_score', ascending=False).head())
✅ 注意事项与最佳实践
- 预处理后特征数需明确：
n_features_to_select=1.0是相对于feature_selection步骤输入特征数（即preprocessor输出维度）而言的。建议先用preprocessor.fit_transform(X).shape[1]验证实际维度，确保比例设置合理。- SFS 计算开销较大：前向/后向搜索的时间复杂度随特征数增长显著。若特征较多（>20），建议改用
SelectKBest或RFECV，或限定n_features_to_select的最大比例（如0.8）。- 避免重复验证
passthrough：无需再手动添加('feature_selection', 'passthrough')到 pipeline 步骤中——n_features_to_select=1.0已语义等价，且保证了参数空间的一致性与可比性。- 结果解读：若
1.0对应的配置取得最优分数，说明当前任务中不进行特征削减更优；反之则表明降维带来泛化提升，此时可进一步分析被选中的特征组合。
综上，利用 n_features_to_select 的浮点语义，是 scikit-learn 生态中实现“特征选择 vs 全特征”统一网格搜索的最简洁、最规范、最可复现的方式。它既符合 sklearn 的设计哲学（参数驱动、组件解耦），又规避了自定义 PassthroughSelector 等冗余封装，是生产级特征工程流程中的推荐实践。
