【AI产品经理】第五篇-AI模型构建全流程

AI需求上线的全流程有：AI问题定义、模型预研、数据准备、模型构建、模型验收、工程开发、测试发版、上线运营、迭代优化。在需求分析阶段，AI产品经理已经完成了对问题的抽象，将业务问题转换成了使用AI模型解决的问题。在AI模型构建的流程中，不需要了解技术细节，但对整个建模流程的了解，可以帮助产品经理更好把握开发进度、并协调业务侧进行数据集准备。

AI模型构建主要包括5个阶段：模型设计、特征工程、模型训练、模型验证、模型融合

（1）模型设计

在模型设计阶段，产品经理需要考虑的是当前业务问题需要使用的模型，算法团队是否有相应技术储备、目标变量应该怎么设置、数据如何获取。

（2）特征工程

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。特征工程首先要进行数据清洗，主要处理数据缺失、异常值、分布不均衡、量纲不一致等问题；接下来进行特征提取，对各类数据（例如数值型数据、标签型数据、非结构化数据、网络关系型数据等）进行相应处理；然后进行特征选择，选取对于对模型因变量信息贡献度较大的特征，用于模型训练。

（3）模型训练

模型训练是通过不断训练、验证和调优，让模型达到最优的一个过程。将数据集划分成训练集和测试集，进行模型训练和模型测试。模型训练过程是寻找一组参数，构成决策边界，最优的决策边界即是模型拟合能力与泛化能力的平衡点。

（4）模型验证

模型训练的目标是找到拟合能力和泛化能力的平衡点，让拟合和泛化能力同时达到最优，避免欠拟合和过拟合，满足业务侧对于模型性能（分类模型：F1、KS、AUC等；回归模型：MSE、MAE、RMSE等，下篇将介绍模型评估）和稳定性的需求。

（5）模型融合

模型融合主要包括三种方式，Bagging：相互独立地并行学习弱学习器，并按照某种确定性的平均过程将它们组合起来；Boosting：以一种高度自适应的方法顺序地学习这些弱学习器，并按照某种确定性的策略将它们组合起来；Stacking：并行学习异质弱学习器，并通过训练一个元模型将它们组合起来。

了解AI模型构建的全流程有助于AI产品从需求到上线全流程的把控，避免产品经理对于模型开发的认知为黑盒，无法评估工作量和排期，在与业务侧沟通的过程中可以进行更加专业的沟通和预期引导，也更容易获得他们的认可