[00002256]一种基于Spark的极限学习机并行化计算方法
联系人： 张玲
所在地：江苏 徐州市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
本发明公开了一种基于大数据处理平台Spark的极限学习机并行化计算方法，适用于大数据处理平台Spark机器学习领域使用。首先将样本数据集按照每个样本逐行存储于分布式文件系统，并对样本集进行预处理得到特征矩阵以及类别标签向量T；接下来，按照样本特征数以及隐节点数目随机初始化隐层节点参数权重矩阵ω以及隐层偏差向量b；之后利用矩阵乘并行化方案求解得到隐层输出矩阵H；最后利用矩阵乘并行化方案以及矩阵单机求逆运算得到输出权重向量β的唯一最优解其步骤简单，计算量小，可以将计算步骤在多台计算机上并行计算，从而有效提高计算效率，同时容错性好，能够使得极限学习机算法在大数据背景下进行模型训练的效率大幅提升。
