数据科学家是人工智能、算法模型、大数据挖掘的专家,也是目前人工智能领域受人羡慕、集万般宠爱于一身的职业,听起来怎么样?高端、大气、上档次。作为高大上的数据科学家当然要附庸风雅一些(数据科学家:你在讽刺我吗?),他们在机器学习、模型训练的枯燥工作闲暇之余,也要听听优美、高雅的音乐放松下心情。在公认的高雅音乐中,有一种四重奏乐曲,它由4种乐器协奏,乐器之间有一定类似的特质和旋律,在四位演奏家的高超技艺、默契良好地协调合作下,演奏出来的乐曲优美动听、音色纯粹美丽,是广大音乐爱好者和艺术家们最喜爱的一种乐曲形式。 在人工智能领域的深度学习过程中,尤其在数据科学家训练神经网络时,经常会对神经网络模型进行调参优化,以获得最佳的模型效果。其中有四类最基本的调参方法,它们分别是:调整隐藏层节点数、增加隐藏层数量、调整激活函数、调整模型复杂度控制。数据科学家经常把这四类调参方法正确有序地组合起来使用,使它们相互作用、交叉融合,让神经网络模型产生了奇妙的效果,此时数据科学家变身成为模型训练的“艺术演奏家”,谱写并奏响了神经网络训练中的调参“四重奏”。
首先,我们来准备数据集和建立训练模型,搭建“四重奏”的“舞台”。本文通过python语言调用scikit-learn库中的红酒数据集,并使用MLP神经网络来进行分类模拟训练。scikit-learn库中的红酒数据集共有178个数据样本,它们被归入三个类别中,分别是class_0,class_1,和class_2,其中class_0中包含59个样本,class_1中包含71个样本,class_2中包含48个样本。我们开始准备数据集,搭建“四重奏舞台”。
fromsklearn.neural_network import MLPClassifier
#从sklearn的datasets模块载入红酒数据集
fromsklearn.datasets import load_wine
fromsklearn.model_selection import train_test_split
X_train,X_test, y_train, y_test = train_test_split(X,y,random_state=42)
mlp= MLPClassifier(solver='lbfgs')
MLPClassifier(activation='relu',alpha=0.0001,batch_size='auto', beta_1=0.9,beta_2=0.999, early_stopping=False,epsilon=1e-08,
hidden_layer_sizes=(100,),learning_rate='constant',
learning_rate_init=0.001,max_iter=200, momentum=0.9,
n_iter_no_change=10,nesterovs_momentum=True, power_t=0.5,
random_state=None,shuffle=True, solver='lbfgs', tol=0.0001,
validation_fraction=0.1,verbose=False, warm_start=False)
其次,我们再通俗理解下神经网络的这四类基础调参的内容,对于四重奏的重要角色——乐器我们可以比喻为这几个基础参数:
小提琴、中提琴——隐藏层节点数、隐藏层数量(hidden_layer_sizes)。小提琴、中提琴的音色优美柔和,在协奏中两者配合起来非常协和,在神经网络调参中,隐藏层节点数与层数也是紧密配合使用,能充分调节神经网络的效果。在上面的运行结果中,就是指hidden_layer_sizes参数。该参数值默认情况下为[100,],表示模型中只有一个隐藏层,而隐藏层中的节点数是100。如果hidden_layer_sizes定义为[10,10],那就表示模型中有两个隐藏层,每层有10个节点。
钢琴——激活函数(activation)。钢琴被人们称作乐器之王,音色洪亮动听,在协奏中能发挥主要的影响力,在神经网络调参中,激活函数的使用也能起到主要的影响作用。在上面的运行结果中,激活函数就是activation参数,它是将隐藏单元进行非线性化的方法,一共有四种值:“identity”、“logistic”、“tanh”以及“relu”,而在默认情况下,参数值是“relu”。
大提琴——模型复杂度控制(alpha)。大提琴音色低沉稳重,在协奏中有着深沉的控制力,训练神经网络的调参中,对模型的复杂度控制也有类似的效果。在上面的运行结果中,模型复杂度控制就是alpha参数。它是一个用来控制正则化的程度,默认的数值是0.0001。
下面使用上面搭建好的舞台(数据集和模型),看看调参四重奏的表演效果。
print('缺省参数下MLP模型的测试数据集得分:{:.2f}'.format(mlp.score(X_test,y_test)))
2、小提琴独奏——隐藏层节点数为200的MLP模型
我们尝试一下修改隐藏层参数hidden_layer_sizes的节点数,看看它自己的独奏效果(当然其他参数并不是不起作用,而是在幕后充当了背景音乐):
#修改隐藏层参数hidden_layer_sizes的节点数为200
mlp_200=MLPClassifier(solver='lbfgs',hidden_layer_sizes=[200])
mlp_200.fit(X_train,y_train)
print('节点数为200的MLP模型测试数据集得分:{:.2f}'.format(mlp_200.score(X_test,y_test)))
节点数为200的MLP模型测试数据集得分:0.71
好像效果一般,我们再接着调整其他参数,开始二重奏。
3、小提琴与中提琴协奏——隐藏层节点数为200、层数为2的MLP模型
#修改隐藏层参数hidden_layer_sizes的层数为2、节点数为200
mlp_2L=MLPClassifier(solver='lbfgs',hidden_layer_sizes=[200,200])
mlp_2L.fit(X_train,y_train)
print('隐藏层数为2、节点数为200的MLP模型测试数据集得分:{:.2f}'.format(mlp_2L.score(X_test,y_test)))
隐藏层数为2、节点数为200的MLP模型测试数据集得分:0.93
模型效果得到明显的改善,继续增加参数看看三重奏的效果。
4、小提琴、中提琴、钢琴三重奏——隐藏层节点数为200、层数为2、激活函数值为tanh的MLP模型
mlp_tanh=MLPClassifier(solver='lbfgs',hidden_layer_sizes=[200,200],
mlp_tanh.fit(X_train,y_train)
print('隐藏层数为2、节点数为200、激活函数为tanh的MLP模型测试数据集得分:{:.2f}'.format(mlp_tanh.score(X_test,y_test)))
隐藏层数为2、节点数为200、激活函数为tanh的MLP模型测试数据集得分:0.84
好像有点不和谐了,模型效果反而降低了,也许是这个数据集不能这样来调参吧,继续增加参数,尝试一下四重奏的效果。
5、四重奏——隐藏层节点数为200、层数为2、激活函数值为tanh、模型复杂度控制alpha=1的MLP模型
mlp_4cz=MLPClassifier(solver='lbfgs',hidden_layer_sizes=[200,200],
activation='tanh',alpha=1)
mlp_4cz.fit(X_train,y_train)
print('隐藏层数为2、节点数为200、激活函数为tanh、模型复杂度控制为1的MLP模型测试数据集得分:{:.2f}'.format(mlp_4cz.score(X_test,y_test)))
隐藏层数为2、节点数为200、激活函数为tanh、模型复杂度控制为1的MLP模型测试数据集得分:0.82
好像效果也没有提高,四重奏没有发挥更大的效果。难道折腾了好一会的四重奏演奏会就这样结束了,好像有点不甘心。
其实,在神经网络训练过程中(其他模型训练也一样),参数调整是通过不断尝试和磨合的,现实情况中,不能是只要觉得调整了参数就会一定有好的效果,就像作曲家谱写的四重奏乐章,如果一定要把不合适的乐器、旋律、节奏搭配在一起,那么再优秀的演奏家,做多大的努力进行协同演奏,也奏不出优美动听的音乐来
注:本文为了帮助读者朋友方便理解四个基本调参方法做的粗浅比喻,并不是指其他参数就不起作用了,其他参数都做了背景音乐,在幕后当着幕后英雄呢。而且在调参过程中,也可以多增加几个参数一起调节,可以奏响调参的五重奏、六重奏,甚至是交响乐团演奏。
根据上述对MLP神经网络简单的训练过程,我们可以小结如下: