一、简介
本文旨在通过一些简单的案例,学习如何通过keras搭建CNN。从数据读取,数据处理,神经网络搭建,模型训练等。本文也是参考其他博主的文章基础上做了些小修改学习的,感谢其他博主的分享。
具体的CNN的原理,以及keras的原理,这里就不啰嗦了。最后会提供一些参考博客,供大家学习。代码的github地址:traffic
二、流程
总体的文件夹结构:
1.数据处理
from keras.preprocessing.image import img_to_array
from keras.utils import to_categorical
from imutils import paths
import cv2
import numpy as np
import random
import os
def load_data(path,norm_size,class_num):
data = []
label = []
image_paths = sorted(list(paths.list_images(path)))
random.seed(0)
random.shuffle(image_paths)
for each_path in image_paths:
image = cv2.imread(each_path)
image = cv2.resize(image,(norm_size,norm_size))
image = img_to_array(image)
data.append(image)
maker = int(each_path.split(os.path.sep)[-2])
label.append(maker)
data = np.array(data,dtype="float")/255.0
label = np.array(label)
label = to_categorical(label,num_classes=class_num)
return data,label
上面是数据目录,下面是对应的数据处理代码。主要分为几个部分:
- 利用imutils模块的paths将train或test中的所有图片文件的路径找出来image_paths。
- 对其中每张图片,做如下操作,利用cv2读取图片和修改图片尺寸(图片尺寸不一,要统一尺寸)。
- 依次将图片和对应的标签,保存到对应的列表中
- 图片进行归一化操作,标签进行one-hot
2.神经网络搭建
这里搭建的网络是经典的LeNet网络,从input>conv>pool>conv>pool>Dense>Dense(softmax)。具体LeNet的学习,请见参考。这里是利用keras搭建的LeNet,keras的顺序模型(另外一种为函数式API)。
import keras
from keras.layers import Conv2D, MaxPooling2D, Dropout, Dense, Flatten
from keras.models import Sequential
import keras.backend as K
class Lenet:
def neural(channel,height,width,classes):
input_shape = (channel,height,width)
if K.image_data_format() == "channels_last":
input_shape = (height,width,channel)
model = Sequential()
model.add(Conv2D(20,(5,5),padding="same",activation="relu",input_shape=input_shape,name="conv1"))
model.add(MaxPooling2D(pool_size=(2,2),strides=(2,2),name="pool1"))
model.add(Conv2D(50,(5,5),padding="same",activation="relu",name="conv2",))
model.add(MaxPooling2D(pool_size=(2,2),strides=(2,2),name="pool2"))
model.add(Flatten())
model.add(Dense(500,activation="relu",name="fc1"))
model.add(Dense(classes,activation="softmax",name="fc2"))
return model
具体参数,其中卷积层卷积核一般不超过5,步长一般为1。池化层一般大小和步长都为2。
3.训练
import matplotlib.pylab as plt
from keras.optimizers import Adam
from keras.preprocessing.image import ImageDataGenerator
import numpy as np
import sys
sys.path.append("../process")
import data_input
from traffic_network import Lenet
def train(aug, model,train_x,train_y,test_x,test_y):
model.compile(loss="categorical_crossentropy",
optimizer="Adam",metrics=["accuracy"])
_history = model.fit_generator(aug.flow(train_x,train_y,batch_size=batch_size),
validation_data=(test_x,test_y),steps_per_epoch=len(train_x)//batch_size,
epochs=epochs,verbose=1)
model.save("../predict/traffic_model.h5")
plt.style.use("ggplot")
plt.figure()
N = epochs
plt.plot(np.arange(0,N),_history.history["loss"],label ="train_loss")
plt.plot(np.arange(0,N),_history.history["val_loss"],label="val_loss")
plt.plot(np.arange(0,N),_history.history["acc"],label="train_acc")
plt.plot(np.arange(0,N),_history.history["val_acc"],label="val_acc")
plt.title("loss and accuracy")
plt.xlabel("epoch")
plt.ylabel("loss/acc")
plt.legend(loc="best")
plt.savefig("../result/result.png")
plt.show()
if __name__ =="__main__":
channel = 3
height = 32
width = 32
class_num = 62
norm_size = 32
batch_size = 32
epochs = 40
model = Lenet.neural(channel=channel, height=height,
width=width, classes=class_num)
train_x, train_y = data_input.load_data("../data/train", norm_size, class_num)
test_x, test_y = data_input.load_data("../data/test", norm_size, class_num)
aug = ImageDataGenerator(rotation_range=30,width_shift_range=0.1,
height_shift_range=0.1,shear_range=0.2,zoom_range=0.2,
horizontal_flip=True,fill_mode="nearest")
train(aug,model,train_x,train_y,test_x,test_y)
这部分就是网络的训练了,主要注意keras中model输出的事history,有四个属性可以查看。另外就是ImageDataGenerator数据增强,具体请查阅其他问下。
准确率在94%,跟原博客预测准确率一样。
4.预测
对test测试集数据,进行单张图片分类预测。代码如下:(其中.h5文件,请到我的GitHub下载predict文件夹
import keras
from keras.preprocessing.image import img_to_array
import imutils.paths as paths
import cv2
import os
import numpy as np
import matplotlib.pylab as plt
channel = 3
height = 32
width = 32
class_num = 62
norm_size = 32
batch_size = 32
epochs = 40
test_path = "../data/test"
image_paths = sorted(list(paths.list_images(test_path)))
model = keras.models.load_model("traffic_model.h5")
for each in image_paths:
image = cv2.imread(each)
image = cv2.resize(image,(norm_size,norm_size))
image = img_to_array(image)/255.0
image = np.expand_dims(image,axis=0)
result = model.predict(image)
proba = np.max(result)
predict_label = np.argmax(result)
label = int(each.split(os.path.sep)[-2])
plt.imshow(image[0])
plt.title("label:{},predict_label:{}, proba:{:.2f}".format(label,predict_label,proba))
plt.show()
三、参考
代码的github地址:traffic
原博客文章:
【Keras】从两个实际任务掌握图像分类
先附上一些讲解比较好的CNN文章:
零基础入门深度学习(4) - 卷积神经网络
keras中文文档这里面内容非常好,关于sequence,utils,fit_generator,ImageDataGenerator等等内容都有,推荐浏览。
从神经网络到卷积神经网络(CNN)
在Kaggle猫狗大战冲到Top2%
imutils.path.list_image