首页 时政新闻 经济新闻 科教文卫 农牧新闻 社会民生 综合新闻 本网专题 理论评论 人物 视频新闻 图片新闻
您当前的位置 :新闻中心 > 要闻 > 经济新闻 正文   
1月份内蒙古煤炭价格小幅上涨
内蒙古新闻网   2018-01-19 11:06:56 打印本页 来源: 内蒙古新闻网  
 

南昌近视眼激光矫正手术,

原标题:详解如何用 LSTM 自动识别验证码

雷锋网按:本文作者Slyne_D,原载于作者个人博客,雷锋网已获授权。

这是去年博主心血来潮实现的一个小模型,现在把它总结一下。由于楼主比较懒,网上许多方法都需要切割图片,但是楼主思索了一下感觉让模型有多个输出就可以了呀,没必要一定要切割的吧?切不好还需要损失信息啊!本文比较简单,只基于传统的验证码。

Part 0 模型概览

从图片到序列实际上就是Image2text也就是seq2seq的一种。encoder是Image, decoder是验证码序列。由于keras不支持传统的在decoder部分每个cell输出需要作为下一个rnn的cell的输入(见下图),所以我们这里把decoder部分的输入用encoder(image)的最后一层复制N份作为decoder部分的每个cell的输入。

典型的seq2seq

keras可以直接实现的image2text

当然利用 recurrentshop 和 seq2seq,我们也可以实现标准的seq2seq的网络结构(后文会写)。

Part I 收集数据

网上还是有一些数据集可以用的,包括dataCastle也举办过验证码识别的比赛,都有现成的标注好了的数据集。(然而难点是各种花式验证码啊,填字的,滑动的,还有那个基于语义的reCaptcha~)。

因为我想弄出各种长度的验证码,所以我还是在github上下载了一个生成验证码的python包。

下载后,按照例子生成验证码(包含26个小写英文字母):

#!/usr/bin/env python

# -*- coding: utf-8

from captcha.image import ImageCaptcha

from random import sample

image = ImageCaptcha() #fOnts=[ "font/Xenotron.ttf"]

characters = list("abcdefghijklmnopqrstuvwxyz")

def generate_data(digits_num, output, total):

num = 0

while(num<total):

cur_cap = sample(characters, digits_num)

cur_cap =''.join(cur_cap)

_ = image.generate(cur_cap)

image.write(cur_cap, output+cur_cap+".png")

num += 1

generate_data(4, "images/four_digit/", 10000) #产生四个字符长度的验证码

generate_data(5, "images/five_digit/", 10000) #产生五个字符长度的验证码

generate_data(6, "images/six_digit/", 10000) #产生六个字符长度的验证码

generate_data(7, "images/seven_digit/",10000) # 产生七个字符长度的验证码

产生的验证码

(目测了一下生成验证码的包的代码,发现主要是在x,y轴上做一些变换,加入一些噪音)

Part II 预处理

由于生成的图片不是相同尺寸的,为了方便训练我们需要转换成相同尺寸的。另外由于验证码长度不同,我们需要在label上多加一个符号来表示这个序列的结束。

处理之后的结果就是图像size全部为Height=60, Width=250, Channel=3。label全部用字符id表示,并且末尾加上表示<EOF>的id。比如假设a-z的id为0-25,<EOF>的id为26,那么对于验证码"abdf"的label也就是[0,1,3,5,26,26,26,26],"abcdefg"的label为[0,1,2,3,4,5,6,26]。

由于我们用的是categorical_crossentropy来判断每个输出的结果,所以对label我们还需要把其变成one-hot的形式,那么用Keras现成的工具to_categorical函数对上面的label做一下处理就可以了。比如abdf的label进一步转换成:

[[1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0],

[0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0],

[0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0],

[0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0],

[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1],

[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1],

[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1],

[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1]]

Part III 构建模型

不借助外部包可以实现的模型

def create_simpleCnnRnn(image_shape, max_caption_len,vocab_size):

image_model = Sequential()

# image_shape : C,W,H

# input: 100x100 images with 3 channels -> (3, 100, 100) tensors.

# this applies 32 convolution filters of size 3x3 each.

image_model.add(Convolution2D(32, 3, 3, border_mode='valid', input_shape=image_shape))

image_model.add(BatchNormalization())

image_model.add(Activation('relu'))

image_model.add(Convolution2D(32, 3, 3))

image_model.add(BatchNormalization())

image_model.add(Activation('relu'))

image_model.add(MaxPooling2D(pool_size=(2, 2)))

image_model.add(Dropout(0.25))

image_model.add(Convolution2D(64, 3, 3, border_mode='valid'))

image_model.add(BatchNormalization())

image_model.add(Activation('relu'))

image_model.add(Convolution2D(64, 3, 3))

image_model.add(BatchNormalization())

image_model.add(Activation('relu'))

image_model.add(MaxPooling2D(pool_size=(2, 2)))

image_model.add(Dropout(0.25))

image_model.add(Flatten())

# Note: Keras does automatic shape inference.

image_model.add(Dense(128))

image_model.add(RepeatVector(max_caption_len)) # 复制8份

image_model.add(Bidirectional(GRU(output_dim=128, return_sequences=True)))

image_model.add(TimeDistributed(Dense(vocab_size)))

image_model.add(Activation('softmax'))

sgd = SGD(lr=0.002, decay=1e-6, momentum=0.9, nesterov=True)

image_model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy'])

return image_model

借助recurrentshop和seq2seq可以实现的结构

def create_imgText(image_shape, max_caption_len,vocab_size):

image_model = Sequential()

# image_shape : C,W,H

# input: 100x100 images with 3 channels -> (3, 100, 100) tensors.

# this applies 32 convolution filters of size 3x3 each.

image_model.add(Convolution2D(32, 3, 3, border_mode='valid', input_shape=image_shape))

image_model.add(BatchNormalization())

image_model.add(Activation('relu'))

image_model.add(Convolution2D(32, 3, 3))

image_model.add(BatchNormalization())

image_model.add(Activation('relu'))

image_model.add(MaxPooling2D(pool_size=(2, 2)))

image_model.add(Dropout(0.25))

image_model.add(Convolution2D(64, 3, 3, border_mode='valid'))

image_model.add(BatchNormalization())

image_model.add(Activation('relu'))

image_model.add(Convolution2D(64, 3, 3))

image_model.add(BatchNormalization())

image_model.add(Activation('relu'))

image_model.add(MaxPooling2D(pool_size=(2, 2)))

image_model.add(Dropout(0.25))

image_model.add(Flatten())

# Note: Keras does automatic shape inference.

image_model.add(Dense(128))

image_model.add(RepeatVector(1)) # 为了兼容seq2seq,要多包一个[]

#model = AttentionSeq2Seq(input_dim=128, input_length=1, hidden_dim=128, output_length=max_caption_len, output_dim=128, depth=2)

model = Seq2Seq(input_dim=128, input_length=1, hidden_dim=128, output_length=max_caption_len,

output_dim=128, peek=True)

image_model.add(model)

image_model.add(TimeDistributed(Dense(vocab_size)))

image_model.add(Activation('softmax'))

image_model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

return image_model

Part IV 模型训练

之前写过固定长度的验证码的序列准确率可以达到99%,项目可以参考这里。

另外,我们在用Keras训练的时候会有一个acc,这个acc是指的一个字符的准确率,并不是这一串序列的准确率。也就是说在可以预期的情况下,如果你的一个字符的准确率达到了99%,那么如果你的序列长度是5的时候,理论上你的序列准确率是0.99^5 = 0.95, 如果像我们一样序列长度是7,则为0.99^8=0.923。

所以当你要看到实际的验证集上的准确率的时候,应该自己写一个callback的类来评测,只有当序列中所有的字符都和label一样才可以算正确。

class ValidateAcc(Callback):

def __init__(self, image_model, val_data, val_label, model_output):

self.image_model = image_model

self.val = val_data

self.val_label = val_label

self.model_output = model_output

def on_epoch_end(self, epoch, logs={}): # 每个epoch结束后会调用该方法

print 'n———————————--------'

self.image_model.load_weights(self.model_output+'weights.%02d.hdf5' % epoch)

r = self.image_model.predict(val, verbose=0)

y_predict = np.asarray([np.argmax(i, axis=1) for i in r])

val_true = np.asarray([np.argmax(i, axis = 1) for i in self.val_label])

length = len(y_predict) * 1.0

correct = 0

for (true,predict) in zip(val_true,y_predict):

print true,predict

if list(true) == list(predict):

correct += 1

print "Validation set acc is: ", correct/length

print 'n———————————--------'

val_acc_check_pointer = ValidateAcc(image_model,val,val_label,model_output)

记录每个epoch的模型结果

check_pointer = ModelCheckpoint(filepath=model_output + "weights.{epoch:02d}.hdf5")

训练

image_model.fit(train, train_label,

shuffle=True, batch_size=16, nb_epoch=20, validation_split=0.2, callbacks=[check_pointer, val_acc_check_pointer])

Part V 训练结果

在39866张生成的验证码上,27906张作为训练,11960张作为验证集。

第一种模型:

序列训练了大约80轮,在验证集上最高的准确率为0.9264, 但是很容易变化比如多跑一轮就可能变成0.7,主要原因还是因为预测的时候考虑的是整个序列而不是单个字符,只要有一个字符没有预测准确整个序列就是错误的。

第二种模型:

第二个模型也就是上面的create_imgText,验证集上的最高准确率差不多是0.9655(当然我没有很仔细的去调参,感觉调的好的话两个模型应该是差不多的,验证集达到0.96之后相对稳定)。

Part VI 其它

看起来还是觉得keras实现简单的模型会比较容易,稍微变形一点的模型就很纠结了,比较好的是基础的模型用上其他包都可以实现。keras 2.0.x开始的版本跟1.0.x还是有些差异的,而且recurrentshop现在也是支持2.0版本的。如果在建模型的时候想更flexible一点的话,还是用tensorflow会比较好,可以调整的东西也比较多,那下一篇可以写一下img2txt的tensorflow版本。

Part VII 代码

完整源代码:https://github.com/Slyne/CaptchaVariLength

Part VIII 后续

现在的这两个模型还是需要指定最大的长度,后面有时间会在训练集最多只有8个字符的情况下,利用rnn的最后一层进一步对于有9个以及以上字符的验证码效果,看看是不是可以再进一步的扩展到任意长度。(又立了一个flag~)

雷锋网相关阅读:

LSTM Networks 应用于股票市场探究

一文详解如何用 TensorFlow 实现基于 LSTM 的文本分类(附源码)

[责任编辑 李珍 ]

扫描左侧二维码下载内蒙古客户端,关注更多内蒙古更全、更新的新闻资讯。扫描右侧二维码或搜索内蒙古日报(或直接输入neimengguribao)关注内蒙古日报官方微信。
相关新闻
内蒙古新闻网版权与免责声明:

凡本网注明“来源:内蒙古新闻网”的所有作品,版权均属于 内蒙古新闻网,未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:内蒙古新闻网”。违反上述声明者,本网将追究其相关法律责任。
凡本网注明“来源:XXX(非内蒙古新闻网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在30日内进行。
联系方式:0471-6659743、6659744。
 
图片
新春伊始谋新篇
【定格】满洲里中俄互市贸易区开放半年 交易额9000万元
新华园社区为困难群众送元宵
【现场】内蒙古艺术学院首次面向全国招考
内蒙古新闻一周排行
? 布小林调研自治区成立70周年庆祝活动筹备工作
? 6日起雨雪来袭降温明显
? 自治区党委政法委班子召开2016年度民主生活会 李佳主持并讲话
? 自治区十一届政协召开第四十次党组会议 任亚平主持
? 自治区派驻国贫旗县脱贫攻坚督导组动员大会暨培训会议召开
? 【定格】边境牧民的幸福账单
? 马明慰问武警官兵:不辞辛劳坚守一线 栉风沐雨巡逻维稳
专题推荐
治国理政进行时
【专题】内蒙古自治区第十次党代会
? 【专题】2016内蒙古大数据产业推介会
? 【专题】聚焦党的十八届六中全会
? 【专题】第三届国家网络安全宣传周
网站介绍 | 组织机构 | 广告服务 | 联系我们
Copyright© 2005-2009 内蒙古新闻网 All Rights Reserved.
内蒙古互联网新闻中心版权所有,未经书面授权不得转载或镜像。新闻热线:0471-6659743
互联网新闻信息服务许可证:1512006001 信息网络传播视听节目许可证:0507213 蒙ICP证:09003619号