定义学习速率变量lr，设不可训练。tf.trainable_variables获取全部可训练参数tvars。针对cost，计算tvars梯度，tf.clip_by_global_norm设梯度最大范数，起正则化效果。Gradient Clipping防止Gradient Explosion梯度爆炸问题。不限制梯度，迭代梯度过大，训练难收敛。定义优化器Gradient Descent。创建训练操作_train_op，optimizer.apply_gradients，clip过梯度用到所有可训练参数tvars，tf.contrib.framework.get_or_create_global_step生成全局统一训练步数。

设置_new_lr(new learning rate) placeholder控制学习速率。定义操作_lr_update，tf.assign 赋_new_lr值给当前学习速率_lr。定义assign_lr函数，外部控制模型学习速率，学习速率值传入_new_lr placeholder，执行_update_lr操作修改学习速率。

定义PTBModel class property。Python @property装饰器，返回变量设只读，防止修改变量引发问题。input、initial_state、cost、final_state、lr、train_op。

定义模型设置。init_scale，网络权重初始scale。learning_rate，学习速率初始值。max_grad_norm，梯度最大范数。num_lyers，LSTM堆叠层数。num_steps，LSTM梯度反向传播展开步数。hidden_size，LSTM内隐含节点数。max_epoch，初始学习速率可训练epoch数，需要调整学习速率。max_max_epoch，总共可训练epoch数。keep_prob，dropout层保留节点比例。lr_decay学习速率衰减速度。batch_size，每个batch样本数量。

MediumConfig中型模型，减小init_scale，希望权重初值不要过大，小有利温和训练。学习速率、最大梯度范数不变，LSTM层数不变。梯度反向传播展开步数num_steps从20增大到35。hidden_size、max_max_epoch增大3倍。设置dropout keep_prob 0.5。学习迭代次数增大，学习速率衰减速率lr_decay减小。batch_size、词汇表vocab_size不变。

LargeConfig大型模型，进一步缩小init_scale。放宽最大梯度范数max_grad_norm到10。hidden_size提升到1500。max_epoch、max_max_epoch增大。keep_prob因模型复杂度上升继续下降。学习速率衰减速率lr_decay进一步减小。

TestConfig测试用。参数尽量最小值。

定义训练epoch数据函数run_epoch。记录当前时间，初始化损失costs、迭代数据iters，执行model.initial_state初始化状态，获得初始状态。创建输出结果字典表fetches，包括cost、final_state。如果有评测操作，也加入fetches。训练循环，次数epoch_size。循环，生成训练feed_dict，全部LSTM单元state加入feed_dict，传入feed_dict，执行fetches训练网络，拿到cost、state。累加cost到costs，累加num_steps到iters。每完成10%epoch，展示结果，当前epoch进度，perplexity(平均cost自然常数指数，语言模型比较性能重要指标，越低模型输出概率分布在预测样本越好)，训练速度(单词数每秒)。返回perplexity函数结果。

reader.ptb_raw_data读取解压后数据，得训练数据、验证数据、测试数据。定义训练模型配置SmallConfig。测试配置eva l_config需和训练配置一致。测试配置batch_size、num_steps 1。

创建默认Graph，tf.random_uniform_initializer设置参数初始化器，参数范围在[-init_scale,init_scale]之间。PTBInput和PTBModel创建训练模型m，验证模型mvalid，测试模型mtest。训练、验证模型用config，测试模型用测试配置eva l_config。

tf.train.supervisor()创建训练管理器sv，sv.managed_session创建默认session，执行训练多个epoch数据循环。每个epoch循环，计算累计学习速率衰减值，只需计算超过max_epoch轮数，求lr_decay超出轮数次幂。初始学习速率乘累计衰减速，更新学习速率。循环内执行epoch训练和验证，输出当前学习速率、训练验证集perplexity。完成全部训练，计算输出模型测试集perplexity。

SmallConfig小型模型，i7 6900K GTX 1080 训练速率21000单词每秒，最后epoch，训练集36.9 perplexity，验证集122.3、测试集116.7。

中型模型，训练集48.45，验证集86.16、测试集82.07。大型模型，训练集37.87，验证集82.62、测试集78.29。

LSTM存储状态，依靠状态对当前输入处理分析预测。RNN、LSTM赋预神经网络记忆和储存过往信息能力，模仿人类简单记忆、推理功能。注意力(attention)机制是RNN、NLP领域研究热点，机器更好模拟人脑功能。图像标题生成任务，注意力机制RNN对区域图像分析，生成对应文字描述。《Show,Attend and Tell:Neural Image Caption Generation with Visual Attention》。