GRU时序特征提取+attention+linear+softmax

GRU，门控循环单元，属于encoder，他会按序读取输入序列，如X = {x1, x2, x3, ..., xt, ..., xn}，并把序列信息压缩成上下文特征。
从第一个时间步开始，每次读取每个输入x_t,更新当前时刻的隐藏状态
h_t = GRU(x_t, h_{t-1}),GRU包含主要包含两个门控机制：重置门r_t和更新门z_t, 其中，r_t = σ(W_r x_t + U_r h_{t-1} + b_r)，r_t是重置门，W_r和U_r都是可以学习的权重参数，b_r是偏置项，重置门的值越接近0，表示越少利用过去信息，接近1，表示偏向利用过去信息，更新门z_t = σ(W_z x_t + U_z h_{t-1} + b_z)，其值越接近0，代表偏向保留历史信息，越接近1，代表偏向使用新的候选状态，之后GRU计算候选隐藏状态h̃_t = tanh(W_h x_t + U_h(r_t ⊙ h_{t-1}) + b_h)，⊙代表逐元素相乘，tanh是双曲正切激活函数，r_t ⊙ h_{t-1}表示经过重置门筛选过后的历史状态信息，当前隐藏状态h_t = (1 - z_t) ⊙ h_{t-1} + z_t ⊙ h̃_t，利用更新门和历史隐藏状态信息更新当前时刻的隐藏状态，因此GRU对输入序列进行了时序建模，对于输入序列的每一个时间步，GRU都可以输出一个隐藏状态，最后一个隐藏状态可以作为整个输入序列的编码结果。双向GRU h_t = [→h_t ; ←h_t]，正向GRU捕捉前文到当前时刻的信息，反向GRU捕捉后文到当前时刻的信息，然后进行拼接。
这个隐藏状态是GRU对输入序列进行时序建模得到的结果，他是模型内部的、不易解释的一个中间状态，我们可以直接取最后一个隐藏状态作为整个序列的整体向量，也可以池化所有隐藏状态，也可以用注意力机制加权，学习哪些时间步更重要，之后接入linear可以进行维度处理，因为他本质上是一个矩阵变换，有隐藏状态维度和分类维度，我们就可以完成维度映射，最后得到的向量是一个维度为类别数量的logits，未归一化得分，可以接入softmax归一化算得各个类别的概率。
如果各个输入序列的长度不一致，可以进行padding，GRU可能会对PAD位置也产生隐藏状态，但是在计算损失注意力训练之前必须进行mask，不能参与训练。