本发明属于社区风险防范研究技术领域，具体涉及一种基于深度学习注意力机制的社会风险多目标优化生成方法。
背景技术：
社区是社会的基本组成单位、人们生活的基本区域，是聚居在一定地域范围内的人们所组成的社会生活共同体。社区是各类突发事件的直接承受者，社区民众更是首当其冲的灾害影响者和应对者。社区风险评估是社区应急管理和安全管理工作有效开展的重要依据，是综合减灾的基础。通过识别社区存在什么样的风险或灾害，客观评价这些风险的大小，就能够针对这些风险制定出相应的预防方案和应对措施，达到提高社区安全和防灾减灾综合能力的目的。社区风险评估问题是由相互冲突和影响的多个目标组成，评估风险就是使多个社区风险目标在给定区域同时尽可能最佳的优化问题，也就是多目标优化问题。
现有的风险控制优化大部分是基于人工特征工程的方法，也有基于简单的深度学习的，使得风险控制优化效率低、精准性差。
技术实现要素：
本发明为克服现有技术的不足，提供一种基于深度学习注意力机制的社会风险多目标优化生成方法。
用神经网络来处理多目标的社区风险评估问题时，我们借鉴人脑的注意力机制，只选择一些关键的信息输入进行处理，来提高神经网络的效率，因此，我们提出了用attention机制来处理多目标社区风险控制。
本发明用神经网络来处理多目标的社区风险评估，用attention机制来处理多目标社区风险控制；
1)给定多个社区风险因子，然后就这些风险因子对社区治安防范安全进行优化求解；
2)用x1:n＝[x1,...,xn]表示n个输入信息，从x1:n中选择与任务相关的信息输入给神经网络；
3)给定一个和任务相关的查询向量q，我们用attention变量z来表示被选择信息的索引位置，即z＝i表示选择了第i个输入信息。
本发明采用一种“软性”的信息选择机制对输入信息进行编码，称为软性注意力机制：
首先计算给定q和x1:n选择第i个输入信息的概率αi，
其中，s(xi,q)为attention打分函数，可以使用一下三种方式来计算：
加性模型：
点积模型：
乘法模型：
其中，w,u,v为可学习的网络参数。
注意力分布αi可以解释为在多目标优化查询q时，第i个风险因子受关注的程度；
然后，采用“软性”的信息选择机制对输入信息进行编码，
即，软性注意力机制，公式如下：
本发明利用注意力机制的变体模型,用键值对格式表示输入信息，其中“键”用来计算注意力分布αi，“值”用来生成选择的信息；
用(k,v)1:n＝[(k1,v1),...,(kn,vn)]表示n个输入信息，给定任务相关的查询向量q时，注意力函数为：
其中，s(ki,q)为打分函数。
多头注意力是利用多个查询q1:m＝{q1,...,qm}，来平行地计算从输入信息中选取多个信息。
附图说明
图1软性注意力机制模型图：
(a)普通模式；
(b)键值模式。
深度学习中的注意力(attention)机制通过从众多信息中选择出对当前任务目标更关键的信息，以高效分配有限的注意力资源快速准确求解多目标优化问题。当用神经网络来处理多目标的社区风险评估问题时，可以借鉴人脑的注意力机制，只选择一些关键的信息输入进行处理，来提高神经网络的效率。我们将最大汇聚、门控机制来近似地看作是自下而上的基于显著性的注意力机制。此外，自上而下的会聚式注意力也是一种有效的信息选择方式。以社区风险评估问题为例，给定多个社区风险因子，然后就这些风险因子对社区治安防范安全进行优化求解。社区治安防范可能只和众多社区风险因子中一两个因子相关，其余部分都是无关的。为了减小神经网络的计算负担，只需要把相关的社区风险因子挑选出来让后续的神经网络来处理，而不需要把所有风险因子都输入给神经网络。
用x1:n＝[x1,...,xn]表示n个输入信息，为了节省计算资源，不需要将所有的n个输入信息都输入到神经网络进行计算，只需要从x1:n中选择一些和任务相关的信息输入给神经网络。给定一个和任务相关的查询向量q，我们用attention变量z来表示被选择信息的索引位置，即z＝i表示选择了第i个输入信息。为了方便计算，我们采用一种“软性”的信息选择机制，首先计算给定q和x1:n下，选择第i个输入信息的概率αi，
其中s(xi,q)为attention打分函数，可以使用一下三种方式来计算：
加性模型：
点积模型：
乘法模型：
其中w,u,v为可学习的网络参数。
注意力分布αi可以解释为在多目标优化查询q时，第i个风险因子受关注的程度。我们采用一种“软性”的信息选择机制对输入信息进行编码，称为软性注意力机制，公式如下：
下图(图1a)给出了软性注意力机制模型图实例。
除了利用上面的基本模式外，我们还利用了注意力机制的变体模型。
我们用键值对(key-value)格式表示输入信息，其中“键”用来计算注意力分布αi，“值”用来生成选择的信息。用(k,v)1:n＝[(k1,v1),...,(kn,vn)]表示n个输入信息，给定任务相关的查询向量q时，注意力函数为：
其中s(ki,q)为打分函数。上图(图1b)给出了键值对注意力的实例。
多头注意力是利用多个查询q1：m＝{q1，...，qm}，来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分。与软性注意力相对应的是硬性注意力，硬性注意力有两种实现方式，一种是选取最高概率的输入信息，即：
attention(x1：n，q)＝xj(4)
其中，j为概率最大的输入信息的下标，即attention(x1：n，q)＝xj
另一种硬性注意力可以通过在注意力分布式上随机采样的方式实现。但是硬性注意力有一个缺点是基于最大采样或随机采样的方式来选择信息。因此最终的损失函数与注意力分布之间的函数关系不可导，因此无法使用在反向传播算法进行训练。所以为了使用方向传播算法，在该方法中一般使用软性注意力来替代硬性注意力。
技术特征：
1.基于深度学习注意力机制的社会风险多目标优化生成方法，其特征在于，用神经网络来处理多目标的社区风险评估，用attention机制来处理多目标社区风险控制；
1)给定多个社区风险因子，然后就这些风险因子对社区治安防范安全进行优化求解；
2)用x1:n＝[x1,...,xn]表示n个输入信息，从x1:n中选择与任务相关的信息输入给神经网络；
3)给定一个和任务相关的查询向量q，我们用attention变量z来表示被选择信息的索引位置，即z＝i表示选择了第i个输入信息。
2.根据权利要求1所述的基于深度学习注意力机制的社会风险多目标优化生成方法，其特征在于，采用一种“软性”的信息选择机制对输入信息进行编码，称为软性注意力机制：
首先计算给定q和x1:n选择第i个输入信息的概率αi，
其中，s(xi,q)为attention打分函数，可以使用一下三种方式来计算：
加性模型：
点积模型：
乘法模型：
其中，w,u,v为可学习的网络参数。
注意力分布αi可以解释为在多目标优化查询q时，第i个风险因子受关注的程度；
然后，采用“软性”的信息选择机制对输入信息进行编码，
即，软性注意力机制，公式如下：
3.根据权利要求1所述的基于深度学习注意力机制的社会风险多目标优化生成方法，其特征在于，通过利用注意力机制的变体模型,用键值对格式表示输入信息，其中“键”用来计算注意力分布αi，“值”用来生成选择的信息；
用(k,v)1:n＝[(k1,v1),...,(kn,vn)]表示n个输入信息，给定任务相关的查询向量q时，注意力函数为：
其中，s(ki,q)为打分函数；
多头注意力是利用多个查询q1:m＝{q1,...,qm}，来平行地计算从输入信息中选取多个信息。
技术总结
本发明公开一种基于深度学习注意力机制的社会风险多目标优化生成方法，用神经网络来处理多目标的社区风险评估，用Attention机制来处理多目标社区风险控制；给定多个社区风险因子，然后就这些风险因子对社区治安防范安全进行优化求解；用x1:N＝[x1,...,xN]表示N个输入信息，从x1:N中选择与任务相关的信息输入给神经网络；给定一个和任务相关的查询向量q，我们用Attention变量z来表示被选择信息的索引位置，即z＝i表示选择了第i个输入信息。
技术研发人员：张林炜;戴维迪;焦鹏飞;王文俊
受保护的技术使用者：天津大学
技术研发日：.10.09
技术公布日：.02.28
