本公开涉及计算机数据处理领域。
本公开的实施例公开了基于神经网络的信息处理方法和装置、电子设备和计算机可读介质。
该基于神经网络的信息处理方法包括:获取输入信息;基于输入信息,采用元神经网络预测参数存储器中的各参数的概率分布,其中,参数存储器是预先基于主神经网络的全连接层构建的;基于参数存储器中的各参数的概率分布,确定主神经网络的全连接层关于输入信息的参数组合模式;基于全连接层关于输入信息的参数组合模式,更新主神经网络的全连接层,并基于更新全连接层之后的主神经网络对输入信息进行处理,得到所与输入信息对应的输出信息。
该方法实现了基于输入信息的主神经网络的参数的自动动态调整。
权利要求书1.一种基于神经网络的信息处理方法,包括:获取输入信息;基于所述输入信息,采用元神经网络预测参数存储器中的各参数的概率分布,其中,所述参数存储器是预先基于主神经网络的全连接层构建的;基于所述参数存储器中的各参数的概率分布,确定所述主神经网络的全连接层关于所述输入信息的参数组合模式;基于所述全连接层关于所述输入信息的参数组合模式,更新所述主神经网络的全连接层,并基于更新全连接层之后的主神经网络对所述输入信息进行处理,得到所与所述输入信息对应的输出信息。
2.根据权利要求1所述的方法,其中,所述方法还包括:利用主神经网络的特征提取层对所述输入信息进行特征提取,得到所述输入信息的抽象表示;以及所述基于所述输入信息,采用元神经网络预测参数存储器中的各参数的概率分布,包括:基于所述输入信息的抽象表示,采用元神经网络预测参数存储器中的各参数的概率分布;所述基于更新全连接层之后的主神经网络对所述输入信息进行处理,包括:基于更新后的全连接层对所述输入信息的抽象表示进行处理。
3.根据权利要求2所述的方法,其中,所述基于所述输入信息的抽象表示,采用元神经网络预测参数存储器中的各参数的概率分布,包括:将所述输入信息的抽象表示作为所述元神经网络的动态参数,利用包含所述动态参数的元神经网络预测参数存储器中的各参数的概率分布。
4.根据权利要求1所述的方法,其中,所述基于所述参数存储器中的各参数的概率分布,确定所述主神经网络的全连接层关于所述输入信息的参数组合模式,包括:将所述概率分布中的概率值作为所述全连接层中的对应参数所表征的权重系数,基于所述权重系数对所述主神经网络的全连接层的上一层的各节点进行加权求和之后做非线性变换,得到所述主神经网络的全连接层关于所述输入信息的参数组合模式。
5.根据权利要求1-4任一项所述的方法,其中,所述主神经网络是基于与所述输入信息同类型的样本信息预先训练得到的。
6.一种基于神经网络的信息处理装置,包括:获取单元,被配置为获取输入信息;预测单元,被配置为基于所述输入信息,采用元神经网络预测参数存储器中的各参数的概率分布,其中,所述参数存储器是预先基于主神经网络的全连接层构建的;确定单元,被配置为基于所述参数存储器中的各参数的概率分布,确定所述主神经网络的全连接层关于所述输入信息的参数组合模式;处理单元,被配置为基于所述全连接层关于所述输入信息的参数组合模式,更新所述主神经网络的全连接层,并基于更新全连接层之后的主神经网络对所述输入信息进行处理,得到所与所述输入信息对应的输出信息。
7.根据权利要求6所述的装置,其中,所述装置还包括:提取单元,被配置为利用主神经网络的特征提取层对所述输入信息进行特征提取,得到所述输入信息的抽象表示;以及所述预测单元进一步被配置为:基于所述输入信息的抽象表示,采用元神经网络预测参数存储器中的各参数的概率分布;所述处理单元进一步被配置为:基于更新后的全连接层对所述输入信息的抽象表示进行处理。
8.根据权利要求7所述的装置,其中,所述预测单元进一步被配置为:将所述输入信息的抽象表示作为所述元神经网络的动态参数,利用包含所述动态参数的元神经网络预测参数存储器中的各参数的概率分布。
9.根据权利要求6所述的装置,其中,所述确定单元进一步被配置为按照如下方式确定所述主神经网络的全连接层关于所述输入信息的参数组合模式:将所述概率分布中的概率值作为所述全连接层中的对应参数所表征的权重系数,基于所述权重系数对所述主神经网络的全连接层的上一层的各节点进行加权求和之后做非线性变换,得到所述主神经网络的全连接层关于所述输入信息的参数组合模式。
10.根据权利要求6-9任一项所述的装置,其中,所述主神经网络是基于与所述输入信息同类型的样本信息预先训练得到的。
11.一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
技术说明书基于神经网络的信息处理方法和装置技术领域本公开的实施例涉及计算机技术领域,具体涉及计算机数据处理技术领域,尤其涉及基于神经网络的信息处理方法和装置。
背景技术复杂决策系统的目标通常需要由多个策略来完成。
神经网络可以用于对复杂决策系统建模来表达其中各子系统之间的非线性关系。
但是,复杂决策系统通常包含多种不同的策略,如果只使用一个具有固定参数的神经网络建模,无法在同一个网络中学习得到多种不同的参数组合方式。
也即,复杂决策系统的输入通常是变化的,使用同一个神经网络无法实现不同输入的情况下的策略调整。
目前的方案是使用混合专家网络(Mixture of Expert,MOE),设置不同的专家网络对不同的策略建模,然后使用同一个门控矩阵从不同的专家网络中进行选择。
技术内容本公开的实施例提出了基于神经网络的信息处理方法和装置、电子设备和计算机可读介质。
第一方面,本公开的实施例提供了一种基于神经网络的信息处理方法,包括:获取输入信息;基于输入信息,采用元神经网络预测参数存储器中的各参数的概率分布,其中,参数存储器是预先基于主神经网络的全连接层构建的;基于参数存储器中的各参数的概率分布,确定主神经网络的全连接层关于输入信息的参数组合模式;基于全连接层关于输入信息的参数组合模式,更新主神经网络的全连接层,并基于更新全连接层之后的主神经网络对输入信息进行处理,得到所与输入信息对应的输出信息。
在一些实施例中,上述方法还包括:利用主神经网络的特征提取层对输入信息进行特征提取,得到输入信息的抽象表示;以及上述基于输入信息,采用元神经网络预测参数存储器中的各参数的概率分布,包括:基于输入信息的抽象表示,采用元神经网络预测参数存储器中的各参数的概率分布;上述基于更新全连接层之后的主神经网络对输入信息进行处理,包括:基于更新后的全连接层对输入信息的抽象表示进行处理。
在一些实施例中,上述基于输入信息的抽象表示,采用元神经网络预测参数存储器中的各参数的概率分布,包括:将输入信息的抽象表示作为元神经网络的动态参数,利用包含动态参数的元神经网络预测参数存储器中的各参数的概率分布。
在一些实施例中,上述基于参数存储器中的各参数的概率分布,确定主神经网络的全连接层关于输入信息的参数组合模式,包括:将概率分布中的概率值作为全连接层中的对应参数所表征的权重系数,基于权重系数对主神经网络的全连接层的上一层的各节点进行加权求和之后做非线性变换,得到主神经网络的全连接层关于输入信息的参数组合模式。
在一些实施例中,上述主神经网络是基于与输入信息同类型的样本信息预先训练得到的。
第二方面,本公开的实施例提供了一种基于神经网络的信息处理装置,包括:获取单元,被配置为获取输入信息;预测单元,被配置为基于输入信息,采用元神经网络预测参数存储器中的各参数的概率分布,其中,参数存储器是预先基于主神经网络的全连接层构建的;确定单元,被配置为基于参数存储器中的各参数的概率分布,确定主神经网络的全连接层关于输入信息的参数组合模式;处理单元,被配置为基于全连接层关于输入信息的参数组合模式,更新主神经网络的全连接层,并基于更新全连接层之后的主神经网络对输入信息进行处理,得到所与输入信息对应的输出信息。
在一些实施例中,上述装置还包括:提取单元,被配置为利用主神经网络的特征提取层对输入信息进行特征提取,得到输入信息的抽象表示;以及上述预测单元进一步被配置为:基于输入信息的抽象表示,采用元神经网络预测参数存储器中的各参数的概率分布;上述处理单元进一步被配置为:基于更新后的全连接层对输入信息的抽象表示进行处理。
在一些实施例中,上述预测单元进一步被配置为:将输入信息的抽象表示作为元神经网络的动态参数,利用包含动态参数的元神经网络预测参数存储器中的各参数的概率分布。
在一些实施例中,上述确定单元进一步被配置为按照如下方式确定主神经网络的全连接层关于输入信息的参数组合模式:将概率分布中的概率值作为全连接层中的对应参数所表征的权重系数,基于权重系数对主神经网络的全连接层的上一层的各节点进行加权求和之后做非线性变换,得到主神经网络的全连接层关于输入信息的参数组合模式。
在一些实施例中,上述主神经网络是基于与输入信息同类型的样本信息预先训练得到的。
第三方面,本公开的实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面提供的基于神经网络的信息处理方法。
第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现第一方面提供的基于神经网络的信息处理方法。
本公开的上述实施例的基于神经网络的信息处理方法和装置、电子设备及计算机可读介质,通过获取输入信息,随后基于输入信息,采用元神经网络预测参数存储器中的各参数的概率分布,其中,参数存储器是预先基于主神经网络的全连接层构建的,然后基于参数存储器中的各参数的概率分布,确定主神经网络的全连接层关于输入信息的参数组合模式,根据参数组合模式调整主神经网络的全连接层的参数,之后基于调整全连接层的参数之后的主神经网络对输入信息进行处理,得到所与输入信息对应的输出信息,实现了基于输入信息的主神经网络的参数的自动动态调整,可以针对不同的输入使用不同的参数组合模式来执行神经网络的信息处理任务,解决了单一策略的模型表达能力差的问题,针对复杂任务可以达到良好的处理效果。
附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:图1是本公开的实施例可以应用于其中的示例性系统架构图;图2是根据本公开的基于神经网络的信息处理方法的一个实施例的流程图;图3是根据本公开的基于神经网络的信息处理方法的另一个实施例的流程图;图4是根据本公开的基于神经网络的信息处理方法所使用的算法原理示意图;图5是本公开的基于神经网络的信息处理装置的一个实施例的结构示意图;图6是适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。