1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > 数据处理方法和装置 电子设备及计算机可读存储介质与流程

数据处理方法和装置 电子设备及计算机可读存储介质与流程

时间:2020-10-23 21:28:45

相关推荐

数据处理方法和装置 电子设备及计算机可读存储介质与流程

本申请涉及数据处理

技术领域:

,具体而言,涉及一种数据处理方法和装置、电子设备及计算机可读存储介质。

背景技术:

:随着我国经济的不断增长,各个机构获取的用户数据逐渐增长。在实际应用中,需要根据用户的数据对各个用户进行评价,才能对用户数据进行更好地存储和利用。但是,经发明人研究发现,在现有技术中,单独对每个用户的数据进行处理,从而存在着数据处理的效率低的问题。技术实现要素:有鉴于此,本申请的目的在于提供一种数据处理方法和装置、电子设备及计算机可读存储介质,以改善现有技术中存在的问题。为实现上述目的,本申请实施例采用如下技术方案:一种数据处理方法,包括:从预设的模板数据库中获取至少一个评价模板以及至少一个所述评价模板的配置数据,其中,所述配置数据包括至少一个所述评价模板的属性数据和公共数据;通过至少一个所述评价模板、所述属性数据和公共数据,根据待处理的用户指标数据获取用户评价数据。在本申请实施例较佳的选择中,所述通过至少一个所述评价模板、所述属性数据和公共数据,根据待处理的用户指标数据获取用户评价数据的步骤,包括:通过至少一个所述评价模板和所述属性数据从待处理的用户指标数据中获取提取数据;根据所述提取数据和公共数据获取用户评价数据。在本申请实施例较佳的选择中,所述属性数据包括优先级信息,所述通过至少一个所述评价模板和所述属性数据从待处理的用户指标数据中获取提取数据的步骤,包括:根据各评价模板的优先级信息得到第一评价模板;通过所述第一评价模板从待处理的用户指标数据中获取提取数据。在本申请实施例较佳的选择中,所述根据各评价模板的优先级信息得到第一评价模板的步骤,包括:获取各评价模板的优先级信息,并根据优先级的大小对获取的所有所述优先级信息进行排序处理;将优先级信息最高的评价模板作为第一评价模板。在本申请实施例较佳的选择中,所述属性数据包括条件信息,所述通过至少一个所述评价模板和所述属性数据从待处理的用户指标数据中获取提取数据的步骤,包括:根据各评价模板的条件信息得到第二评价模板;通过所述第二评价模板从待处理的用户指标数据中获取提取数据。在本申请实施例较佳的选择中,所述方法还包括获取待处理的用户指标数据的步骤,该步骤包括:获取用户原始数据并进行标准化处理,得到对应的标准数据;对所述标准数据进行合并处理,得到待处理的用户指标数据。在本申请实施例较佳的选择中,所述数据处理方法还包括:将所述用户评价数据存储进预设的评价数据库。本申请实施例还提供了一种数据处理装置,包括:评价模板获取模块,用于从预设的模板数据库中获取至少一个评价模板以及至少一个所述评价模板的配置数据,其中,所述配置数据包括至少一个所述评价模板的属性数据和公共数据;用户评价数据获取模块,用于通过至少一个所述评价模板、所述属性数据和公共数据,根据待处理的用户指标数据获取用户评价数据。本申请实施例还提供了一种电子设备,包括存储器和处理器,所述处理器用于执行所述存储器中存储的可执行的计算机程序,以实现上述的数据处理方法。本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被执行时实现上述数据处理方法的步骤。本申请实施例提供的数据处理方法和装置、电子设备及计算机可读存储介质,可以通过预设的评价模板和评价模板的配置数据,根据待处理的用户指标数据获取用户评价数据,避免了现有技术中单独对每个用户的数据进行处理,导致的数据处理的效率低的问题,从而提高了数据处理的效率。附图说明为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的电子设备的结构框图。图2为本申请实施例提供的数据处理方法的流程示意图。图3为本申请实施例提供的步骤s120的流程示意图。图4为本申请实施例提供的数据处理装置的结构框图。图标:10-电子设备;12-存储器;14-处理器;100-数据处理装置;110-评价模板获取模块;120-用户评价数据获取模块。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。如图1所示,本申请实施例提供了一种电子设备10。其中,所述电子设备10可以包括存储器12、处理器14和数据处理装置100。详细地,所述存储器12和处理器14之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据处理装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序,例如,所述数据处理装置100所包括的软件功能模块及计算机程序等,以实现数据处理方法。其中,所述存储器12可以是,但不限于,随机存取存储器(randomaccessmemory,ram),只读存储器(readonlymemory,rom),可编程只读存储器(programmableread-onlymemory,prom),可擦除只读存储器(erasableprogrammableread-onlymemory,eprom),电可擦除只读存储器(electricerasableprogrammableread-onlymemory,eeprom)等。所述处理器14可能是一种集成电路芯片,具有信号的处理能力。上述的处理器14可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)、片上系统(systemonchip,soc)等。可以理解,图1所示的结构仅为示意,所述电子设备10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。结合图2,本申请实施例还提供一种可应用于上述电子设备10的数据处理方法。其中,所述数据处理方法有关的流程所定义的方法步骤可以由所述电子设备10实现,下面将对图2所示的具体流程进行详细阐述。步骤s110,从预设的模板数据库中获取至少一个评价模板以及至少一个所述评价模板的配置数据。在本申请实施例中,各评价模板和各评价模板的配置数据可以从预设的模板数据库中得到。其中,所述配置数据包括至少一个所述评价模板的属性数据和公共数据。步骤s120,通过至少一个所述评价模板、所述属性数据和公共数据,根据待处理的用户指标数据获取用户评价数据。在本申请实施例中,通过步骤s110得到所述至少一个评价模板以及至少一个所述评价模板的属性数据和公共数据之后,可以根据待处理的用户指标数据获取用户评价数据。通过上述方法,可以通过预设的评价模板和评价模板的配置数据,根据待处理的用户指标数据获取用户评价数据,避免了现有技术中单独对每个用户的数据进行处理,导致的数据处理的效率低的问题,从而提高了数据处理的效率。首先,在步骤s110之前,所述数据处理方法还可以包括获取待处理的用户指标数据的步骤。可选地,获取待处理的用户指标数据的具体方式不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,获取待处理的用户指标数据的具体方式可以包括以下子步骤:首先,获取用户原始数据并进行标准化处理,得到对应的标准数据;其次,对所述标准数据进行合并处理,得到待处理的用户指标数据。需要说明的是,随着我国经济的不断增长,银行依旧是各个企业通过各种途径获取金钱的一种方式。在这种形式下,商业银行会一次承担一些商业风险。从近几年银行发生的案件和稽查以及其他方式发现的问题来看,银行业务风险的绝大部份都是来自于操作风险,集中表现为误操作、违规操作、违规行为和外部事件等。从目前的互联网发展情况来看,各个商业银行应该利用技术手段对企业客户的数据进行提前处理,从而减轻银行的业务风险。也就是说,在本申请实施例中,所述用户原始数据可以为银行的客户数据,可以包括客户的企业名称、上市信息、企业类型、注册资本、员工人数、所属行业等数据。其中,所述用户原始数据可能包括无意义的字符、重复字符等不需要的数据,所以需要对所述用户原始数据进行标准化处理,得到对应的标准数据。也就是说,需要对所述用户原始数据进行数据过滤处理,得到对应的标准数据。例如,在一种可以替代的示例中,结合表1,所述标准数据可以为客户的企业名称、上市信息和企业类型等信息。表1标准数据1又例如,在另一种可以替代的示例中,结合表2,所述标准数据可以为客户的注册资本、员工人数和所属行业等数据。表2标准数据2进一步地,由于所述标准数据可以为多个客户数据表格,为了对客户的数据进行统一地处理,可以对所述标准数据进行合并处理,得到待处理的用户指标数据。结合上述的表1和表2,所述对所述标准数据进行合并处理的步骤可以表示为对表1和表2进行表联合处理,得到表3,可以表示待处理的用户指标数据。表3待处理的用户指标数据结合表3,可以知道的是,待处理的用户指标数据可以包括企业1和企业2的企业名称、上市信息、企业类型、注册资本、员工人数和所属行业等信息。对于步骤s110,需要说明的是,所述预设的模板数据库的具体类型不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,所述预设的模板数据库可以是mysql数据库。可选地,所述评价模板和配置数据的具体类型不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,所述评价模板的类型可以为sql文件,所述位置数据的类型可以为xml文件。对于评价模板,需要说明的是,所述评价模板可以根据客户数据进行计算得到用户评价数据。可选地,所述用户评价数据的具体类型不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,所述用户评价数据可以是标签数据。详细地,可以根据企业规模将客户分成大型企业、小型企业、微型企业和小微企业,给客户分配对应的标签数据“大型企业”、“小型企业”、“微型企业”和“小微企业”。可选地,根据企业规模对企业进行分配的具体标准不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,对于农、林、牧、渔业等行业的客户来说,可以将营业收入不小于20000万元的企业作为大型企业,营业收入小于20000万元且大于等于500万元的企业作为中型企业,营业收入小于500万元且大于等于50万元的企业作为小型企业,营业收入小于50万元的企业作为微型企业。对于工业行业的客户来说,可以将从业人员不小于1000人、营业收入不小于40000万元的企业作为大型企业,从业人员小于1000人且大于等于300人、营业收入小于40000万元且大于等于2000万元的企业作为中型企业,从业人员小于300人且大于等于20人、营业收入小于2000万元且大于等于300万元的企业作为小型企业,从业人员小于20人、营业收入小于300万元的企业作为微型企业。对于建筑业行业的客户来说,可以将营业收入不小于80000万元、资产总额不小于80000万元的企业作为大型企业,营业收入小于80000万元且大于等于6000万元、资产总额小于80000万元且大于等于5000万元的企业作为中型企业,营业收入小于6000万元且大于等于300万元、资产总额小于5000万元且大于等于300万元的企业作为小型企业,营业收入小于300万元、资产总额小于300万元的企业作为微型企业。并且,还可以根据客户的信用等级将客户分为aaa级客户、aa级客户、a级客户、bbb级客户、bb级客户、b级客户,并分配对应的标签数据“aaa级客户”、“aa级客户”、“a级客户”、“bbb级客户”、“bb级客户”、“b级客户”。可选地,根据客户的信用等级对客户进行分级的具体标准不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,可以将生产经营规模达到经济规模、市场竞争力很强、有很好的发展前景、管理水平很高、有很可靠、可预见的净现金流量、具有很强的偿债能力、对银行的业务发展很有价值、信誉状况良好的企业作为aaa级客户。可以将市场竞争力一般、发展前景一般、管理水平一般、净现金流量一般、偿债能力一般、对银行的业务发展有一定的价值、信誉状况一般的企业作为a级客户。可以将市场竞争力很差、财务效益很差、管理水平很差、偿债能力很弱、风险很大的企业作为b级客户。并且,还可以根据客户的上市信息将客户分为上市公司和非上市公司,根据客户的员工人数将客户分为员工不足50人的客户和员工超过500人的客户,可以根据客户的注册资本将客户分为注册资本超过1亿的客户和注册资本小于100万的客户。还可以根据客户的企业基本信息对客户是否属于限制性行业、高新技术企业、高新技术行业、战略新兴行业、战略信息产业、两高一剩行业等信息进行判断,分配对应的标签数据。又例如,在另一种可以替代的示例中,所述用户评价数据可以是预警数据。详细地,可以根据客户在银行的业务信息对客户是否为黑名单客户、是否在本银行有不良贷款、是否在其他银行有不良贷款、是否出现欠税、抵押贷款本金是否发生逾期、抵押贷款利息是否发生逾期、借款周期内作为保证人是否在本银行授信出现逾期、借款周期内作为保证人是否在其他银行授信出现逾期、是否发生垫款等信息进行判断,分配对应的预警数据。并且,还可以根据客户的财务信息对客户资产负债率是否同比大幅上升、资产负债率是否高于行业平均水平、流动比率是否同比大幅下降、流动比率是否过低、速动比率是否同比大幅下降、速动比率是否远低于行业平均水平、流动比率是否过低、利息保障倍数是否过低、利息保障倍数是否持续下降等信息进行判断,分配对应的预警数据。因此,根据所述用户评价数据的具体类型的不同,所述评价模板也可以包括不同的具体类型。当所述用户评价模型为标签数据时,所述评价模板可以为标签模板,可以根据所述待处理的用户指标数据获取标签数据。当所述用户评价模型为预警数据时,所述评价模板可以是预警模板,可以根据所述待处理的用户指标数据获取预警数据。对于步骤s120,需要说明的是,获取用户评价数据的具体方式不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,结合图3,步骤s120可以包括步骤s121和步骤s122。步骤s121,通过至少一个所述评价模板和所述属性数据从待处理的用户指标数据中获取提取数据。步骤s122,根据所述提取数据和公共数据获取用户评价数据。对于步骤s121,需要说明的是,所述属性数据为所述至少一个评价模板的属性数据,所述属性数据可以包括评价模板编号、评价模板逻辑和评价模板结果等信息。结合表4和表5,在所述用户评价数据为标签数据时,所述评价模板可以包括标签模板1和标签模板2。表4标签模板1表5标签模板2标签编号标签条件标签结果lb0001if_listed!=1非上市公司lb0018staff_count>="500"员工超过500人进一步地,根据所述属性数据的具体构成的不同,获取提取数据的具体方式不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,所述属性信息可以包括优先级信息,步骤s121可以包括以下子步骤:首先,根据各评价模板的优先级信息得到第一评价模板;其次,通过所述第一评价模板从待处理的用户指标数据中获取提取数据。其中,得到第一评价模板的具体方式不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,所述根据各评价模板的优先级信息得到第一评价模板的步骤,可以包括以下子步骤:首先,获取各评价模板的优先级信息,并根据优先级的大小对获取的所有所述优先级信息进行排序处理;其次,将优先级信息最高的评价模板作为第一评价模板。又例如,在另一种可以替代的实施例中,所述根据各评价模板的优先级信息得到第一评价模板的步骤,可以包括以下子步骤:首先,获取各评价模板的评价结果;其次,将优先级信息最高的评价模板的评价结果作为所述第一评价模板的评价结果。也就是说,所述第一评价模板的评价结果包括各评价模板的评价结果,并且所述第一评价模板的评价结果为所述各评价模板中优先级信息最高的评价结果。例如,在所述各评价模板为表4的标签模板1和表5的标签模板2时,所述标签模板1和所述标签模板2包括相同的评价结果“是否为上市公司”,若所述标签模板1的优先级信息为1,所述标签模板2的优先级信息为2,所述标签模板2的优先级信息最高,针对这一评价结果,所述第一评价模板的评价结果为“非上市公司”。结合表6,所述第一评价模板的评价结果包括所述标签模板1和所述标签模板2的评价结果。表6第一评价模板又例如,在另一种可以替代的示例中,所述属性数据包括条件信息,步骤s121可以包括以下子步骤:首先,根据各评价模板的条件信息得到第二评价模板;其次,通过所述第二评价模板从待处理的用户指标数据中获取提取数据。其中,得到第二评价模板的具体方式不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,所述根据各评价模板的条件信息得到第二评价模板的步骤,可以包括以下子步骤:首先,获取各评价模板的条件信息,并根据所述条件信息对各所述评价模板进行筛选处理;其次,将进行筛选处理后的评价模板作为第二评价模板。对于步骤s122,需要说明的是,所述公共数据可以包括公司id、公司名称、抽取时间、公司类型等数据,便于对用户评价数据进行展示。当所述第一评价模板为表6所述的模板时,可以根据所述提取数据和公共数据获取用户评价数据,如表7所示。表7用户评价数据进一步地,在步骤s120之后,所述数据处理方法还可以包括以下步骤:将所述用户评价数据存储进预设的评价数据库。可选地,所述预设数据库的具体类型不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,所述预设数据库可以是elasticsearch数据库。详细地,在本申请实施例中,在得到所述用户评价数据之后,可以通过spark框架的dataframe组件将所述用户评价数据存储进所述elasticsearch数据库,便于接口开发人员调用。结合图4,本发明实施例还提供了一种数据处理装置100,可以应用于上述的电子设备10。其中,该数据处理装置100可以包括评价模板获取模块110和用户评价数据获取模块120。所述评价模板获取模块110,用于从预设的模板数据库中获取至少一个评价模板以及至少一个所述评价模板的配置数据,其中,所述配置数据包括至少一个所述评价模板的属性数据和公共数据。在本实施例中,所述评价模板获取模块110可以用于执行图2所示的步骤s110,关于所述评价模板获取模块110的相关内容可以参照前文对步骤s110的具体描述。所述用户评价数据获取模块120,用于通过至少一个所述评价模板、所述属性数据和公共数据,根据待处理的用户指标数据获取用户评价数据。在本实施例中,所述用户评价数据获取模块120可以用于执行图2所示的步骤s120,关于所述用户评价数据获取模块120的相关内容可以参照前文对步骤s110的具体描述。在本申请实施例中,对应于上述的数据处理方法,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序运行时执行上述数据处理方法的各个步骤。其中,前述计算机程序运行时执行的各步骤,在此不再一一赘述,可参考前文对所述数据处理方法的解释说明。综上所述,本申请实施例提供的数据处理方法和装置、电子设备及计算机可读存储介质,可以通过预设的评价模板和评价模板的配置数据,根据待处理的用户指标数据获取用户评价数据,避免了现有技术中单独对每个用户的数据进行处理,导致的数据处理的效率低的问题,从而提高了数据处理的效率。以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。当前第1页1 2 3 

技术特征:

1.一种数据处理方法,其特征在于,包括:

从预设的模板数据库中获取至少一个评价模板以及至少一个所述评价模板的配置数据,其中,所述配置数据包括至少一个所述评价模板的属性数据和公共数据;

通过至少一个所述评价模板、所述属性数据和公共数据,根据待处理的用户指标数据获取用户评价数据。

2.如权利要求1所述的数据处理方法,其特征在于,所述通过至少一个所述评价模板、所述属性数据和公共数据,根据待处理的用户指标数据获取用户评价数据的步骤,包括:

通过至少一个所述评价模板和所述属性数据从待处理的用户指标数据中获取提取数据;

根据所述提取数据和公共数据获取用户评价数据。

3.如权利要求2所述的数据处理方法,其特征在于,所述属性数据包括优先级信息,所述通过至少一个所述评价模板和所述属性数据从待处理的用户指标数据中获取提取数据的步骤,包括:

根据各评价模板的优先级信息得到第一评价模板;

通过所述第一评价模板从待处理的用户指标数据中获取提取数据。

4.如权利要求3所述的数据处理方法,其特征在于,所述根据各评价模板的优先级信息得到第一评价模板的步骤,包括:

获取各评价模板的优先级信息,并根据优先级的大小对获取的所有所述优先级信息进行排序处理;

将优先级信息最高的评价模板作为第一评价模板。

5.如权利要求2所述的数据处理方法,其特征在于,所述属性数据包括条件信息,所述通过至少一个所述评价模板和所述属性数据从待处理的用户指标数据中获取提取数据的步骤,包括:

根据各评价模板的条件信息得到第二评价模板;

通过所述第二评价模板从待处理的用户指标数据中获取提取数据。

6.如权利要求1-5任意一项所述的数据处理方法,其特征在于,所述方法还包括获取待处理的用户指标数据的步骤,该步骤包括:

获取用户原始数据并进行标准化处理,得到对应的标准数据;

对所述标准数据进行合并处理,得到待处理的用户指标数据。

7.如权利要求1-5任意一项所述的数据处理方法,其特征在于,所述方法还包括:

将所述用户评价数据存储进预设的评价数据库。

8.一种数据处理装置,其特征在于,包括:

评价模板获取模块,用于从预设的模板数据库中获取至少一个评价模板以及至少一个所述评价模板的配置数据,其中,所述配置数据包括至少一个所述评价模板的属性数据和公共数据;

用户评价数据获取模块,用于通过至少一个所述评价模板、所述属性数据和公共数据,根据待处理的用户指标数据获取用户评价数据。

9.一种电子设备,其特征在于,包括存储器和处理器,所述处理器用于执行所述存储器中存储的可执行的计算机程序,以实现权利要求1-7任意一项所述的数据处理方法。

10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该程序被执行时实现权利要求1-7任意一项所述数据处理方法的步骤。

技术总结

本申请实施例提供的数据处理方法和装置、电子设备及计算机可读存储介质,涉及数据处理技术领域。在本申请实施例中,首先,从预设的模板数据库中获取至少一个评价模板以及至少一个所述评价模板的配置数据,其中,所述配置数据包括至少一个所述评价模板的属性数据和公共数据。其次,通过至少一个所述评价模板、所述属性数据和公共数据,根据待处理的用户指标数据获取用户评价数据。通过上述方法,可以提高数据处理的效率。

技术研发人员:蒋静展;邹明

受保护的技术使用者:北京明略软件系统有限公司

技术研发日:.11.13

技术公布日:.02.28

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。