确定断链数据的方法、装置及非易失性存储介质与流程

文档序号:24929919发布日期:2021-05-04 11:19阅读:516来源:国知局
导航: X技术> 最新专利> 计算;推算;计数设备的制造及其应用技术
确定断链数据的方法、装置及非易失性存储介质与流程

本发明涉及数据处理领域,具体而言,涉及一种确定断链数据的方法、装置及非易失性存储介质。



背景技术:

现有技术中在执行源系统数据入库大数据平台的操作,在解决如何发现业务数据的断链问题,目前采取的处理方式如下:通过hive数仓工具,编写hql语句对拉链表以主键进行分组,并按开链日期进行排序;将上步分组排序的结果存入临时表中,以减少内存开销;将临时表进行自关联,对于主键相同,但上一条业务数据的闭链日期不等于该条数据的开链日期的数据进行查询,如果存在这样的数据就说明业务数据存在断链的情况。

但是,上述目前查询断链数据的方案存在如下缺点:由于很多表中数据量具大,按照主键进行分组并按照开链日期进行排序,会消耗大量的计算机内存资源,而且运行时间很长,影响计算效率。

针对上述的问题,目前尚未提出有效的解决方案。



技术实现要素:

本发明实施例提供了一种确定断链数据的方法、装置及非易失性存储介质,以至少解决现有技术中查询断链数据的方案按照主键进行分组并按照开链日期进行排序,会消耗大量的计算机内存资源且运行时间长,影响计算效率的技术问题。

根据本发明实施例的一个方面,提供了一种确定断链数据的方法,包括:获取大数据平台中的数据链表,上述数据链表包括:表主键和闭链日期;分别以上述表主键和上述闭链日期作为分布式开源数据库的行主键和键值;在检测到上述大数据平台接收到业务数据时,基于上述行主键和上述键值比对上述业务数据和上述分布式开源数据库中的存储数据,以确定上述业务数据是否为断链数据。

可选的,至少通过如下方式发送上述业务数据至上述大数据平台:通过业务源系统获取每日业务过程中生成的全部的业务数据,并通过服务总线将上述业务数据发送至上述大数据平台。

可选的,上述方法还包括:在上述大数据平台接收到上述业务数据后,对上述业务数据进行解析得到解析结果,并基于上述解析结果验证上述业务数据是否完整传输,其中,至少验证上述业务数据的字段名称、字段个数、字段类型。

可选的,基于上述行主键和上述键值比对上述业务数据和上述分布式开源数据库中的存储数据,以确定上述业务数据是否为断链数据,包括:若上述大数据平台中不存在上述业务数据,则基于上述行主键和上述键值,则将上述业务数据与上述存储数据进行比对,确定上述存储数据中是否包含上述业务数据;如果上述存储数据中未包含上述业务数据,则对上述大数据平台执行开链操作以新增上述业务数据,并记录上述业务数据的最新有效状态;如果上述存储数据中包含上述业务数据,则确定上述业务数据为上述断链数据。

可选的,基于上述行主键和上述键值比对上述业务数据和上述分布式开源数据库中的存储数据,以确定上述业务数据是否为断链数据,包括:若上述大数据平台中存在上述业务数据,则基于上述行主键和上述键值,则将上述业务数据与上述存储数据进行比对,确定上述存储数据中是否包含上述业务数据;如果上述存储数据中包含上述业务数据,则对上述业务数据进行字段分析,如果上述业务数据的字段与已存在业务数据的字段存在差异,则对上述大数据平台执行闭链操作,并对上述大数据平台执行重新开链操作以新增上述业务数据,并记录上述业务数据的最新有效状态。

可选的,上述方法还包括:若上述大数据平台中存在上述业务数据,且业务源系统中不存在上述业务数据,则对上述大数据平台执行闭链操作,并将上述业务数据标记为无效状态。

根据本发明实施例的另一方面,还提供了一种确定断链数据的装置,包括:获取模块,用于获取大数据平台中的数据链表,上述数据链表包括:表主键和闭链日期;处理模块,用于分别以上述表主键和上述闭链日期作为分布式开源数据库的行主键和键值;确定模块,用于在检测到上述大数据平台接收到业务数据时,基于上述行主键和上述键值比对上述业务数据和上述分布式开源数据库中的存储数据,以确定上述业务数据是否为断链数据。

根据本发明实施例的另一方面,还提供了一种非易失性存储介质,上述非易失性存储介质存储有多条指令,上述指令适于由处理器加载并执行任意一项上述的确定断链数据的方法。

根据本发明实施例的另一方面,还提供了一种处理器,上述处理器用于运行程序,其中,上述程序被设置为运行时执行任意一项上述的确定断链数据的方法。

根据本发明实施例的另一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为运行上述计算机程序以执行任意一项上述的确定断链数据的方法。

在本发明实施例中,通过获取大数据平台中的数据链表,上述数据链表包括:表主键和闭链日期;分别以上述表主键和上述闭链日期作为分布式开源数据库的行主键和键值;在检测到上述大数据平台接收到业务数据时,基于上述行主键和上述键值比对上述业务数据和上述分布式开源数据库中的存储数据,以确定上述业务数据是否为断链数据,达到了节省计算机内存资源且运行时间短的目的,从而实现了提升确定断链数据的计算效率的技术效果,进而解决了现有技术中查询断链数据的方案按照主键进行分组并按照开链日期进行排序,会消耗大量的计算机内存资源且运行时间长,影响计算效率的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是根据本发明实施例的一种确定断链数据的方法的流程图;

图2是根据本发明实施例的一种可选的确定断链数据的方法的流程图;

图3是根据本发明实施例的一种确定断链数据的装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先,为方便理解本发明实施例,下面将对本发明中所涉及的部分术语或名词进行解释说明:

hadoop:一个分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。

hive:一个基于hadoop的数据仓库工具,用来进行数据提取、转换、加载,是一种可以存储、查询和分析存储在hadoop中的大规模数据的机制。

hql:运行在hive数据仓库上的sql语句。

hbase:一个基于hadoop的分布式的、面向列的开源数据库,他不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库,他的优点是高性能,可以实现对数据毫秒级别的查询。

拉链表:数据仓库中的一个数据模式,是维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的几率,通过拉链表可以很方便的还原出拉链时点的客户记录,的优点是既能满足反应数据的历史状态,又可以最大程度的节省存储;通过在原表基础上增量start_date(开链日期)和end_date(闭链日期)两个字段,通过日期字段选取需要的数据且下一条数据的开链日期和上一条数据的闭链日期相同。

拉链表断链:断链是拉链表中的一个现象,指的是数据的历史状态存在缺失的情况,不连续的现象。

断链的原因:源系统在发送全量数据的过程中,由于业务变化或者技术原因没有能发送某条数据到大数据平台,导致大数据平台以为此条数据已经无效,做闭链操作;但源系统后续又重发了此条数据,至这条数据重新做开链操作,就导致数据断链,即在某段时间内,此条数据存在缺失的情况。

在了解本申请方案之前,先要了解下拉链表的定义和断链的含义,以及目前大数据平台针对业务源系统的数据处理流程,以下本申请实施例以hadoop为大数据平台架构,hive为数仓为例说明:

拉链表开链数据:现约定以‘21001231’为闭链日期的数据,即当前有效数据。

拉链表闭链数据:闭链日期为之前某个历史日期的数据。

拉链表闭链操作:将数据的闭链日期由‘21001231’变成当天日期,表示该条数据的状态在这天结束。

拉链表开链操作:指新增一条数据,数据的开链日期为当天日期,闭链日期为‘21001231’,表示数据的最新状态。

通过以客户账号为唯一标识,根据账号余额的变动,记录下拉链表其变化的轨迹,举例如下:

客户在2020年2月10日开户,存入3600元;在2020年2月27日有交易产生,账户余额变成了3800元,此后一直没有变动;在2020年3月3日有交易产生,账户余额变成了4000元,此后一直没有变动;在2020年3月18日有交易产生,账户余额变成4800元,此后一直没有变动。

拉链表中的正确数据:

从上面数据可以看出,上面的数据详细的记录了客户账号余额在某段时间内的值,及其在整个时间范围内的变化情况;

1、2020年2月10日是客户开户的日期,也是序号1这条数据产生的日期,也就是它的开链日期20200210;它在序号1中的闭链日期和序号2的开链日期是相同的,因为在2020年2月27号有交易产生,账户余额变成了3800元,所以序号1进行闭链操作,闭链日期为20200227;同时产生序列2这条数据,序列2的开链日期为20200227。

2、随着账户余额的继续变化,在2020年3月3日变成4000元,序号2进行闭链操作,序号3做开链操作,序号2中的闭链日期和序号3的开链日期是相同的,都是20200303。

3、同理在账户余额变成4800元后,序号3进行闭链操作,序号4做开链操作,序号3中的闭链日期和序号4的开链日期是相同的。

4、序号4是客户账户余额最新的一个状态,账户余额4800元,它的闭链日期为21001231,代表未来的时间2100年12月31日,我们以此日期来约定,表示该数据是当前的有效数据,序号1、2、3都是它的历史状态的数据。

以下以银行卡客户账号和其账号余额为例:

拉链表中的断链数据:

由上表可知,序号3的闭链日期和序号4的开链日期不一致,这就是断链现象,表示上述业务数据的状态信息在日期2020年3月18日和2020年4月23日这段时间是存在缺失的。

实施例1

根据本发明实施例,提供了一种确定断链数据的方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种确定断链数据的方法的流程图,如图1所示,该方法包括如下步骤:

步骤s102,获取大数据平台中的数据链表,上述数据链表包括:表主键和闭链日期;

步骤s104,分别以上述表主键和上述闭链日期作为分布式开源数据库的行主键和键值;

步骤s106,在检测到上述大数据平台接收到业务数据时,基于上述行主键和上述键值比对上述业务数据和上述分布式开源数据库中的存储数据,以确定上述业务数据是否为断链数据。

在本发明实施例中,通过获取大数据平台中的数据链表,上述数据链表包括:表主键和闭链日期;分别以上述表主键和上述闭链日期作为分布式开源数据库的行主键和键值;在检测到上述大数据平台接收到业务数据时,基于上述行主键和上述键值比对上述业务数据和上述分布式开源数据库中的存储数据,以确定上述业务数据是否为断链数据,达到了节省计算机内存资源且运行时间短的目的,从而实现了提升确定断链数据的计算效率的技术效果,进而解决了现有技术中查询断链数据的方案按照主键进行分组并按照开链日期进行排序,会消耗大量的计算机内存资源且运行时间长,影响计算效率的技术问题。

本申请是基于大数据平台,适用于storm、hadoop、spark等不同技术架构,针对业务源系统数据的处理流程中,某一个数据质量校验项(拉链表断链)进行优化的技术方案。

需要说明的是,本申请实施例可以应用在银行等金融机构或金融性服务机构,通过本发明可以实现确定拉链表中的断链数据,节省了计算机内存资源,并提高了查询的效率,可以快速的定位出现断链的业务数据。

本申请实施例基于大数据分布式高速缓存,例如,hbase(分布式面向列的开源数据库,nosql数据库,在增删改查的过程中rowkey充当主键作用,行键)、redis(高性能的key-value数据库)等。

以下本申请实施例中以hbase举例进行说明,基于通过hbase行主键rowkey能快速查询的特点,将已经闭链的表数据以表的主键作为hbase的行主键,存入hbase中;大数据平台每次在插入业务数据时,到hbase中以新增数据的主键信息为rowkey进行查找,如果查询不到则表明该数据之前没有存储过,说明没有问题,正常将该业务数据入库到大数据平台;如果能够查询到,说明该条数据存在断链的情况,需要对数据进行分析找出断链原因,并补齐断链信息。

在一种可选的实施例中,图2是根据本发明实施例的一种可选的确定断链数据的方法的流程图,如图2所示,至少通过如下方式发送上述业务数据至上述大数据平台:

步骤s202,通过业务源系统获取每日业务过程中生成的全部的业务数据,并通过服务总线将上述业务数据发送至上述大数据平台。

在本申请实施例中,例如,可以通过业务源系统获取某一金融机构的每日业务过程中生成的全部的业务数据,并通过服务总线将业务源系统中的业务数据发送至上述大数据平台。

在一种可选的实施例中,仍如图2所示,上述方法还包括:

步骤s204,在上述大数据平台接收到上述业务数据后,对上述业务数据进行解析得到解析结果,并基于上述解析结果验证上述业务数据是否完整传输,其中,至少验证上述业务数据的字段名称、字段个数、字段类型。

在本申请实施例中,在大数据平台接收到业务数据后,对业务数据进行解析并验证在传输过程中数据的完整性和双方元数据(例如,字段名称、字段个数、字段类型等)的一致性;并在验证成功后,将业务源系统的数据和大数据平台的有效数据按照主键进行全连接,进行数据比对。

在一种可选的实施例中,基于上述行主键和上述键值比对上述业务数据和上述分布式开源数据库中的存储数据,以确定上述业务数据是否为断链数据,包括:

步骤s302,若上述大数据平台中不存在上述业务数据,则基于上述行主键和上述键值,则将上述业务数据与上述存储数据进行比对,确定上述存储数据中是否包含上述业务数据;

步骤s304,如果上述存储数据中未包含上述业务数据,则对上述大数据平台执行开链操作以新增上述业务数据,并记录上述业务数据的最新有效状态;

步骤s306,如果上述存储数据中包含上述业务数据,则确定上述业务数据为上述断链数据。

在本申请实施例中,如果源系统中存在该业务数据,大数据平台中不存在,首先判断该数据是否在hbase中,将主键作为rowkey进行查询,如果查询不到表示这是源系统新增加的数据,大数据平台做开链操作,新增一条数据,记录数据的最新有效状态;如果能查询到表示该主键数据以前已经变成无效数据,如果再次进入大数据平台就会产生断链数据。

在一种可选的实施例中,基于上述行主键和上述键值比对上述业务数据和上述分布式开源数据库中的存储数据,以确定上述业务数据是否为断链数据,包括:

步骤s402,若上述大数据平台中存在上述业务数据,则基于上述行主键和上述键值,则将上述业务数据与上述存储数据进行比对,确定上述存储数据中是否包含上述业务数据;

步骤s404,如果上述存储数据中包含上述业务数据,则对上述业务数据进行字段分析,如果上述业务数据的字段与已存在业务数据的字段存在差异,则对上述大数据平台执行闭链操作,并对上述大数据平台执行重新开链操作以新增上述业务数据,并记录上述业务数据的最新有效状态。

在本申请实施例中,如果上述源系统中存在该业务数据,大数据平台中也存在数据,对于这类数据需要进行字段比较,字段有差异的情况,说明源系统对数据进行了更新,大数据平台需要做闭链操作,结束之前的数据状态,同时做开链操作,新增一条数据,记录数据的最新有效状态;对于字段没有差异的情况,说明源系统数据没有变化,大数据平台不做任何操作。

在一种可选的实施例中,上述方法还包括:若上述大数据平台中存在上述业务数据,且业务源系统中不存在上述业务数据,则对上述大数据平台执行闭链操作,并将上述业务数据标记为无效状态。

在本申请实施例中,如果上述源系统中不存在该业务数据,大数据平台存在该业务数据,则表明这些业务数据是源系统删除掉的,大数据平台直接进行闭链处理;同时将主键作为rowkey,当天日期作为value值存入hbase中,表示该数据已经变成无效数据。

在一种可选的实施例中,上述方法还包括:

步骤s502,采用数据仓库工具编写查询语句;

步骤s504,基于上述查询语句以上述表主键对多个数据链表进行分组,并按照上述数据链表的开链日期对多个数据链表进行排序,得到分组排序结果;

步骤s506,将上述分组排序结果存储至临时存储区域中。

在申请实施例中还可以但不限于采用数据仓库工具编写查询语句;基于上述查询语句以上述表主键对多个数据链表进行分组,并按照上述数据链表的开链日期对多个数据链表进行排序,得到分组排序结果;将上述分组排序结果存储至临时存储区域中。

在一种可选的实施例中,在将上述分组排序结果存储至临时存储区域中之后,上述方法还包括:

步骤s602,确定上述临时存储区域中是否存在目标数据链表,其中,上述目标数据链表内包含表主键相同且闭链日期不同的相邻两条数据;

步骤s604,查询上述目标数据链表中是否存在断链数据。

在上述可选的实施例中,在将上述分组排序结果存储至临时存储区域中之后,还可以确定上述临时存储区域中是否存在目标数据链表,并查询上述目标数据链表中是否存在断链数据。

作为一种可选的实施例,通过以下所示具体流程步骤,对本申请实施例所提供的方法进行示例说明:

首先,初始化hbase数据,找出表中无效的数据即以表中主键进行分组,数据链表中不存在开链数据即闭链日期为‘21001231’的数据。将主键作为rowkey,将主键最后的闭链日期作为value值存入hbase中。

其次,业务源系统将业务数据发送至大数据平台,在上述大数据平台接收到上述业务数据后,对上述业务数据进行解析得到解析结果,并基于上述解析结果验证上述业务数据是否完整传输,基于上述行主键和上述键值比对上述业务数据和上述分布式开源数据库中的存储数据,以确定上述业务数据是否为断链数据,例如,将业务源系统的数据和大数据平台的有效数据按照主键进行全连接,进行数据比对得到比对结果可以但不限于包括以下3种情况:

第1种情况:源系统中存在数据,大数据平台中不存在,首先判断该数据是否在hbase中,将主键作为rowkey进行查询,如果查询不到表示这是源系统新增加的数据,大数据平台做开链操作,新增一条数据,记录数据的最新有效状态;如果能查询到表示该主键数据以前已经变成无效数据,如果再次进入大数据平台就会产生断链数据。

第2种情况:源系统中存在数据,大数据平台中也存在数据,对于这类数据需要进行字段比较,字段有差异的情况,说明源系统对数据进行了更新,大数据平台需要做闭链操作,结束之前的数据状态,同时做开链操作,新增一条数据,记录数据的最新有效状态;对于字段没有差异的情况,说明源系统数据没有变化,大数据平台不做任何操作。

第3中情况:源系统中不存在数据,大数据平台存在,这些数据是源系统删除掉的,大数据平台做闭链处理;同时将主键作为rowkey,当天日期作为value值存入hbase中,表示该数据已经变成无效数据。

本申请实施例中是通过大数据分布式高速缓存技术和拉链表相结合的处理方式,实现快速拉链表断链数据的查询,通过本申请实施例可以实现对拉链表中的断链数据的判断,节省了计算机内存资源,并提高了查询的效率,可以快速的定位出现断链的数据。

实施例2

根据本发明实施例,还提供了一种用于实施上述确定断链数据的方法的装置实施例,图3是根据本发明实施例的一种确定断链数据的装置的结构示意图,如图3所示,上述确定断链数据的装置,包括:获取模块300、处理模块302和确定模块304,其中:

获取模块300,用于获取大数据平台中的数据链表,上述数据链表包括:表主键和闭链日期;处理模块302,用于分别以上述表主键和上述闭链日期作为分布式开源数据库的行主键和键值;确定模块304,用于在检测到上述大数据平台接收到业务数据时,基于上述行主键和上述键值比对上述业务数据和上述分布式开源数据库中的存储数据,以确定上述业务数据是否为断链数据。

需要说明的是,上述各个模块是可以通过软件或硬件来实现的,例如,对于后者,可以通过以下方式实现:上述各个模块可以位于同一处理器中;或者,上述各个模块以任意组合的方式位于不同的处理器中。

此处需要说明的是,上述获取模块300、处理模块302和确定模块304对应于实施例1中的步骤s102至步骤s106,上述模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在计算机终端中。

需要说明的是,本实施例的可选或优选实施方式可以参见实施例1中的相关描述,此处不再赘述。

上述的确定断链数据的装置还可以包括处理器和存储器,上述获取模块300、处理模块302和确定模块304等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核,由内核去存储器中调取相应的程序单元,上述内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram),存储器包括至少一个存储芯片。

根据本申请实施例,还提供了一种非易失性存储介质的实施例。可选地,在本实施例中,上述非易失性存储介质包括存储的程序,其中,在上述程序运行时控制上述非易失性存储介质所在设备执行上述任意一种确定断链数据的方法。

可选地,在本实施例中,上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中,上述非易失性存储介质包括存储的程序。

可选地,在程序运行时控制非易失性存储介质所在设备执行以下功能:获取大数据平台中的数据链表,上述数据链表包括:表主键和闭链日期;分别以上述表主键和上述闭链日期作为分布式开源数据库的行主键和键值;在检测到上述大数据平台接收到业务数据时,基于上述行主键和上述键值比对上述业务数据和上述分布式开源数据库中的存储数据,以确定上述业务数据是否为断链数据。

可选地,在程序运行时控制非易失性存储介质所在设备执行以下功能:通过业务源系统获取每日业务过程中生成的全部的业务数据,并通过服务总线将上述业务数据发送至上述大数据平台。

可选地,在程序运行时控制非易失性存储介质所在设备执行以下功能:在上述大数据平台接收到上述业务数据后,对上述业务数据进行解析得到解析结果,并基于上述解析结果验证上述业务数据是否完整传输,其中,至少验证上述业务数据的字段名称、字段个数、字段类型。

可选地,在程序运行时控制非易失性存储介质所在设备执行以下功能:若上述大数据平台中不存在上述业务数据,则基于上述行主键和上述键值,则将上述业务数据与上述存储数据进行比对,确定上述存储数据中是否包含上述业务数据;如果上述存储数据中未包含上述业务数据,则对上述大数据平台执行开链操作以新增上述业务数据,并记录上述业务数据的最新有效状态;如果上述存储数据中包含上述业务数据,则确定上述业务数据为上述断链数据。

可选地,在程序运行时控制非易失性存储介质所在设备执行以下功能:若上述大数据平台中存在上述业务数据,则基于上述行主键和上述键值,则将上述业务数据与上述存储数据进行比对,确定上述存储数据中是否包含上述业务数据;如果上述存储数据中包含上述业务数据,则对上述业务数据进行字段分析,如果上述业务数据的字段与已存在业务数据的字段存在差异,则对上述大数据平台执行闭链操作,并对上述大数据平台执行重新开链操作以新增上述业务数据,并记录上述业务数据的最新有效状态。

可选地,在程序运行时控制非易失性存储介质所在设备执行以下功能:若上述大数据平台中存在上述业务数据,且业务源系统中不存在上述业务数据,则对上述大数据平台执行闭链操作,并将上述业务数据标记为无效状态。

可选地,在程序运行时控制非易失性存储介质所在设备执行以下功能:采用数据仓库工具编写查询语句;基于上述查询语句以上述表主键对多个数据链表进行分组,并按照上述数据链表的开链日期对多个数据链表进行排序,得到分组排序结果;将上述分组排序结果存储至临时存储区域中。

可选地,在程序运行时控制非易失性存储介质所在设备执行以下功能:确定上述临时存储区域中是否存在目标数据链表,其中,上述目标数据链表内包含表主键相同且闭链日期不同的相邻两条数据;查询上述目标数据链表中是否存在断链数据。

根据本申请实施例,还提供了一种处理器的实施例。可选地,在本实施例中,上述处理器用于运行程序,其中,上述程序运行时执行上述任意一种确定断链数据的方法。

根据本申请实施例,还提供了一种电子设备的实施例,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为运行上述计算机程序以执行上述任意一种的确定断链数据的方法。

根据本申请实施例,还提供了一种计算机程序产品的实施例,当在数据处理设备上执行时,适于执行初始化有上述任意一种的确定断链数据的方法步骤的程序。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取非易失性存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个非易失性存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的非易失性存储介质包括:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

完整全部详细技术资料下载
当前第1页 1  2 
相关技术
  • 一种业务数据处理方法、装置、...
  • 一种基于区块链的电子数据交换...
  • 数据质量分析方法、装置及电子...
  • 一种数据传输方法及设备、介质...
  • 一种基于ES的检验检测机构快...
  • 判断装置以及存储有判断程序的...
  • 面向工业4.0的时空大数据分...
  • 表单生成方法、装置、电子设备...
  • 能源系统数据处理方法和装置与...
  • 数据表的处理方法、装置、存储...
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1

聚圣源五行缺土怎么起名字大全你是我的心跳朱婷为什么没参加世界女排联赛fcrom猪胎儿张姓起名大全春之森林非主流恩典图片英语谐音起名免费给宝宝起名的网址起英文名网免费名字大全氵字旁边的字有哪些字起名字好杨姓女孩起名100分木命能起名字工商起名字百货商店起什么名字好诗经蒹葭开医疗器械公司起名式微翻译日照文明网釜山行2百度网盘链接超体2今年出生起什么名字好修真门派掌门人马拉松猝死29省份2020年gdp出炉方子传在线观看喜欢的话请响铃2小娘惹演员表说明书英文十大家装淀粉肠小王子日销售额涨超10倍罗斯否认插足凯特王妃婚姻让美丽中国“从细节出发”清明节放假3天调休1天男孩疑遭霸凌 家长讨说法被踢出群国产伟哥去年销售近13亿网友建议重庆地铁不准乘客携带菜筐雅江山火三名扑火人员牺牲系谣言代拍被何赛飞拿着魔杖追着打月嫂回应掌掴婴儿是在赶虫子山西高速一大巴发生事故 已致13死高中生被打伤下体休学 邯郸通报李梦为奥运任务婉拒WNBA邀请19岁小伙救下5人后溺亡 多方发声王树国3次鞠躬告别西交大师生单亲妈妈陷入热恋 14岁儿子报警315晚会后胖东来又人满为患了倪萍分享减重40斤方法王楚钦登顶三项第一今日春分两大学生合买彩票中奖一人不认账张家界的山上“长”满了韩国人?周杰伦一审败诉网易房客欠租失踪 房东直发愁男子持台球杆殴打2名女店员被抓男子被猫抓伤后确诊“猫抓病”“重生之我在北大当嫡校长”槽头肉企业被曝光前生意红火男孩8年未见母亲被告知被遗忘恒大被罚41.75亿到底怎么缴网友洛杉矶偶遇贾玲杨倩无缘巴黎奥运张立群任西安交通大学校长黑马情侣提车了西双版纳热带植物园回应蜉蝣大爆发妈妈回应孩子在校撞护栏坠楼考生莫言也上北大硕士复试名单了韩国首次吊销离岗医生执照奥巴马现身唐宁街 黑色着装引猜测沈阳一轿车冲入人行道致3死2伤阿根廷将发行1万与2万面值的纸币外国人感慨凌晨的中国很安全男子被流浪猫绊倒 投喂者赔24万手机成瘾是影响睡眠质量重要因素春分“立蛋”成功率更高?胖东来员工每周单休无小长假“开封王婆”爆火:促成四五十对专家建议不必谈骨泥色变浙江一高校内汽车冲撞行人 多人受伤许家印被限制高消费

聚圣源 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化