当前位置:电子银行 > 正文
商业银行图数据库平台建设思路探索研究

  图数据库简介

  关系型数据库的弊端

  关系型数据库自上世纪80年代以来一直是数据库领域发展的动力,并持续到今天。它们将高度结构化的数据存储在具有某些类型信息的二维表格中,通过外键约束来实现两表或多个表之间某些记录相互引用的关系。通过外键在主表中寻找匹配的主键记录来进行搜索和匹配计算操作,这种操作是“计算密集型”的。而如果使用多对多关系,则需要增加一个中间表。当关联关系复杂,并且数据量大的时候,关系型数据库就无法解决相关的遍历和查询操作。

  什么是图数据库

  图数据库是基于数学里图论的思想和算法而实现的高效处理复杂关系网络的新型数据库系统,通过节点、边和属性来表示及存储数据 (a database that uses graph structures for semantic queries with nodes, edges and properties to represent and store data)。

  图数据库的优势

  1.性能

  大数据时代,人类社会的数据量呈爆发式增长。任何业务或产品所积累的数据一定是快速增长的,这没有疑义,但更重要的是,数据与数据之间的关系数目将呈现平方级增长。在传统的数据库中,随着关系的数量和深度的增加,关系查询的效率将急剧衰减,甚至崩溃。然而图形数据库的性能将几乎不变,即使数据每天都在增长。对于不同的关联深度,图形数据库与关系型数据库执行时间对比如下表。

深度

关系型数据库图

数据库

  20.016s0.01s

  330.267s0.168s

  41543.5s1.359s

 

  可见,在这种关联关系复杂且关联深度较大的情形下,图数据库比关系型数据库执行效率提高成千上万倍。

  2.灵活性 图形数据模型的结构和模式随着解决方案和行业的变化而变化。开发团队不必提前对未来的需求进行详尽的建模(然后在某些业务/产品人员要求更改后彻底地推翻重做);相反,新的节点、关系、节点的属性还有关系的属性都可以后期添加到现有结构中,完全不会危及当前的功能。 一个有趣的说法是:面对图形数据库模型,你只需要口述你的需求,然后让它作出改变;而关系型数据库模型则恰好相反,它告诉你它的需求,迫使你适应它那复杂的表格结构。3.敏捷性 使用图形技术开发完全符合当今的敏捷、测试驱动的开发实践,它允许数据层支持的应用程序随着业务需求的发展而快速迭代更新。

  图数据库发展

  图数据库从最近十年的表现来看,已经成为关注度最高,也是发展趋势最明显的数据库类型。下图是db-engines.com对最近6年来,所有数据库种类发展趋势的分析结果,可以看到自2013年至今,图数据库以每年45%的幅度高速增长中。

  

  Part 2

  图数据库热门应用领域

  图数据库由于更符合人类的思考和行为动作,更加关注彼此之间的关系和连接,所以在很多领域中均可以使用。图数据库率先应用于社交领域和产品推荐,然后与人工智能结合的知识图谱,在银行业领域针对于反欺诈反洗钱等专业金融领域。

  社交网络

  社交网络中人与人之间有很多关系链,例如Twitter、Facebook、微博和微信等,图数据库在这些场景中都有广泛应用。其中,微博利用图数据库计算用户与用户通过关注者为桥梁发现关注者之间的关系(二度关系),并以此进行潜在的用户推荐;腾讯借助图数据库完成全量共同好友计算,具备了复杂图模型的快速计算能力;淘宝通过图数据库构建图谱体检平台,将淘宝内部各种图的指标精细化,规范化,对于产品和运营的构思进行数据上的预研指导,提供科学决策的依据。

  实时推荐

  无论是零售、金融、服务、社交网络还是媒体等行业,能够实时地向顾客提供高度相关的产品推荐是最大化客户价值、维持市场竞争力的重要能力。推荐的内容必须合理而且与顾客的需求高度相关,才有可能被接受。

  基于知识图谱的搜索引擎

  在互联网时代,搜索引擎是人们在线获取信息和知识的重要工具。当用户输入一个查询词,搜索引擎会返回它认为与这个关键词最相关的网页。从诞生之日起,搜索引擎就是这样的模式。 直到2012 年5 月,搜索引擎巨头谷歌在它的搜索页面中首次引入“知识图谱”——用户除了得到搜索网页链接外,还将看到与查询词有关的更加智能化的答案。这意味着搜索引擎技术从内容检索迈入到知识搜索时代。从杂乱的网页到结构化的实体知识,搜索引擎利用知识图谱能够为用户提供更具条理的信息,甚至顺着知识图谱可以探索更深入、广泛和完整的知识体系,让用户发现他们意想不到的知识。

  金融反欺诈

  随着我们日常生活变得越来越数字化,金融欺诈也越来越频繁。每年,银行和保险公司都在承受着由于欺诈造成大量资金损失的风险。世界上没有尽善尽美的欺诈预防措施,但是通过把数据看做图而不单单是表,深度挖掘数据内在关联模式,就能极大地改进对欺诈事件的检测。

  

  反洗钱

  反洗钱手段层出不穷,且方式日新月异,在新的监管形势要求下,通过传统的专家规则对一些新型洗钱方式不能很好地做出响应。随着金融与互联网不断融合,一些不法分子往往会利用互联网金融的网络交易从事洗钱活动,网络支付日渐取代柜面交易和ATM现金交易。支付流程的碎片化导致交易信息和客户身份信息的分割,银行难以掌握开展反洗钱工作所需要的充分信息。因此,反洗钱工作的开展需要强化客户画像工作,不仅是客户身份、风险偏好等,还有客户的社交信息,识别客户交易的合理性,发现客户身份与交易行为之间的异常。通过图数据库计算和分析,识别潜在的可疑客户,发现新型洗钱交易特征。

  

  Part 3

  同业图数据库建设情况

  金融机构

  金融机构目前都逐渐接触并开始使用或者准备使用图数据库,以进行相关的应用场景处理。当前各银行要么在技术调研阶段,要么在典型场景试点阶段,目前银行业内,尚没有大型成熟的应用案例,大家都是在摸着石头过河。应用效果商业银行主要应用场景

  A行信用卡虚假申请识别解决了该行长期无法解决的地址模糊匹配算法问题

  B行反套现提高团伙反套现识别率

  C行客服知识库提升客服效率

  D行反洗钱提高反洗钱执行效率

  E行业务风控系统提升了诈骗团伙识别和设备伪造识别

  F行实时交易反欺诈提高反欺诈识别率

  G行反洗钱交易监测引擎反洗钱交易精确率提示至92%,降低人力介入成本,进一步挖掘可疑交易

  Part 4

  银行业图数据库平台建设思路

  银行业日益增长的需求,传统数据库已不能很好支撑业务发展需要,有必要引入图数据库技术,建设强有力的图计算基础设施,健全各业务领域知识图谱,通过技术创新引领业务创新和持续发展。

  图数据库平台定位

  应用图数据库有两种形式:实时关系检索和批量模型加工。无论哪种应用方式,图数据库都要与关系型数据库、Hadoop、GBase 相互配合,相互补充,实现基础数据存储和计算平台支撑。

  

  上图主要是为了说明图数据库在与行内现有数据库技术架构中的定位。其中,图数据库的主要作用是提供高性能图计算、关系建模和实时查询,GBase主要用于实现面向主题的数据集市搭建,Hadoop 主要用于完成海量数据存储和多维模型分析,而关系型数据库则面向OLTP 应用,并运用知识模型完成业务管理和决策,并产生业务经营数据,供知识图谱完善知识体系。 业务数据可以通过流数据的方式收集到图数据库中,也可以通过批量方式导入到图数据库中,完成知识建模。其中,使用流数据方式还可以支持实时模型更新。另外,如果采用支持事务的图数据库,也可以考虑在某些应用中直接替代关系型数据库,简化系统设计的同时,也能够实现关联关系的实时更新。

  图数据库平台架构

  引入商业化图数据库产品,并基于商业产品搭建图数据库平台。此平台定位于为全行提供图存储、图计算公共服务,包括图谱的建立存储、实时的图检索服务、批量的图数据计算等。建立全行级别的法人客户图谱、个人客户图谱、金融产品图谱、金融知识图谱,为信贷、风险、营销、客户服务等业务领域的行为分析提供图服务,还可以为业务部门提供定制化的图计算服务。平台还将提供可视化的建模工具、标准图算法服务、工具包等图数据库相关服务。

  

  图数据库平台建设

  由于图数据库技术发展时间较短,各商业产品技术架构、技术路径、商业模式各有不同,目前尚无统一的行业标准。在这种情况下,建议图数据库平台的建设可以依托于具体应用场景来进行,开源版本和商业版本并行,既可以量化图数据库的各项指标,择优而选,又可以减少试错成本,降低试错风险。(1) 整体规划,急用先行,以一个或者两个场景为切入点,作为平台一期建设服务目标,验证技术方案。(2) 合理选型,双线并举,并行推进开源产品引入和商业版产品采购,在初期先行以开源版图数据库作为落地方案,待后续在平台中补充商业版图数据库组件。(3) 采用敏捷开发模式,快速迭代,逐步完善,加速产品迭代更新。

  Part 5

  图数据库,未来可期

  图数据库应对的是当今一个宏观的商业世界的大趋势:凭借高度关联、复杂的动态数据,获得洞察力和竞争优势。国内越来越多的公司开始进入图数据库领域,研发自己的图数据库系统。对于达到一定规模或价值的数据,图数据库都是呈现和查询这些关系数据的最好方式。而理解和分析这些图的能力将成为企业未来最核心的竞争力。图数据库将颠覆众多行业场景,特别适用于金融风控领域。尤其金融风控场景涉及维度多,传统数据库无法很好的解决,这时候图数据库就可以大显身手了。图数据库服务平台作为一种可行的建设路径,应持续深入研究探讨。以实现业务场景为目标,逐步探索图数据库数据存储、图计算、图查询等相关信息,平衡开源版本与商业版本之间的部署。图数据库服务平台建设是对“用最显见的技术,解决最迫切的问题,服务最广大的人群”的科技服务理念的贯彻执行,同时也是科技部门牢牢把握金融科技创新发现动向,以研发创新助力企业数字化转型的迫切需求。对于图数据库服务平台的建设思路,还需要深入思考、加大研究,选择适合金融机构自身情况的特色方案,科技赋能,迎接挑战,助力银行数字化转型。

作者:林发全 李鲲杨 罗晓峰 来源:我们的开心 发布时间:2019-09-04 08:06:11
 
 
  我要发表留言  查看所有评论
 

*
 限制字数显示剩余字数,最大长度: 500 还剩: 500
用户名:
       尊重网上道德,承担一切因您的行为而直接或间接导致的民事或刑事法律责任