当前位置:基金 > 正文
证券行业大数据实施痛点及选型关注点

  随着金融行业全面迈入大数据时代,更多的证券、基金公司已经感受到了大数据技术带来的便利。数据是金融行业的命脉,但证券、基金公司往往受限与高性能储存的高昂成本和数据处理能力的不足,占总储存量80%以上的数据并不能得到有效利用,只是安静的“躺”在系统里。随着数据量越来越大,数据的简单调取和导出都需要等待一定时间,更遑论将这些数据进行深度挖掘和利用了。

  另一方面,近年监管部门也陆续颁布了面向证券行业的管理办法,对证券公司的数据质量、数据标准以及利用大数据做必要的风险监控等方面有所要求。

  然而,对于券商和基金公司而言,想要迈入大数据时代也会面临不小的挑战。

  一、证券公司数据管理的问题与挑战

  1、传统数据系统难以适应如今需求

  一方面是随着数据量的增多,传统数据系统数据处理效率难以达到要求。原底层数据管理系统多为Oracle、SqlServer、DB2等传统关系型数据库,处理效率上存在天然的瓶颈。欲提高数据处理能力只能从主机的硬件能力上提高,成本过高。

  另一方面,仅能进行结构化数据的处理已经无法满足当前的需求。随着数据挖掘和机器学习大潮的来临,非结构化和半结构化数据的重要性也不断上升。以往的只能储存和处理结构化数据的模式已经被时代抛在了身后。

  除此之外,流处理能力十分重要。证券、基金行业中历史数据快速统计、窗口时间内的信息流和触发事件及模型匹配、百毫秒级事件响应等能力是实时营销和实时风险预警的重要步骤,老的系统在流处理能力上有着明显不足。

  2、数据资产亟待价值化

  在大数据时代,证券、基金公司已经不能满足于历史数据调取这类基本功能。数据资产价值转化,数据驱动业务是每个公司都渴望实现的,也必将成为未来金融机构的核心竞争力之一。想要将数据资产价值化,数据挖掘和机器学习是最有力的的两个工具。然而上面也提到了,数据处理效率的瓶颈和非结构化、半结构化数据处理能力的不足都制约了数据挖掘和机器学习的展开。

  除此之外,在数据资产价值转化的进程中,证券、基金公司还会遇到一系列问题,如数据架构失控、元数据管理混乱、数据标准缺失、数据质量参差、数据增长无序、数据安全问题突出等。

  3、大数据研发团队规模较小

  证券、基金公司往往并不具备庞大的IT研发人员团队,难以直接从零开始进行大数据平台的构建。大数据工程师集中于大型互联网公司、科技公司,且多为技术工程师和数据分析师;金融业人才具备优秀的金融业务实践能力,但欠缺大数据技术、数据科学能力。“懂业务不懂技术,懂技术不懂业务”,复合型人才也较为稀缺。另外,深入研究平台技术需要一定的时间,证券、基金公司希望从IT角度实现“弯道超车”,就一定要尽快完成大数据化的进程。无论从人员成本,还是时间成本上面,都面临不小的压力。

  除此之外,开源的Hadoop对标准SQL及PL/SQL支持程度不高,许多常用函数不支持,需要使用者编写程序实现。传统的数据集市、数据仓库大都基于SQL开发,若迁移至Hadoop平台需要少则几百行多则上万行的程序编写,这对实施人员是一项艰难的考验。

  二、证券基金行业大数据平台选型关注点

  每个证券基金公司的状况不同,在大数据平台产品选型时有共性也有各自独特的关注点。共同关注点集中在大数据数据处理的四个特点上面:数据处理性能,数据处理时效性,数据处理类型,数据价值挖掘。此外,针对各自不同特点也有一些非共性的关注点,例如SQL兼容度、安全性、技术支持等。

  1、数据处理性能

  数据处理性能在选择大数据平台时最基础的一个问题。广义上大数据平台性能的概念包括数据批处理能力、实时流数据处理能力、非结构化数据处理能力等一切大数据平台需要具备的能力。狭义上数据处理性能指在面对庞大数据量时平台的批处理能力。数据处理的性能不足会导致:1无法按时完成计算任务,工期延误;2 无法对数据进行复杂操作,空有大量数据却无法转化价值;3 跟不上业务扩展的脚步,制约业务发展。除此之外还有各种各样数据处理性能不足带来的不足,因此选择大数据平台时,性能是各公司考虑的首要因素。

  2、数据处理时效性

  在众多应用场景之中,有相当一部分非常强调数据处理的时效性,证券基金行业中也是如此。因此,数据实时或准实时处理能力是选择大数据平台必须要考虑的因素。部分场景如实时营销和实时风险预警等对数据平台的流处理能力要求很高,至少要百毫秒级乃至十毫秒级的事件响应性能才能满足需求。

  3、数据处理类型

  半结构化、非结构化数据的处理是许多证券基金公司最头疼的问题之一,大数据平台产品的非结构化数据处理能力自然也是着重考察的因素。语音、图片、视频和网页等都是大数据应用的数据源。增加非结构化数据处理能力为广泛的开展数据挖掘和机器学习打下了良好的基础。

  4、数据价值挖掘

  数据挖掘和机器学习是推动证券、基金公司大数据化的重要因素。数据挖掘影响到了包括战略规划、经营效率、风险管理、精准营销等方方面面。但与数据价值挖掘重要性与日俱增相对应的,大数据团队的培养却并非一朝一夕可以完成。大部分机器学习工具都是需要数据挖掘工程师或者数据科学家来操作。因此,在选择大数据平台的机器学习工具时,除了性能等因素外也要考虑到工具的易用性。

  5、对SQL的兼容性

  开源Hadoop对标准SQL及PL/SQL支持程度不高,技术人员进行操作时的学习成本很高。在将数据从传统数据库迁移至Hadoop平台过程中,往往要编写数千条的SQL语句,复杂程度很高。在这一点上,商用Hadoop平台产品较为成熟,可以有效的减少大数据平台建设的时长。

  6、安全性

  随着数据量飞速增长,数据管理系统日益复杂,数据安全问题近来一直被证券基金公司作为重点对待。在服务云端化的趋势下,数据处理平台需务必保证数据资产的机密性,控制接入数据系统的用户,控制用户可以访问的数据,控制用户可支配资源。据统计有48%的券商在2017年出现过安全漏洞,一个有效的大数据集群安全保护平台是十分有必要的。

  7、技术支持

  考虑到技术团队的制约,证券基金公司在面临技术问题时,提供大数据平台的合作伙伴的技术支持必不可少。同样的问题在平台的部署阶段也是一个不得不考虑的因素。大数据平台合作方需要提供强力的部署团队,并且在部署过程中能快速的解决问题。证券基金行业同政府部门类似,有着大量的用户数据,在部署过程数据的安全性也是需要考虑的问题之一。国内公司在技术支持这方面有很大的优势。

  三、证券行业驾驭大数据技术仍须克服重重困难

  目前,大数据技术在证券行业中的应用与推广还处于起步阶段,趋势虽不可阻挡,但同时也面临诸多困难与挑战,当前亟须解决的核心问题主要有以下几方面。

  1、海量数据分散存储,整合难度大。

  海量数据的管理对任何一个行业都是极具挑战性的难题。证券行业数据量增长快速且数据结构复杂,每天都有大量的新旧数据需要迭代处理。此外由于业务多元化的特点,证券公司的大数据往往分散于相互独立的各个业务部门,无法进行畅通共享导致大数据处于严重的切割和分散状态,同样的问题在行业内不同公司之间也存在。同时,证券行业部分数据涉及用户的安全与隐私,在运用大数据技术进行分析的过程中要避免数据的泄露,同时也要保护客户的隐私数据不受侵犯,这对证券公司的大数据安全技术以及对合规及风险管理能力提出了更高的挑战。因此,如何在政策允许的范围内实现内部海量数据的有效整合以及与外部机构数据的共享,是大数据技术应用推广过程中须解决的首要问题。

  2、寻找有效的人工智能算法需要长期探索。

  证券行业的大数据往往具备高维度、动态以及强随机性等不确定特征,且多数为非结构化数据。非结构化数据的一般性特征通常不够清晰,而且所反映的对象背后缺乏客观严谨的逻辑,具有更强的不确定性和不可预测性。从这些数据中提取基本信息结合特定的金融逻辑、应用情景以及经验,运用人工智能算法进行“深度挖掘”得到最终的投资决策,将高度依赖能否构建有效的处理算法,这是大数据技术应用的重点与难点。证券市场的大数据技术从“初步提取”到“深度挖掘”还有漫长的路需要探索。

  3、大数据业务的落地及人才的培养均需要继续加大力度。

  从大数据技术的部署以及相关业务的开展来看,虽然证券行业许多公司都在战略上给予了高度的重视,但是在具体业务的落地和推进中,实际投入的资源有限,取得的进展也相对较慢。证券行业的核心竞争力在于“人”,大数据应用也不例外。但是,与其他IT领域不同的是,金融大数据人才往往须同时具备算法、IT以及金融等多学科交叉背景,目前证券行业该类人才相对占比较低,未来应对大数据浪潮还须继续加大此类人才的储备。

相关链接:

作者: 来源:星环科技 发布时间:2018-03-06 06:33:36
 
 
  我要发表留言  查看所有评论
 

*
 限制字数显示剩余字数,最大长度: 500 还剩: 500
用户名:
       尊重网上道德,承担一切因您的行为而直接或间接导致的民事或刑事法律责任