当前位置:股票 > 正文
证券市场云平台基础架构解析

  随着中国证券市场的创新发展,出现了越来越多的新技术,参与者的需求也越来越体现多样性的特征。如何以更低的研发成本提供更多的有效服务,是证券行业的技术从业者需要面对的最关键问题之一。

  在日常实践中,监管机构、买方机构和卖方机构提出了不同的需求。为了更加“多快好省”地满足不断涌现的新需求,需要重新定义证券市场的技术栈。在前期研发的“智能路由系统”、“实时分析系统”和“大数据云平台”的基础上,应用标准云化服务的理念,本文整合了多种功能组件,构建了证券市场云平台的基础架构,支持完整的投研、交易和清算等全流程闭环操作,可供相关从业者参考。

  一、基础架构

  (一) 云平台

  在2010年后,随着互联网技术的逐渐进步,从超级计算脱胎而出的云计算(cloud computing)越来越普及,随后出现了各种云平台(cloud platforms)。云平台提供标准的服务协议,允许开发者们用统一的API开发程序,使用“云平台”里提供的服务。之后出现的云容器等技术,允许程序在虚拟的云主机上运行。亚马逊、阿里、百度、腾讯等巨头的云计算平台已经逐步占据了国内外的业界主流。

  在实际应用中,云平台提供基于“云”的服务,为作为直接用户的开发者提供服务。程序员不用从无到有构建自己的整套库,转而依靠云服务来创建新的应用,体现了软件即服务(Software as a service,SaaS)的理念。

  人工智能和大数据分析技术最新技术潮流中,人工智能分析系统是重要应用,AlphaGo战胜了全球顶尖的围棋高手。

  人工智能的核心是大数据分析技术。常见的大数据AI系统由以下模块组成:

  大数据存储系统,是心脏和动力,存储海量棋谱;

  智能分析平台,是大脑和核心,是计算引擎;

  支撑系统模型,是躯干和支撑,是交互模块,可以用GPU/TPU等硬件加速。

  (二)项目宗旨

  云平台的核心理念是屏蔽软件的系统异构性,将其与“大数据流处理”结合,扩展到投资决策、实时交易、盈亏清算领域后,可以对证券市场的全流程提供完整的服务。

  为达到提供证券云服务的目的,在项目的研发过程中,遵循如下的设计原则:

  摒弃定制型的 “产品”思维,转变为通用型的 “平台”思维;

  回归软件设计的核心:通过松耦合的基础架构,提供多元化的功能服务;

  简化系统架构,封装常见技术细节,将降低数据分析的难度作为首要考虑因素;

  提供易用的服务,屏蔽技术细节,降低对研发能力的依赖,体现“傻瓜相机”式思维。

  二、 云平台整体介绍

  证券市场云平台是完全自有知识产权的证券市场云平台基础架构。

  通过标准化的统一接口协议,云平台提供了易于使用的云服务,高效智能地支持了证券市场的投研交易一体化。并且可应用在全市场的市场监察等交易所监管领域。

  (一)研发历程

  2011年,李知明同志在国内证券行业首次提出了证券市场云平台的最初理念,包含“智能路由系统”和“大数据云平台”等设想,是国内证券行业最早的云平台规划。

  在2012~2015年,开发并部署了“智能路由系统”,在客户的应用中获取了宝贵的反馈意见。在2015~2017年,经过不断的开发实践,陆续设计开发了 “实时智能分析平台”、 “大数据云平台” 和“多策略盈亏清算云平台”。现已基本实现了主要构想,包含了大数据存储、量化研究、实时分析、智能路由、风险管理、盈亏清算等功能,取得了较好的经济效益。

  (二)服务流程

  在实际应用中,平台对客户提供全流程服务,包含接收高频行情、发起交易、清算盈亏等:

  交易所产生高频行情数据,通过券商或外部数据提供商,转发给客户

  客户收集、加工并存储行情大数据

  客户对行情大数据进行研究分析,提炼人工智能模型

  实时分析系统在线处理高频行情,及时作出反应

  智能路由系统接收指令(分析、交易),并智能执行

  风险管理系统分析市场风险,并阻止越轨行为

  盈亏清算系统对当日交易进行清算

  图1 证券市场云平台的架构

  三、云平台的架构和实现

  基于模块间低耦合高内聚的原则,我们设计了云平台的架构,并实现了各子系统,提高了系统的使用和维护效率。

  (一)高频行情大数据平台

  作为证券云平台的核心组件,证券行情大数据云平台起到对接各云平台的关键作用。

  1、大数据研究系统

  为了更准确地重现历史场景,开发了研究平台,提供以下功能:

  数据加载:载入证券行情的历史数据

  行情回放:模拟历史场景,回放多种数据,并保持历史顺序

  数据分析:分析模型的反馈数据,提供统计摘要

  平台版本:目前已经实现了Python/Matlab/ C#的版本,今后将提供Java/R等版本

  2、大数据采集系统

  为更好地研究证券市场微观结构,开发了行情大数据的采集平台。该系统采用了多线程结构,能够自动采集A股市场的全部Level-2数据。在具体实现中,采集平台提供以下功能:

  并发引擎:应用线程池等技术,自动平衡任务队列的工作负载

  数据下载:连接多个数据源(如宏汇TDB/TDF、券商行情机等),订阅行情数据

  数据清洗:根据预定规则,清洗错误的脏数据(量价异常、时间非法)

  数据转存:使用大数据存储系统,保存加工后的标准数据

  3、大数据加工系统

  数据加工系统,对高频行情大数据进行加工,以便后继分析,包括以下功能:

  数据加载:加载证券行情的原始历史数据

  数据统计:合成K线,计算统计指标等衍生数据

  数据存储:在大数据存储引擎中存储加工后的衍生数据

  数据转发:在线转发给其他客户端,供实时处理

  4、大数据存储系统

  证券市场每天生产海量的高频行情大数据,文本文件、数据库、数据仓库等传统技术已经远远无法满足日常增长的需求。我们在业内首先使用最新的HDF5技术,开发了大数据存储系统。

  (二)实时智能分析平台

  基于规则的事件驱动模式,设计开发了实时智能分析引擎,能够对事件作出高速反应,已用于在线风险监控,并可用于市场监察。

  1、功能概述

  基于事件分析引擎,我们开发了实时数据的在线监控平台。平台提供以下功能:

  连接不同数据源,订阅行情数据

  计算预设指标,以供模型分析

  进行模型运算,扫描订阅代码

  生成分析信号,自动执行操作

  2、功能组件

  监控平台不断扫描全市场数据,对日内高频行情进行实时计算分析,调用相关模型计算,生成信号后执行相关操作,并通知监控人员。平台为分布式架构,由以下模块构建:

  (1) 行情服务器,包含功能:

  封装行情接口

  广播行情数据

  (2) 指标服务器,包含功能:

  读取行情数据

  实时更新指标

  (3) 模型服务器,包含功能:

  分别运行每个模型策略,生成操作指令

  监测模型运行状态,支持人工干预

  (4) 操作服务器,包含功能:

  封装外界操作接口

  接收操作信号,生成实际指令

  使用“智能路由”技术,将指令路由到不同下游节点,或者进行负载均衡式转发

  (5) 管理客户端,包含功能:

  展示系统效率、信号指标等统计数据

  检测各组件状态,对异常状态报警。

  3、设计要点

  在系统的具体实现技术中,如何达到“多快好省”是所有设计的关键,包括以下创新:

  (1) 分析技术

  系统存储异构数据,并在全局的主时间链中进行记录

  分析模型访问主时间链,获取异构数据的引用,进行分析

  当行情数据的时序错乱,主时间链自动检测并过滤错误数据

  (2) 性能优化

  提高系统吞吐量,扫描全市场数据,消除堵塞

  优化内部流程,降低单笔数据延迟,快速响应

  支持公用指标,消除重复计算,在模型中直接引用即可

  (3) 可扩展性

  设计可插拔式架构,方便添加并管理模型

  通过“智能路由”模式,同时输出多路操作,自动负载均衡

  当数据量超过极限,增加系统部署,监控不同代码,规模可扩展

  (三)智能路由系统(云柜台)

  为满足证券行业日益增长的客户需求,建设了“智能路由系统”云柜台,在交易品种多元化、应用流程统一化、客户处理标准化方面,达到国内领先的水平。

  “智能路由系统”是连接后台各交易柜台的单一通道,在券商的公司级IT架构设计中占有重要地位。为提供统一的交易云服务,设计开发了“智能路由系统”。自主设计了基于FIX的一对多柜台的协议,屏蔽了各交易柜台的异构性,提供了多种编程语言的开发包,打破了柜台厂商对交易接口的垄断。使用了规则引擎技术,将协议、数据与程序代码完全剥离。在研发中采用了测试驱动模式,简化了开发流程,所有测试都完全自动进行,将错误概率降到最低。

  项目目标为:

  提供交易云服务,提供简单易用的一对多柜台分仓服务;

  使用面向对象风格的编程SDK,屏蔽通信层和其他技术细节;

  基于FIX协议设计了跨语言(Java/Matlab/REST)的统一接入协议;

  研发监控系统,对系统管理员、交易客户和公司领导提供详尽数据,打造闭环的云平台。

  以下详细介绍智能路由系统的功能组件。

  1、统一接入协议

  目前各券商使用的柜台基本都由厂商开发和垄断,对外提供的服务接口均使用厂商的专有协议。在互联网金融普及的背景下,该模式已经体现了极大的局限性。

  为设计新一代的交易技术,我们仔细对比了各交易柜台接口的差异性。通过数据分析,我们认为各柜台的主要接口可以合并为相同的虚拟接口。

  基于这种理念,我们进行了以下工作,完成了对自主知识产权的统一接入协议的设计,从而基本上屏蔽柜台的异构性:

  将各柜台的接口协议进行功能抽象,提出全新的标准定义

  基于FIX标准,设计跨柜台的一对多同构协议,完成到各柜台接口的映射

  确保大部分必需参数含义对各系统相同,避免歧义

  简化删除可选参数,最大程度降低开发难度。

  对各柜台使用的数据字典和错误代码进行规范化处理

  提供标准的测试功能,并进行自动和人工验证,保证正确性

  目前提供了用于现货/期货交易的基本功能,将逐步扩展至期权、融资融券等领域。

  2、智能路由网关

  网关是智能路由系统的核心,对客户提供了单一界面,实现了不同协议之间的自动转换和路由分发,达到了智能路由的效果,是在互联网模式下建设交易云的主要模块。

  网关使用规则引擎,实现了统一接入协议的解析和转换,屏蔽了不同柜台的差异性。

  网关主要完成以下操作:

  接收客户SDK发送的请求,

  将统一接入协议的入参自动翻译成各柜台的异构协议,

  调用各柜台的原生接口,发送至相应目的系统,

  接收柜台出参,转换为统一接入协议的出参

  向客户SDK返回应答数据

  3、多语言SDK

  多语言SDK是客户开发交易系统的主要工具。根据对客户群体和应用需求的调研,为便于大多数客户,基于互联网思维,提供“傻瓜相机”的用户体验,将开发难度降到最低,让客户轻松开发交易系统。

  基于统一接入协议的多语言SDK具有以下特性:

  提供简单易用的SDK,和智能路由网关进行通信

  目前已支持Java/Matlab/REST版,将提供C++版

  以Java版SDK为基础,开发Matlab版SDK和REST服务器

  使用面向对象设计,简化编程接口API,屏蔽通讯层和不必要的细节

  提供了标准数据模版和Demo,便于客户开发

  提供自动化测试工具,可进行全流程测试

  4、模拟柜台

  为更好地进行自动化测试,开发了模拟柜台,可以响应标准请求,可用于测试驱动开发的挡板功能。

  在自动化流程测试中,模拟柜台完成如下工作:

  接受智能路由网关传入的统一接入协议的请求

  根据入参,在标准数据模版的用例中自动匹配

  如果匹配成功,返回相应出参,否则返回错误

  5、监控系统

  对各常规柜台,其接收功能请求后,只能记录到日志文件中。为突破该模式的局限性,便于运维管理和系统接口,智能路由系统中新增监控系统。其记录了整个系统的状态信息并对外提供,并将逐步对外提供控制接口,使客户和系统的交互形成闭环,是打造互联网时代交易云服务的重要组成部分。

  智能路由网关在接收客户请求后,根据预设规则对输入、输出参数进行筛选,将指定部分发送到专用的监控服务器,实时存储到专门设计的高效数据仓库以供后继分析。

  内外部客户可进行多维度的统计分析,并可用于性能监控、业务分析、实时风控等领域。

  (四)多策略盈亏清算云平台

  在基金行业中,越来越流行多策略和多投顾模式(投顾是各子策略的实际操作人员,即投资经理)。使用此类模式,可以更灵活地分配资金,更有效地达到长期稳定盈利的投资目标。

  在基金的实际运营中,每个账户经常采用多策略模式进行交易。为了更好地保障账户的交易,需要对接多种数据源,区别并分析各策略和投顾的绩效。

  1、数据引擎

  在实际应用中,数据引擎是多策略盈亏清算系统的输入模块:

  导入参考信息:查询账户的静态属性和关联信息

  对接外部报表:自动接收托管机构的邮件,下载绩效文件

  对接内部数据:接收交易日志

  2、分析引擎

  在多策略盈亏清算系统的具体实现中,实现了以下要点:

  (1) 解析绩效数据

  自动从邮件中下载绩效文件后,对其中的报表信息进行解析,扫描持仓、成交等数据。

  (2) 区分策略盈亏

  根据各策略的持仓和成交信息,计算每日盈亏。

  (3) 账户盈亏核对

  按预定义规则,对比账户总盈亏和各子策略盈亏,查询是否有不一致处,如遗漏的成交信息。

  3、绩效报表根据不同维度,提供多视角的绩效报表:

  账户盈亏图表:对每个账户的盈亏生成报表

  策略盈亏分解:将账户盈亏分解到不同子策略

  组合盈亏合并:根据“子策略-组合”、“账户-组合”、“投顾-组合”等多种模式,生成组合绩效。

  四、应用领域

  证券市场竞争激烈,技术日新月异,需求升级很快。为达到覆盖证券市场的投研清算全流程的目的,需要在云平台中加入大数据和人工智能分析的功能。

  (一)监管机构

  作为证券市场的核心主体,交易所等监管机构行使了国家赋予的职责,为保障市场的有序允许提供了最大的支持,而高新技术是最好的支撑力量。

  在应用新技术方面,交易所历来都是先锋力量。在使用大数据的技术领域,已有很多成功案例。

  1、整体背景

  由于数据挖掘能力的提升,交易所整合了文本和账户数据,重塑了整体流程,极大地提高了监管效率,已建立具有实时智能化和联动检测功能的监控体系。

  在实际应用中,大数据平台和市场监察平台是研发的重中之重。而其业务特性开发技术方面都存在较大的相似性,如果能够较好地贯通体系结构,整合资源和人才,可以更好的提高研发效率,降低整体TCO成本,发挥更大左右。

  2 、大数据存储和分析

  世界上主流的交易所里,均建设了自有知识产权的大数据平台,并可基于其深度信息,对市场提供更有效的增值服务,这已经成为未来的发展趋势。

  通过建设自有大数据平台,可以为市场监察等典型内部应用场景提供以下服务:

  整合各类数据,提供共享资源,解决数据孤岛问题,降低开发难度和成本

  优化分析模型,并提高信息采集的速度和时效性,利于人工智能分析

  改进的总体架构,可供监察系统参考,降低项目难度

  3、在线市场监察

  随着证券市场中行为特征的快速变化,监管机构面临新的挑战,为不断完善智能分析功能、提高实时分析效率,对在线监察的需求提上了日程。

  通过建设在线市场监察平台,可以为市场监察等典型内部应用场景提供以下服务:

  更有效地对所有证券及衍生品的业务进行监管

  应用新技术架构,优化技术指标,为今后系统升级预留空间

  定义相关的监控指标和分析模型,以便后继研究

  (二)买方机构

  近年来,全球经济在经历了大型金融危机和多次股灾危机的洗礼,在步履蹒跚中艰难前行。在此期间,量化投资得到了很大的发展。据估计,全球资产管理行业中有25~30%的资金通过量化方式来管理,中国资产管理行业也在和世界同行的快速接轨中,量化投资业务得到了快速的推广和普及。

  1、行业背景

  在技术革新的浪潮中,交易模式得到了很大的发展,硬件、软件与策略共同构成了量化投资的基础。多元化的交易策略极大地扩展了量化投资领域。随着经济和市场的复苏,美国和中国股市先后发生了较大的起伏,投资者对稳定可靠的量化投资的需求进一步增强。

  2、业界需求

  在金融投资领域,计算机硬件和网络设备发生了巨大改变。结合数理建模分析软件和多维度的金融数据,产生了人工智能应用的最佳沃土。目前人工智能在投资三阶段(数据信息识别、资产定价和风险管理)都有渗透,其应用主要集中在短期预测、多因子组合投资、和价格特征信息识别,用到的技术包括机器学习、大数据挖掘和异常检测等。

  为更好的服务买方需求,需要以下云化的服务功能,以更好的适应量化投资的需求:

  大数据云平台,存储格式统一的历史/实时行情大数据,是整个基础架构的重中之重;

  智能分析平台,用人工智能技术分析行情大数据,提炼人工智能模型,是系统的核心;

  实时分析系统:实时处理高频行情大数据,以最快速度作出反应

  (三)卖方机构

  随着市场环境的重大变化,证券公司的业务模式有了长足的发展,对属于传统软件的证券柜台提出了新的需求。既要支持自营、资管等公司内部门的境内外投资业务,又要对经纪业务的客户提供全业务覆盖。

  1、行业背景

  随着买方机构的专业化分工,[4]证券公司推出了PB业务(Prime Broker),即主经纪商业务,向专业机构投资者和高净值客户等提供集中托管清算、后台运营、研究支持、杠杆融资、证券拆借、资金募集等一站式综合金融服务。PB业务能够帮助基金管理人从琐碎的技术和运营细节中解放出来,让他们有更多的时间和精力集中在交易策略上。

  2、业界需求随着证券行业的改革深化和PB业务的推广,卖方技术系统的服务云化已成为主流趋势。在实际应用中,证券软件系统可以提供以下云化的服务功能:

  智能路由系统:接收标准模式的指令(分析、交易),并智能执行。

  盈亏清算平台:自动清算各账户盈亏,分析多策略的绩效,是整个PB系统里投后服务的核心。

  证券市场云平台的建设,可以为监管机构、买方服务、卖方服务等领域提供更多地创新服务,降低新业务开展的成本,推进市场变革,并逐步达到“智能云平台”的效果。

相关链接:

作者:何昱、李知明 来源:上交所技术服务 发布时间:2017-11-30 08:45:54
 
 
  我要发表留言  查看所有评论
 

*
 限制字数显示剩余字数,最大长度: 500 还剩: 500
用户名:
       尊重网上道德,承担一切因您的行为而直接或间接导致的民事或刑事法律责任