银行实时生产数据采集

日期:2018-10-28 / 人气: / 来源:未知

随着大数据时代的到来,银行经营将会发生深刻变化,其中最根本的变化,就是银行功能正在从过去的资金中介逐步向信息中介转变,由过去单一的存贷汇服务向信息提供者、业务撮合者、财富管理者转变,从而导致依靠“鼠标+水泥”和存贷利差的传统银行经营模式消失,银行既可以融资也可以融智,传统银行业的基本功能将会为新的金融服务所替代。

银行实时生产数据采集系统

互联网技术革命让商业银行进入一个重要的转折点,从过去的支付和融资中介向综合化信息中介服务转变,信息是银行发展的深层基础和根本,能不能在未来竞争中保持优势,关键在于能不能成为信息掌握的强者,并采取措施通过大数据技术重新发展和铸造新的金融经济关系。

有人曾把大数据比作“新时代的石油”大数据对于商业银行尤其是中小商业银行的价值是不言而喻的。但是对银行的数据驾驭能力提出了全新的挑战。银行不仅要收集来自网点、信贷等传统渠道的结构化数据,还要收集来自物联网、互联网的各类非结构化数据,甚至还要与历史数据对照。在数据存储方面,要达到低成本、低能耗、高可靠性目标,要用到分布式和云计算技术,这是很多银行所欠缺的。有的数据涉及上百个参数,难以用传统的方法描述与度量,处理的复杂度相当大,如客服录音数据等。利用“大数据”的能力将成为决定银行竞争力的关键因素。

近年来,随着直销银行与消费金融这一新型业态在国内的迅猛发展,互联网金融客户数与交易量呈几何级数增长。各家银行纷纷建立自己的反欺诈风控平台。一个完善的风控机制必须有足够的数据源,全量数据采集为大数据分析提供了充足的数据样本。所以数据采集的重要性日益凸显。

银行实时生产数据采集系统主要服务于银行金融大数据分析平台,对实时性要求高,需要提供自动化的数据关联与业务解析。整套系统分为探针实时数据采集和日志数据采集两部分。其中日志采集系统,从安全设备收集相应的日志和MIB信息,经过简单处理后进入到kafka缓存队列中。探针系统则提供底层全量网络数据采集,为流量分析、网络安全、交易监控提供素材:

银行专用硬探针采用旁路采集数据,支持实时可扩展功能分析:采用实时下载/更新业务规则,解析业务流程辨识规则更新及关联,可产生各个业务流程及相关参数,对新业务及广域业务DPI如手机银行可以进行深度DPI及业务解码、分析及流程关联。

硬探针具有多个千兆输入端口,扩展支持4-12个万兆Combo接口,可以同时兼顾网络流量和交易生产数据的实时采集、解析与关联。支持10Gbps~40Gbps(按配置)流量实时处理、输出解析完的业务及流量信息及数据。

与过去在服务器安装Agent的软采集方式相比,探针硬采优势明显:非侵入式的部署方式,无需在银行服务器及交易主机部署监测软件;采用TAP流量复制或交换机数据端口镜像,实时复制采集全部生产区域的数据流,汇聚到探针端口进行交易及业务流转解析及关联。探针系统与生产主机采用并行的方式部署,探针可靠性不会对生产主机的可靠性造成影响。

非侵入式部署的优势:

1、全网采集、多层面数据采集、解析、对业务网络无干扰;
2、快速适应银行不断变化的业务需求,及时响应;
3、未来扩展到管理网效率高、成本低;
4、探针工作稳定性和长期运行可靠性高, 轻松应对系统后续扩容;
5、大流量综合分析(多层面Lay1~Lay7)可与大数据的结合进行统一数据分析。

在交换机节点布置数据采集节点时,在交换机性能许可下,建议尽量采用交换机端口镜像复制汇聚到采集端口,导引到信息采集汇聚交换机,所有信息经汇聚到汇聚交换机输出端口,输出到硬探针设备。在少数交换机无法进行端口镜像复制,建议装入TAP设备复制。一般采用1:2或者1:3 TAP复制分路,数据经复制端口输出后,接入信息采集汇聚交换机,再接入到探针的输入口。

实时 生产数据采集系统 上线后,整体数据采集效率大大提升,大部分无效数据在探针解析关联阶段就被剔除。经过清洗的数据通过专用消息接口存入银行大数据平台。平台的分析展现层对数据进行多维度的分析透视,根据客群分析、精准营销、银行反欺诈等不同业务类型建立分析模型。分析结果以图表化、可定制的方式呈现在用户终端或大屏幕上。实现银行网络流量分析、银行设备可用性维护、交易性能监控解析和分析。大数据平台还对接银行报警通道,对潜在风险通过报警通道提前预警。




作者:hzjuxadmin


现在致电 0571-82133796 18967198647 OR 查看更多联系方式 →

Go To Top 回顶部