数据交换平台的设计方案,架构方案,总体建设思路整体解决方案目录2平台简介功能介绍典型案例三二一平台简介3总体目标:提供企业级复杂环境下异构信息系统间数据共享、集成、融合的整体解决方案总部子公司系统B…系统A子公司系统B…系统A…子公司系统B…系统A1.系统间文件传输2.数据库数据抽取、转换、装载3.系统间高频消息通信4.数据库准实时同步复制5.应用接口服务注册、转换、编排、管理平台简介4海迅数据交换平台简介海迅数据交换平台(HSP-EXG)旨在提供复杂环境下、异构系统间企业数据孤岛问题的一体化解决方案。平台集合了业内主流的数据交换产品功能,提供ETL、ESB、MQ、文件传输、数据库同步复制等产品的整体功能实现,各组件能够按照需求组合或裁剪,从而一次性满足中大型企业各类型数据集成共享需求,并进行统一的数据交换监测与管理。平台主要包括五大子系统:批量数据总线子系统(HSP-EXG-ETL)作为中间件实现将数据从源端经过抽取、转换、加载至目的端,主要提供系统间基于文件的交换功能以及数据库间的批量数据交换功能。支持TB级文件交换,GB级数据库数据交换。即时数据总线子系统(HSP-EXG-MQ)实现了满足JMS1.1规范面向系统间消息型数据交换的中间件,用于在应用程序之间或分布式系统中互发消息,进行高效异步通信,一般用作企业级数据集成通信总线。支持30000条/秒的高频度点对点、一对多消息通信。数据库同步复制子系统(HSP-EXG-Sync)实现基于数据库日志的同步复制功能,主要用于oracle数据库的主备式灾备、读写分离、数据迁移。系统保障数据的事务性,支持秒级数据库准实时同步。服务集成总线子系统(HSP-EXG-ESB)基于SOA思想,实现对企业接口服务的协议转换、注册/发布、编排、管理,帮助企业对繁杂的应用服务接口进行统一标准、分类管理、集成共享。统一监测子系统(HSP-EXG-MS)对平台各组件提供统一的可视化状态监测、统计分析、告警、报表导出等功能。以全局视图方式展示企业数据集成情况以及数据流向。SG-UEP一期成果介绍5上级单位下级单位协同办公…营销系统协同办公…营销系统ERPERP数据中心数据中心SG-UEPSG-UEP横向数据交换横向数据交换纵向数据交换统一监测SG-UEP两级部署批量消息同步服务批量消息同步服务典型解决方案平台简介6整体功能架构平台简介7技术特点分布式高可靠文件传输;数据库数据抽取、转换、传输、装载;基于数据库日志的低延迟、低影响同步复制;高性能分布式企业级消息中间件;面向服务的企业级服务集成总线。客户价值一体化企业数据交换解决方案;统一企业业务系统数据交换标准;简化应用集成技术复杂度;集中管理与共享企业接口服务资产;提高企业应用集成共享水平;目录8平台简介功能介绍典型案例三二一功能介绍91、批量数据总线子系统介绍批量数据总线子系统(HSP-EXG-ETL)主要实现将批量数据从源端经过抽取、转换、加载至目标端的功能,主要提供系统间基于文件的交换功能以及数据库间的数据交换功能。系统支持对oracle、mysql、db2等主流数据以及excel等常见文件的数据抽取,在交换过程中可以对数据进行合并、拆分、转换、筛选、过滤等处理。批量总线子系统可以单机部署,为局域网第三方应用系统提供批量数据交换服务,也可以随平台进行分布式部署,交换节点部署于企业多个上下级部门,贯穿组网形成通信网络,为企业提供横纵向批量数据交换服务。应用程序第三方系统(源端)数据库文件应用程序第三方系统(目标端)数据库文件交换节点交换节点交换节点批量数据总线(单机/组网)数据库抽取FTP文件抽取数据库装载FTP文件推送数据传输功能介绍10运行原理批量数据总线子系统(HSP-EXG-ETL)由引擎节点、管理服务器、管理工具、集成接口组成,主要完成两大类工作:面向文件的分布式高可靠路由分发传输;面向数据库的数据抽取、转换、传输、装载。管理服务器对多个引擎节点进行管理,用户通过管理工具连接到管理服务器进行图形化开发管理,管理服务器将用户开发的服务/流程下发到涉及的引擎。引擎分布式部署在不同机器上,他们按照服务/流程信息相互协作对数据在各节点上进行抽取、转换、传输、装载等处理以完成数据交换任务...