大數據集成系統

産品概述

大數據集成系統是巨龍信息以20年(nián)的(de)數據整合治理(lǐ)實踐為(w算飛èi)基礎，采用分布式并行計(jì)算(suàn)架構自(zì)主研發的(de)大數據ETL集很風成系統，具備高(gāo)吞吐、高(gāo)可用、高(gāo)擴展特性，支持主流雲平從但台、數據庫、文(wén)件(jiàn)、消息對(duì)接、接口等數十種異構數據源，內(n小金èi)置上(shàng)百種數據處理(lǐ)組件(jiàn)和(hé)函數，為(wèi現音)海(hǎi)量異構數據的(de)超大規模飛匠數據倉庫建設提供抽取、清洗、整合、入庫等化習集成業(yè)務，消除數據孤島，加快數據變現(xiàn)，實現(xiàn)數字化(huà)轉型書兒。

産品亮(liàng)點

		海(hǎi)納百川，數據源适配廣泛 支持市(shì)面上(shàng)主流的(de)雲平台；支持涵蓋OldSQL、NoSQL、Ne上內wSQL的(de)各類數據庫；支持文(w下東én)件(jiàn)自(zì)動下(xià)載 解壓、解密處理(lǐ)；支持消息隊列實時(sh年學í)數據消費(fèi)；支持WebServi大習ce接口對(duì)接配置。
		無代碼開(kāi)發，組件(jiàn)開(kāi紅劇)箱即用 內(nèi)置上(shàng)百個(gè)組件(jiàn費用)和(hé)上(shàng)百個(gè)公子家式，開(kāi)箱即用；支持第三方按照(zhào)組件(jiàn)開(kāi)發标準定制業(yè)間裡務性組件(jiàn)。
		高(gāo)吞吐處理(lǐ)能力，支撐百億數據處理(讀筆lǐ) 采用多線程處理(lǐ)算(suàn)法，高(gāo)效的(de)內討費(nèi)存利用率；可拓展形成100節點以上(shàng)集群、任務運行錢放過程無需本地(dì)磁 盤IO操作(zuò)，提升整體(tǐ)單位時(shí)間(jiān)的(d哥的e)大批量處理(lǐ)能力；支持TB/h級的(de)大數據集成業(yè)務性能。
		“火眼金(jīn)睛”，全方位實時(shí)監控 支持對(duì)系統運行環境（如調度引擎、執行引擎）和(hé)流程作(zuò)業(yè)業(yè)大頻務的(de)實時(shí)狀态監控，通(tōng)過圖形可視(shì)化冷木(huà)的(de) 方式展現(xiàn)監控結果，極大舞美降低(dī)了系統日(rì)常的(de)維護新頻成本。
		“縱橫”架構融合，運行持續穩定 并行架構提升單機(jī)處理(lǐ)能力的(de)縱向線性擴展；分布事金式架構提升多機(jī)處理(lǐ)能力的(de)橫向線性擴展；支持 執行引擎快會看速部署及自(zì)動識别；支持資源調度中心雙活模式；月地支持執行引擎宕機(jī)自(zì)動識别和(hé)任務轉移；支持引擎集群管理(lǐ)節行睡點自(zì)動競選，确保系統穩定運行，任務執行不脫校聽機(jī)。
		自(zì)動容錯(cuò)，異常數據分流物司 采用異常數據分流機(jī)制，在不影響正常會在流程的(de)情況下(xià)，自(zì)動将ETL處子可理(lǐ)過程中出現(xiàn)的(de)異常數據轉儲 到指定位置，保證數據不丢失麗很。在任務分發和(hé)執行的(de)過程中，感知引擎狀态，自(zì吃問)動将異常設備的(de)任務 轉移到正常設備上(shàng)重新執行，保證了任務執行高(g窗房āo)可用。
		以點帶面，知識賦能 支持一鍵生(shēng)成數據處理(lǐ)模闆，結合特有(議謝yǒu)的(de)環節分組及批注功能，實現(x海到iàn)專業(yè)人(rén)員(yu近少án)知識沉澱，滴灌賦能執行人(rén)員(yuán)司雜，以點帶面，形成知識輻射。

應用案例

大數據集成系統已經服務政府、政數局、水(sh唱音uǐ)利廳、财政廳、海(hǎi)關總署、公安廳/局等多個(gè)用戶部門，累計(jì)支自熱撐2萬+數據處理(lǐ)方案的(de)穩定運行就知，共處理(lǐ)數據已達P級，用戶遍及廣東、天津、福建、安徽、甘肅、湖(hú)南、內(nèi)蒙古這內、青海(hǎi) 等省份，其中天津某行局配置管理(lǐ)2000個(gè)大唱媽數據ETL作(zuò)業(yè)，完成約600億數據抽取、山時整合行務，當前運行穩定；福建某大數據治理(lǐ)項目采房吧用混合異構數據庫模式，分别與騰訊雲、阿裏雲ODPS、Gbase 8a、億榕文(wén)件(j知謝iàn)存儲等大數據庫完成适配。