本文源自：南早網
過去多年，中國資訊產業被認為“缺芯少魂”，晶片、作業系統等核心技術依賴進口，基礎軟體市場更是被外資壟斷。根據華西證券研究報告顯示，中國三大基礎軟體領域中，作業系統、資料庫、中介軟體市場外資佔比分別為 92。9％、64。8％ 和 51。1％。可以說，整個基礎軟體行業現狀令人擔憂。
為改變這種現狀，夯實數字經濟“底座”和確保國家資訊網路安全，IT 基礎設施國產化替代勢在必行。國家層面從“十四五”開始，重點關注信創產業的國產化程度，實現自主研發和自主可控，構建打破以美國為首封鎖的自主創新技術體系。
然而，國內大部分基礎軟體的研發還是基於開源的資料庫技術，或部分開源的功能方案。這種做法，依舊是在別人的地基上蓋房子，存在極大的不確定性和不穩定性。星環科技透過自主研發，逐步以自研技術取代了開源技術，星環科技大資料基礎平臺Transwarp Data Hub（以下簡稱 TDH ） 也因此成為目前市場上少數自主研發的國產大資料平臺。
根據工信部電子第五研究所程式碼掃描測試報告，TDH 的 1200 萬行程式碼裡自研程式碼率超過 70％，另一款分散式資料庫產品 ArgoDB 的程式碼自主率（行數）則超過 90％。TDH平臺成功實現了大資料基礎軟體的國產替代，在政府、金融、能源、製造業等十多個行業內落地，支撐如金融風控與營銷、智慧製造、城市大腦、智慧交通等多種核心行業應用。
本文將結合某農商行從傳統 Oracle 資料庫向大資料管理平臺平滑遷移的實踐案例，介紹遷移之後效率的提升和主要功能實現。
星環 TDH 替換 Oracle，資料服務能力及處理效率得到10 倍提升
某農商行為了更快速地享受數字化果實，選擇與大資料領軍企業星環科技合作，希望藉助星環科技在大資料、人工智慧領域的技術實力，搭建一套處理能力更強，更易於擴充套件，效能更高的統一資料平臺。本次合作中，基於星環 TDH 建設的大資料平臺 ODS，為某農商行構建了全行資料基礎平臺，實現了該農商行從傳統 Oracle 資料庫向大資料管理平臺平滑遷移，資料服務能力及處理效率得到了將近 10 倍的提升。並透過大屏展示專案建設，實現了資料視覺化。
星環憑藉業內領先的大資料、人工智慧技術，結合同業最佳實踐及該農商銀行現狀，基於星環大資料基礎平臺 TDH 為該農商行搭建大資料平臺 ODS，實現了批次處理平臺、實時處理平臺、歷史資料查詢平臺、 ODS 排程監控功能四個主要功能。
一、批次處理平臺
本次專案接入的業務系統涉及卡對賬平臺、貸記卡系統、渠道整合平臺、手機銀行、CRM 對公系統、CRM 對私系統等數十個業務系統，每個平臺有數百張表資料，資料量非常龐大，而隨著業務的增長，資料量還在爆發式增長，該農商行原有的傳統 Oracle 資料庫處理效率已經跟不上業務發展。針對該農商行的需求，星環科技基於關係型分析引擎 Transwarp Inceptor 搭建了批處理平臺，該平臺可以實現處理效率的 10 倍提升。
Transwarp Inceptor 是星環自主研發的一款用於批處理和資料倉庫的關係型分析引擎。它支援SQL 2003標準、Oracle PL/SQL以及DB2 SQL PL，對 Oracle、DB2 以及 Teradata 也有很好的方言支援。Inceptor 的另一大優勢是對 ACID 的支援，可以滿足使用者對資料處理中一致性和可靠性保障的需求。此外，Inceptor 擁有極為優異的大資料分析效能，比 Apache Hadoop 處理速度快 10 倍以上，比MPP處理速度快 5 倍以上，在 TPC-DS 和 TPC-H基準測試中也勝於其他 Hadoop 和 MPP 產品。目前，Inceptor 被廣泛地應用於資料倉庫和資料集市的構建，在中國，已經有超過500 家客戶在 Inceptor 上建立了他們自己的商業應用。
二、實時處理平臺
由於銀行業務的特殊性，使得它對資料處理時效性的要求也越來越高。比如：實時交易反欺詐業務，需要對客戶交易行為進行實時分析，進而根據風險級別對客戶資金交易進行預警或者阻斷，保障客戶資金安全；實時營銷業務，需要實時採集客戶各渠道行為資訊，然而結合推薦模型，採取事件式實時營銷；而線上業務實時監測業務，尤其是線上信貸業務，自動化審批流程替代了傳統的人工審批，對後臺的實時監測、分析、預警提出了更高的要求。
基於星環實時流計算引擎 SlipStream 搭建的實時資料採集平臺可以滿足該農商行對實施處理平臺的所有需求。目前實現三個內容：監控大屏查詢功能，部分 ODS 表實時落地，配合 BI 專案進行部分表的加工。
相對於採用程式設計的方式開發流應用，採用星環 Slipstream 具有以下優勢：
1。 微批模式和事件驅動模式的一體化，在同一套系統裡，使用者可以根據業務需求，靈活切換微批模式的流處理和事件驅動模式的流處理；
2。 極高的易用性，以往的流處理平臺有較高的入門門檻，比如 Spark Stream，Storm，必須對框架以及流處理本身，甚至是底層技術比較熟悉的情況下，才能寫出高效的流處理程式。而使用 Slipstream，使用者只需要有編寫普通 SQL 的經驗，就可以寫出高效、安全、穩定的流處理應用；
3。 效能提升，在一些條件下，採用Slipstream的方式甚至比程式設計方式獲得更高的效能提升。這是因為 Slipstream 做了一些特殊最佳化，在程式設計模式下無法輕易實現。比如，多條針對用一個輸入流的 SQL 只需讀取一份資料：增加迭代框架，使得原本無法利用 Spark API 進行最佳化的迭代計算效率大大提升；
4。 遷移成本低，使用者原有的業務邏輯很多是透過 SQL 實現的，如果透過程式設計的方式遷移到流上，遷移成本非常高，還不能保證遷移後的邏輯是否正確。而一旦採用 Slistream 的方式，使用者只需要修改少量 SQL，遷移成本幾乎接近零。
三、歷史資料查詢平臺
經過數年的發展，該農商行已經基本形成了客戶歷史交易資料查詢體系，但隨著業務的增長，傳統 Oracle 資料庫對使用者需求響應的時效性、效率低等缺陷越來越明顯。針對傳統資料庫查詢效率較低、工作量較大的實際情況，基於星環 ArgoDB 搭建的歷史資料查詢平臺可以解決上述問題。 Transwarp ArgoDB 分散式快閃記憶體資料庫藉助快閃記憶體在吞吐量方面的巨大的優勢，快閃記憶體+ArgoDB的組合可以取代多種架構和多款產品共存的局面，在一套產品裡就可以同時應對使用者的多個需求。
目前該平臺可以為該農商行提供如下功能：
1。 銀行歷史資料採集、儲存、處理功能；
2。 介面開發功能，可開發新增服務介面；
3。 對提供歷史資料管理和歸檔功能，歷史資料區進行詳細規劃，給出不同熱度資料的管理方案，實現資料的全生命週期管理。
目前該平臺可以滿足支援該農商行行內現有包括櫃面、查控平臺、信用卡等系統的歷史資料查詢需求，公檢法查詢需求、審計查詢需求以及其他歷史交易資料查詢。
四、ODS 排程監控功能
針對該農商行的需求，星環採用 Moia 排程工具，主要為 J2EE 相關技術以及 Oracle 資料庫相關技術實現ODS 排程監控功能，為各層的資料加工層與層間的資料轉移進行服務，提供排程和監控等內容。
基於星環大資料 Slipstream +事件儲存庫，和 IBM 的 CDC ，農商行打造了實時的資料入庫和分析的大屏展示系統。以此來解決農商銀行資料實時接收，分析和展示的問題。
傳統關係型資料庫流式資料處理能力缺失，而星環 Slipstream利用大資料實時流處理技術，實時統計分析使用者的活動行為資訊，改進業務質量和產品的服務水平，提高使用者體驗，並對生產業務系統的實時監控分析，實時發現大量的運維風險，實現主動智慧運維，保障資訊系統的穩定運作。
Transwarp Slipstream 是在事件驅動計算引擎上支援批處理等複雜程式設計模型的實時流計算引擎，計算延遲最低可至5ms。它支援 SQL 2003、儲存過程、CEP、規則引擎、流式積分、流式機器學習等複雜程式設計模型，還支援高可用性（CEP）和 Exactly-Once的語義，從而支援7×24小時的生產業務。
該系統實現了客戶關於核心資料實時同步，及實時增刪改查的需求，並將落入大資料叢集的表，進行實時的計算處理，將結果插入至結果表，然後將結果表的資料展示至大屏，實現客戶關於資料實時入庫，轉化，展現的需求。
目前，在星環科技的助力下，透過引進業內領先的大資料平臺軟體 TDH 結合同業最佳實踐及該農商銀行現狀，該農商上已經成功構建符合未來業務發展需求的大資料平臺，實現了結構化、半結構化、非結構化資料集中採集、儲存、加工、分析和應用，形成行內外基礎資料體系，給經營分析、風險防控、營銷管理等業務提供全方位支撐。
開啟App看更多精彩內容