• 海量數據高效檢索解決方案

    1. 背景

    隨著大數據的迅猛發展,數據資源以海量、多樣的形式迎面撲來,企業越來越認識到大數據的重要性,開始對公司的數據資源進行整合、利用。但由于企業對于這些資源的IT系統建設多樣,導致所產生的數據格式不一,規模巨大,存儲方式各異,所以如何將價值數據從多樣的存儲數據庫中檢索出來,統計分析出有價值、有意義的信息和規律成為問題關鍵,而對于大多數企業來說,其對于大數據的檢索效率達不到大數據的發展要求,甚至是企業需求,對大數據高效檢索有待解決。

    2. 面臨問題

    目前企業在大數據的檢索方面主要面臨如下問題:

    信息孤島

    一堆堆大數據僅能為企業提供基本需求,不能與產業互聯網的業務邏輯和商業邏輯高效結合,成為無法流動的一個個信息孤島。

    檢索統一化精準度低、反饋速度慢

    由于數據的海量及多源異構問題,傳統的關系型數據庫查詢引擎和文件系統無法直接完成對數據資源的高精度、統一檢索,對于檢索的反饋速度較慢,實時性較差。

    多種數據源并行檢索效率低

    目前,數據資源的存儲系統種類較多,一個企業可能涉及到多類型的數據庫的管理,而對于這些多樣式的數據源進行并行檢索,難度系數較大,較難做到高效、并行檢索。

    在線擴展性能低

    目前對大數據的檢索,很難滿足系統的硬件等資源的在線擴展,對于完成整個系統性能的提升具有一定難度。

    3. 解決方案

    賽思針對目前大數據行業的檢索問題,設計了賽思一體化檢索引擎。該引擎基于MPP架構的數據查詢,采用賽思iDriller海量文件實時處理系統的核心技術,后端支持與各種數據源的對接,具備對大規模數據的高效率檢索功能,前端通過標準結構與協議支撐各種業務應用。引擎主要設計查詢規劃、緩存、引擎調度及元數據調度四個功能模塊,支持快速、高并發式的、交互式SQL查詢分析;兼容Hadoop存儲平臺,提供標準的SQL 、ODBC接口和JDBC接口,可與多種類型數據源進行對接;支持在線性能擴展。賽思一體化檢索引擎方案的邏輯架構圖,如下圖所示:

    賽思一體化檢索引擎系統,包括4個主要模塊:

    查詢規劃模塊

    主要接收前端業務系統交付的查詢任務,并制定查詢策略,包括需要調用的引擎、緩存的分配、元數據信息的訪問等一系列的規則。規則可實現分組聚合、多表關聯、全文檢索、精確檢索、模糊檢索等快速、高并發式的、交互式SQL查詢分析等多樣式檢索方式。

    緩存模塊

    在查詢過程中緩存歷史、結果等數據內容,用戶可以指定需要緩存結果集的查詢語句,配置結果集緩存所使用的內存大小,以提高查詢的速度和效率。

    引擎調度模塊

    負責調度查詢引擎,將查詢任務分配到各個引擎,以及各引擎、節點之間的協調工作。

    元數據調度模塊

    負責整個系統中對元數據的管理。該模塊設計多種數據庫接口,如傳統關系型數據庫Oracle、NoSQL,SQL on Hadoop框架下的Hive、Impala及全文檢索引擎Sphinx、Lucene等全文檢索引擎等多類型數據存儲系統接口,以保證對多種類型數據源進行調度。

    4. 應用效果

    對異構數據統一檢索

    滿足用戶對傳統關系型數據庫表內容查詢,支持對管理非結構化數據的數據倉庫引擎的統一檢索,此外,還支持對文本數據類型的全文檢索。

    多種數據源同時接入

    支持傳統關系型數據庫、Hadoop環境下數據查詢引擎及全文檢索引擎的接入,并且可以由上層統一對多個數據源同時進行檢索。

    高效率查詢性能

    在數據量級高達數十億、甚至百億以上時,檢索性能遠超傳統關系型數據庫,在數據記錄高達千億規模時,查詢性能仍可實現秒級響應;可并行查詢,充分利用當前多核CPU的并行計算能力,提高系統的可擴展性;此外,通過結果集緩存,將某些查詢結果進行存儲,遇到相似檢索,用戶可直接獲取結果,提升反饋速度。

    在線性能擴展

    用戶可根據業務需求,在線進行節點擴展,通過擴展硬件資源,完成整個系統性能和資源的提升,有效降低用戶在建設初期的資本投入。

    賽思一體化檢索引擎,能夠屏蔽底層物理技術架構特性,實現在大數據混存情況下的跨平臺、多樣式高效檢索,提升以檢索精準度為基礎的檢索速率,解決了目前所存在的檢索效率低、在線擴展難的問題,夯實了檢索的質與速的基礎,使大數據不再形成孤島,真正做到“大數據變現”,為企業決策提供支持。

    總部電話:86-010-82270056   傳真:86-010-82075018

    總部地址:北京市朝陽區霞光里8號承冀誠大廈二層

    技術培訓

    大數據課程

    工信部認證

    人力資源服務

    關于賽思信安

    招賢納士

    聯系我們

    手机在线看片1024免费