Openlogic：開放原始碼大數據基礎建設 – 資料儲存、挖掘與視覺化的關鍵技術

大數據基礎建設是指支援收集、管理和分析海量資料的系統（硬件、軟件、網絡元件）和流程。 處理來自多個來源且持續湧入的大量資料的公司，通常仰賴開源大數據框架（如 Hadoop、Spark）、資料庫（如 Cassandra）和串流處理平台（如 Kafka）作為其大數據基礎建設的基石。

本篇文章將探討開源大數據技術堆疊中，資料儲存、處理、挖掘和視覺化等方面常用的技術與方法。

資料儲存與處理（Data Storage and Processing）

大數據儲存的首要目標是妥善儲存海量資料，以供日後分析與使用。 企業需要一個可擴展的架構，以便即時收集、管理和分析龐大的資料集。大數據儲存解決方案旨在應對大型資料集的速度、數量和複雜性挑戰。 這些解決方案包括資料湖、資料倉儲和資料管道，它們可以部署在雲端、本地或異地實體位置（稱為共置儲存）。

• 資料湖（Data Lakes）
  資料湖是一種集中式儲存解決方案，可在沒有大小限制的情況下，以原始格式處理和保護資料。 資料湖支援各種智能分析應用，例如機器學習和資料視覺化。
• 資料倉儲（Data Warehouses）
  資料倉儲將來自不同來源的資料集合成到單一儲存單元，以進行強大的分析、資料探勘、人工智能等應用。 與資料湖不同，資料倉儲採用三層架構來儲存資料。
• 資料管道（Data Pipelines）
  資料管道從一個或多個來源收集原始資料，並可能進行合併和轉換，然後將其傳輸到資料湖或資料倉儲等其他位置。

相關技術

無論資料儲存在何處，任何大數據技術堆疊的核心都是處理框架。 Apache Hadoop 是一個著名的開源範例，它允許跨電腦叢集對大型資料集進行分散式處理。 儘管 Hadoop 已經存在很長時間，但它仍然很流行，尤其適用於非雲端解決方案。 Hadoop 可以與 Hive 或 HBase 等其他開源資料技術無縫整合，以更全面地滿足企業需求。

資料探勘（Data Mining）

資料探勘是指從大型資料集中篩選、排序和分類資料，以揭示模式和關係的過程，幫助企業透過資料分析識別和解決複雜的業務問題。機器學習（ML）、人工智能（AI）和統計分析是資料探勘的關鍵要素，用於仔細檢查、排序和準備資料，以便進行更深入的分析。 先進的機器學習演算法和人工智能工具，使探勘大量資料集變得更加容易，這些資料集包括客戶資料、交易記錄，甚至從感測器、致動器、物聯網設備、流動應用程式和伺服器收集的日誌檔案。

每個資料科學應用程式都需要不同的資料探勘方法。 模式識別和異常檢測是兩個最常見的應用，它們結合了多種技術來探勘資料。以下是一些各行業常用的基本資料探勘技術。

• 關聯規則（Association Rule）
  關聯規則是指建立兩個或多個資料項目之間的關聯和關係的語句。關聯性透過支援度和置信度指標進行評估，其中支援度確定資料項目在資料集中出現的頻率，而置信度則與語句的準確性相關。例如，在追蹤客戶網上購物行為時，觀察到客戶購買咖啡包時通常會購買餅乾。 在這種情況下，關聯規則建立了兩個項目（餅乾和咖啡包）之間的關係，並在客戶將咖啡包添加到購物車時預測未來的購買行為。
• 分類（Classification）
  分類資料探勘技術將資料集中的資料項目分類到不同的類別。例如，可以根據車輛的形狀、車輪類型甚至座位數等屬性，將車輛分為轎車、掀背車、汽油車、柴油車、電動車等不同類別。當新車輛出現時，可以根據識別出的車輛屬性將其歸類到各個類別中。同樣的分類策略可以應用於根據年齡、地址、購買歷史和社會群體等因素對客戶進行分類。
• 分群（Clustering）
  分群資料探勘技術將資料元素分組到具有共同特徵的叢集中。透過識別一個或多個屬性，資料片段會被分群到類別中。常見的分群技術包括 k 平均演算法、階層式分群和高斯混合模型。
• 迴歸（Regression）
  迴歸是一種統計建模技術，它使用先前的觀察結果來預測新的資料值。換句話說，它是一種基於一組定義變數的預測資料值來確定資料元素之間關係的方法。這種分類器稱為「連續值分類器」。
• 序列與路徑分析（Sequence & Path Analysis）
  序列資料探勘可以識別模式，其中特定事件或資料值會導致未來發生其他事件。這種技術適用於長期資料分析，因為序列分析是識別趨勢或某些事件定期發生的關鍵。例如，當客戶購買一件商品時，您可以使用序列模式根據客戶的購買模式推薦或新增其他商品到購物車。
• 神經網絡（Neural Networks）
  神經網絡是指模仿人腦並嘗試複製其活動以完成目標或任務的演算法。它們用於多種模式識別應用程式，這些應用程式通常涉及深度學習技術。神經網絡是先進機器學習研究的成果。
• 預測（Prediction）
  預測資料探勘技術通常用於預測事件的發生，例如機器故障、工業元件故障、欺詐事件或公司利潤超過特定門檻。預測技術與其他探勘方法結合使用，可以幫助分析趨勢、建立關聯和進行模式匹配。透過這種探勘技術，資料探勘者可以分析過去的事件來預測未來的事件。

相關技術

在資料探勘任務方面，Spark、YARN 或 Oozie 等開源技術是使用靈活且強大的 MapReduce 和批處理技術的出色引擎。

資料視覺化（Data Visualization）

資料視覺化是將資訊和資料以圖形方式呈現的技術。透過圖表、圖形和地圖等視覺元素，資料視覺化工具提供了一種淺顯易懂的方式來查看和理解資料中的趨勢、異常值和模式。隨著越來越多的企業依賴大數據來制定關鍵業務決策，視覺化已成為解讀每天產生之海量資料的關鍵工具。

好的資料視覺化能將資料轉化為易於理解的媒介，有效地講述資料背後的故事。它能去除資料中的雜訊，突顯有用的資訊，例如趨勢和異常值。然而，資料視覺化並非只是單純地美化圖表或將資訊堆砌在圖表上。有效的資料視覺化需要在形式和功能之間取得微妙的平衡。樸素的圖表可能因為缺乏吸引力而被忽略，但也可能傳達強而有力的訊息；同樣地，令人驚豔的視覺化作品也可能無法有效傳達正確的訊息，或者反而造成資訊混淆。資料和視覺效果需要相輔相成，將出色的分析與引人入勝的敘事手法結合，才能創造出一門藝術的視覺化作品。

相關技術

Grafana 是一款能滿足上述需求的開源軟件，它包含了所有基本的視覺化元素。透過 Grafana 等工具，企業可以有效監控其大數據實施情況，並利用資料視覺化結果制定明智的決策、提升系統效能和簡化故障排除流程。

總結

雖然本文涵蓋了大數據基礎建設的一些基本概念，但大數據領域的知識博大精深，一篇文章難以窮盡。此外，實施和維護大數據基礎建設需要高超的技術能力。由於相關技術的複雜性，許多缺乏內部專業知識的企業會尋求第三方廠商提供商業支援或大數據平台管理服務。投資大數據平台可以帶來豐厚的回報，但前提是必須有完善的大數據策略支持，並由具備必要技能和經驗的專業人員管理。