資料網狀結構和結構都著重於元資料和語意層，以利用多個資料來源進行分析。然而，主要的差異似乎是關於上下文。通俗來說，資料網狀化就是將各種資料來源提供給分析引擎的能力。資料網狀結構仰賴於您知道來源資料檔案的結構，以及資料的上下文是可靠的。使用資料網狀結構的前提是您知道資料是由誰、何時、何地、為何以及如何建立的。例如，如果您要分析公司內數個資料倉庫的資料，資料網狀結構可能就是您使用的策略。這是一個原始元資料相當明確的使用個案。資料結構著重於協調、元資料管理，以及為資料增加額外的情境。在資料結構中，管理語意層是重點。使用語義層來表示關鍵的企業資料，並為您的資料開發通用的方言。資料結構專案中的語意層可能會將複雜的資料映射為熟悉的業務術語，例如產品、客戶或收入，以提供整個組織統一、整合的資料檢視。製藥試驗是一個很好的例子，您可以使用資料結構，因為試驗的資料來自於機器、報告和其他研究的組合，而這些資料幾乎沒有精確的元資料可以依賴。這些資料也可能是「稀疏」的，也就是說有相當多的行和列是空白或空值。

Q: 資料網格或資料結構？

資料網狀結構是存取分散資料的一種方式，當所有的資料來源都有以下特點時，資料網狀結構會運作得特別好：如果資料網狀結構有弱點，那就是上下文。如果您的分析是詢問"according to whom?" ，那麼資料結構可以更有力地了解這一點。資料工程師將資料來源整合在一起時，經常會遇到衝突的資訊。例如，新系統可能會報告某位客戶的年齡為 32 歲，而舊資料可能會報告同一客戶的年齡為 30 歲。Data lineage 是資料結構的附加功能，可讓您決定在發生衝突時更信任哪個資料來源。資料結構解決方案傾向於結合更多工具來解決您的分散資料問題。這些工具既比資料網格更優雅，通常也更複雜。這些功能可能包括更強大的轉換能力、更強大的細粒度安全性、用於治理的圖形化介面以及脈絡。不過，如果資料結構有弱點的話，那就是您可能必須花費大量心力來建立/管理語意層。那些宣揚資料結構策略的廠商通常會推廣知識圖表的功能。知識圖表以結構化和非結構化資料的語意表示方式取代資料網狀資料整合策略 - 這種表示方式通常能更好地支援多重模式和變更的維度。

概述

資料網狀 結構和資料結構是最新、最偉大的計畫，還是旨在銷售解決方案的新流行詞？這很難說，但這些新興的企業計畫都有一個共同目標，那就是處理不同的資料。如果您可以使用不同的資料進行分析，而不必過度重複複製資料，通常可以從資料中獲得更多價值。資料網狀結構 (Data Mesh) 和資料結構 (Data Fabric) 採用不同的方法來解決不同資料的問題。

資料網狀結構與資料 Fabric

資料網狀結構與資料結構有何差異？

資料網狀結構和結構都著重於元資料和語意層，以利用多個資料來源進行分析。然而，主要的差異似乎是關於上下文。

通俗來說，資料網狀化就是將各種資料來源提供給分析引擎的能力。資料網狀結構仰賴於您對原始資料檔案結構的瞭解，以及資料上下文的穩固性。使用資料網狀結構的前提是您知道資料是由誰、何時、何地、為何以及如何建立的。例如，如果您要分析公司內數個資料倉庫的資料，資料網狀結構可能就是您使用的策略。這是一個原始元資料相當明確的使用個案。

資料結構著重於協調、元資料管理，以及為資料增加額外的情境。在資料結構中，管理語意層是重點。使用語義層來表示關鍵的企業資料，並為您的資料開發通用的方言。資料結構專案中的語意層可能會將複雜的資料映射為熟悉的業務術語，例如產品、客戶或收入，以提供整個組織統一、整合的資料檢視。製藥試驗是一個很好的例子，您可以使用資料結構，因為試驗的資料來自於機器、報告和其他研究的組合，而這些資料幾乎沒有精確的元資料可以依賴。這些資料也可能是「稀疏」的，也就是說有相當多的行和列是空白或空值。

資料網狀結構/資料結構的技術

目前確實沒有盒裝資料管理系統 (data-mesh-in-a-box) 或盒裝資料結構 (data-fabric-in-a-box) 解決方案。在撰寫這篇文章時，還沒有一站式的織物與資料網格。換句話說，資料網狀結構和 Fabric 並非軟體產品。它們通常是需要多種解決方案的策略性計畫。

如今，企業可能會使用多種技術來建立資料網狀結構或資料結構。以下是幾個範例：

傳統資料庫

現代資料庫可利用資料網狀風格的外部資料表。例如，Vertica 允許您無縫使用 PARQUET 檔案和其他檔案類型，而無需將它們載入主儲存庫。此外，如果您有 AVRO、JSON 或 TEXT 格式的半結構化資料，有一個簡單的方法可以利用 schema on read 功能來使用資料。如果您有不同的資料來源，並希望像使用資料庫中的資料一樣利用它們，則此功能對於建立資料網格非常有價值。

查詢引擎

整整一代的查詢引擎（有時稱為查詢加速器）也讓資料網狀化成為可能。Dremio、Starburst 和 Druid 等解決方案主要著重於分析外部資料表。它們有時會缺乏 ACID 合規性，以及以高並發進行分析的能力，但它們通常對資料網狀結構的任務很有幫助。越來越多的傳統資料庫增加了查詢引擎，以便在資料庫和資料湖中進行無縫查詢。

視覺化工具

有些先進的可視化工具有語意圖層系統。例如，MicroStrategy 提供了一個抽象層，以一致的方式詮釋來自多個來源的資料。此外，它還可以將複雜的資料映射為熟悉的業務術語。這項功能不僅簡化了資料結構，還可以利用資料庫的外部資料表功能。結合起來，可以產生強大的威力。

圖形資料庫

圖形資料庫擅長於協調和情境，是許多資料結構解決方案背後的引擎。使用圖表 DB 實作資料結構是一項重要的專案，但完成後您將得到真正的資料結構。

資料虛擬化

像 AtScale 和Denodo所提供的資料虛擬化工具，可為 BI 和資料科學團隊提供一致的檢視方式來使用資料。現代資料庫也具備資料虛擬化功能。

資料目錄

資料目錄是組織中資料資產的有組織清單。Collibra 等公司透過收集、組織、存取和豐富元資料，提供資料發現和治理目錄。

內部物件儲存

將您的所有檔案儲存在一個中央位置可能會很有幫助。物件儲存可讓您在一個地方集中管理資料庫、資料庫和資料湖，並提供絕佳的效能、安全性和災難復原。因此，Pure、Vast、Dell ECS 等公司的物件儲存器可協助資料網狀化。

資料網格或資料結構？

資料網格是一種存取可能不同資料的方式，當所有資料來源都是不同的資料時，這種方式尤其有效：

具有結構
尺寸變化不大
不要有稀疏的資料

如果資料網格有弱點，那就是情境。如果您的分析是在問「根據誰？」這個問題，那麼資料結構可以更有力地瞭解這一點。資料工程師將資料來源整合在一起時，經常會遇到衝突的資訊。例如，新系統可能會報告某位客戶的年齡為 32 歲，而舊資料可能會報告同一客戶的年齡為 30 歲。Data lineage 是資料結構的附加功能，可讓您決定在發生衝突時更信任哪個資料來源。

資料結構解決方案傾向於結合更多工具來解決您的分散資料問題。這些工具既比資料網格更優雅，通常也更複雜。這些功能可能包括更強大的轉換能力、更強大的細粒度安全性、用於治理的圖形化介面以及脈絡。不過，如果資料結構有弱點的話，那就是您可能必須花費大量心力來建立/管理語意層。

那些宣揚資料結構策略的廠商通常會推廣知識圖表的功能。知識圖表以結構化和非結構化資料的語意表示方式取代資料網狀資料整合策略 - 這種表示方式通常能更好地支援多重模式和變更的維度。

資料網格的新資料庫功能

與以往任何時候相比，資料通常多數位於資料庫和資料湖中。雲端資料庫在存取外部資料方面有很大的差異。有些解決方案要求資料以特定格式儲存在資料倉庫中，而不提供資料湖支援。還有一些人支援資料湖，但需要多種工具才能做到。尋找可以處理一般格式 (如 ORC、PARQUET、AVRO、JSON) 的解決方案，並將這些來源優雅、快速地用於日常分析。尋找可以延伸至組織內其他資料庫的解決方案 (資料虛擬化)，這樣就不會有難以存取的資料。