数据网格和结构都侧重于元数据和语义层，以利用多个数据源进行分析。不过，主要区别似乎在于背景。通俗地说，数据网格就是为分析引擎提供各种数据源的能力。数据网格依靠的是你对源数据文件结构的了解，以及数据上下文的可靠性。使用数据网格的前提是你知道数据是由谁、何时、何地、为何以及如何创建的。例如，如果您想分析公司多个数据仓库中的数据，数据网格可能就是您使用的策略。在这种用例中，原始元数据的定义相当明确。数据结构侧重于协调、元数据管理以及为数据添加额外的上下文。在数据结构中，语义层的管理是重点。使用语义层来表示关键的企业数据，并为数据开发通用方言。数据结构项目中的语义层可以将复杂的数据映射为熟悉的业务术语，如产品、客户或收入，从而为整个组织提供统一、综合的数据视图。制药试验是使用数据结构的一个很好的例子，因为试验数据来自机器、报告和其他研究，而这些数据几乎没有准确的元数据可依赖。这些数据也可能是 "稀疏 "的，即有相当数量的行和列是空白或空值。

Q: 数据网还是数据结构？

数据网格是访问可能不同的数据的一种方法，当所有数据源都有以下特征时，数据网格尤其有效：有结构 有变化不大的维度 没有稀疏的数据 如果数据网格有弱点，那就是上下文。如果您的分析是在问"according to whom?" 这样的问题，那么数据结构可以更有力地理解这一点。数据工程师在整合数据源时，经常会遇到相互矛盾的信息。例如，新系统报告的客户年龄可能是 32 岁，而传统数据报告的同一客户年龄可能是 30 岁。数据沿袭是数据结构的一项附加功能，当出现冲突时，它能让你决定更信任哪个数据源。数据结构解决方案往往会结合更多工具来解决不同数据的问题。与数据网格相比，这些工具更优雅，通常也更复杂。它们可能包括更强的转换能力、更强的细粒度安全性、用于管理的图形界面以及产品线。不过，如果说数据结构有什么弱点的话，那就是你可能需要花费大量精力来创建/管理语义层。那些鼓吹数据结构战略的供应商通常会宣传知识图谱的功能。知识图谱以结构化数据和非结构化数据的语义表示取代了数据网格数据集成策略--它通常能更好地支持多种模式和不断变化的维度。

概述

数据网格和数据结构是最新、最伟大的举措，还是旨在推销解决方案的新流行语？很难说，但这些新兴的企业新举措都有一个共同目标，那就是处理不同的数据。如果您能使用不同的数据进行分析，而不必过度和反复复制数据，那么您往往能从数据中获得更多价值。数据网格和数据结构采用不同的方法来解决不同数据的问题。

数据网格和数据架构

数据网格和数据结构有什么区别？

数据网格和结构都侧重于元数据和语义层，以利用多个数据源进行分析。不过，主要区别似乎在于背景。

通俗地说，数据网格就是为分析引擎提供各种数据源的能力。数据网格依靠的是你对源数据文件结构的了解，以及数据上下文的可靠性。使用数据网格的前提是你知道数据是由谁、何时、何地、为何以及如何创建的。例如，如果您想分析公司多个数据仓库中的数据，数据网格可能就是您使用的策略。在这种用例中，原始元数据的定义相当明确。

数据结构侧重于协调、元数据管理以及为数据添加额外的上下文。在数据结构中，语义层的管理是重点。使用语义层来表示关键的企业数据，并为数据开发通用方言。数据结构项目中的语义层可以将复杂的数据映射为熟悉的业务术语，如产品、客户或收入，从而为整个组织提供统一、综合的数据视图。制药试验是使用数据结构的一个很好的例子，因为试验数据来自机器、报告和其他研究，而这些数据几乎没有准确的元数据可依赖。这些数据也可能是 "稀疏 "的，即有相当数量的行和列是空白或空值。

数据网/数据结构技术

目前还没有真正的盒中数据网格或盒中数据光纤解决方案。截至本文撰写之时，还没有一家一站式织物和数据网格商店。换句话说，数据网格和结构不是软件产品。它们通常是需要多种解决方案的战略举措。

如今，公司可能会使用多种技术来创建数据网或数据结构。下面是几个例子：

传统数据库

现代数据库可以数据网格方式利用外部表。例如，Vertica 允许您无缝使用 PARQUET 文件和其他文件类型，而无需将其加载到主存储库中。此外，如果您有 AVRO、JSON 或 TEXT 格式的半结构化数据，还有一种简单的方法可以利用读取模式功能来使用数据。如果您有不同的数据源，并希望像利用数据库中的数据一样利用这些数据源，那么该功能对于创建数据网格非常有价值。

查询引擎

整整一代查询引擎（有时称为查询加速器）也使数据网格成为可能。Dremio、Starburst 和 Druid 等解决方案主要侧重于分析外部表。它们有时缺乏 ACID 合规性，也不具备进行高并发分析的能力，但它们往往有助于完成数据网格任务。越来越多的传统数据库增加了查询引擎，以便在数据库和数据湖中进行无缝查询。

可视化工具

一些先进的可视化工具具有语义层系统。例如，MicroStrategy 提供了一个抽象层，以一致的方式解释来自多个来源的数据。此外，它还能将复杂的数据映射为熟悉的业务术语。这种功能不仅简化了数据结构，还可以利用数据库的外部表功能。两者结合，威力无穷。

图形数据库

图形数据库擅长协调和上下文，是许多数据结构解决方案背后的引擎。使用图形数据库实施数据结构是一项重大工程，但完成后您将获得一个真正的数据结构。

数据虚拟化

数据虚拟化工具（如 AtScale 和Denodo提供的工具）为商业智能和数据科学团队消费数据提供了一致的视图。现代数据库还具有数据虚拟化功能。

数据目录

数据目录是组织内数据资产的有序清单。Collibra 等公司通过收集、组织、访问和丰富元数据，提供数据发现和治理目录。

内部对象存储

将所有文件存储在一个中心位置会很有帮助。对象存储可让您在一个地方集中管理数据库、数据存储库和数据湖，并提供卓越的性能、安全性和灾难恢复能力。因此，Pure、Vast、Dell ECS 等公司的对象存储可以帮助实现数据网格化。

数据网还是数据结构？

数据网格是一种访问可能不同的数据的方法，在所有数据源的情况下尤其有效：

有结构
尺寸变化不大
数据不稀疏

如果说数据网格有弱点，那就是上下文。如果您的分析是在问 "根据谁？"这样的问题，那么数据结构可以更有力地了解这一点。数据工程师在整合数据源时，经常会遇到相互矛盾的信息。例如，新系统报告的客户年龄可能是 32 岁，而传统数据报告的同一客户年龄可能是 30 岁。数据沿袭是数据结构的一项附加功能，当出现冲突时，它能让你决定更信任哪个数据源。

数据结构解决方案往往会结合更多工具来解决不同数据的问题。与数据网格相比，这些工具更优雅，通常也更复杂。它们可能包括更强的转换能力、更强的细粒度安全性、用于管理的图形界面以及产品线。不过，如果说数据结构有什么弱点的话，那就是你可能需要花费大量精力来创建/管理语义层。

那些鼓吹数据结构战略的供应商通常会宣传知识图谱的功能。知识图谱以结构化数据和非结构化数据的语义表示取代了数据网格数据集成策略--它通常能更好地支持多种模式和变化的维度。

用于数据网格的新数据库功能

与以往任何时候相比，数据往往分散在数据库和数据湖中。云数据库在访问外部数据方面差异很大。有些解决方案要求数据以特定格式存储在数据仓库中，不支持数据湖。还有一些支持数据湖，但需要多种工具才能实现。寻找一种能够处理常见格式（如 ORC、PARQUET、AVRO、JSON）的解决方案，并将这些数据源优雅、快速地用于日常分析。寻找能够进入企业其他数据库（数据虚拟化）的解决方案，这样就不会出现难以访问数据的情况。