大数据和NoSQL

大数据和 NoSQL 是两个总括关键字，用于描述非常规数据处理中的特定方法。让我们先揭开它们的神秘面纱。

大数据：是系统地提取、处理和分析超出传统软件系统容量的大量数据的非常规方法的总称。NoSQL是处理大数据的方式之一。

NoSQL：NoSQL 数据库提供了不同的数据存储和处理方法，以 Oracle 或 SQL Server 等传统数据库的非关系格式建模。文档数据库、键值数据库是 NoSQL 的几个例子。

大数据组件：

集群计算：它是汇集多台机器的资源并管理它们的集体能力来完成任务的实践。

内存计算：内存计算是一种策略，涉及将工作数据集完全移动到集群的集体内存中，以减少在磁盘上写入数据所花费的时间。

批处理：批处理是一种针对非时间敏感工作的计算策略，涉及处理大型数据集，然后由系统返回结果。

流处理：流处理是当数据项在系统中移动时对数据进行实时分析的实践。这对于使用高速指标的时间敏感操作非常有用。

大数据生命周期：

数据摄取：这是获取原始数据并将其添加到系统的过程。此操作的复杂性取决于源数据的格式、质量和数量。

数据存储：此过程是将数据分布和存储在集群中的多个节点上。

数据处理：根据要求，数据可以批量或实时处理。数据处理分布在各个节点上进行并行处理。有各种用于特定目的的数据处理框架和工具，例如数据仓库、机器学习等。

数据可视化：由于数据量很大，识别趋势比处理值更重要。

NoSQL 数据库类型、优点和挑战：

任何采用非关系型数据模型的数据库都可以称为NoSQL数据库。以下是最常见的 NoSQL 数据库方法。

基于键/值对的NoSQL 数据库将数据存储在键和值对中。它们对于存储基本信息非常有用，例如有关客户的详细信息。

基于列的数据库将数据分成离散的列。他们不使用行，而是翻转事物以使数据成为主键。

通过使用列，查询数据时可以获得更高的速度。然而，在基于列的 DBMS 中查询整行数据将花费更长的时间。

基于列的系统最适合大数据以及数据相对简单且一致的情况。

面向文档的NoSQL 系统(例如键/值对数据库)将数据存储为键值，与键配对的值存储为文档。

每个文档都是独立的，这意味着不需要模式。这些系统非常适合不需要复杂查询的基于内容的网站和应用程序。

NoSQL 数据库提供了巨大的优势，例如处理大数据的可扩展性、处理半结构化和非结构化数据的灵活性、具有成本效益的基础设施。然而，NoSQL 数据库并不能取代传统的 RDBMS 系统。到目前为止，这些系统还不够成熟，无法处理复杂的查询和数据一致性。这些数据库还必须从一致性、可用性和分区容错性中选择任意两个。

Hadoop 和 Spark

在大数据领域，您经常听到的两个术语是 Hadoop 和 Spark。让我们快速浏览一下它们。

Hadoop是一个跨集群并行分布式数据处理的平台，它具有多个组件：Hadoop 分布式文件系统 (HDFS)，以 Hadoop 原生格式存储文件;YARN，协调应用程序运行时的调度;MapReduce，实际上是并行处理数据的算法。

Spark是一个较新的项目，专注于跨集群并行处理数据。

最大的区别是Hadoop将文件读写到HDFS，Spark在RAM中处理数据。Spark 可以以独立模式运行，也可以以 Hadoop 集群作为数据源运行。

因此，用最简单的术语来说，我们可以说 Hadoop 处理非常适合批量处理高延迟的大量数据。而 Spark 用于低延迟计算，用于处理实时事件的实时数据。

图数据库

该图将存储中的数据项与节点和边的集合相关联。节点代表一个对象，边代表两个对象之间的连接或关系。每个节点和边都由唯一标识符以及一组属性定义。图数据库的组织和结构不像关系数据库那样严格。所有关系都本地存储在边的顶点内，并且每个边都可以具有与其关联的属性。

从设计上来说，图形数据库比传统数据库能够相对更简单、更快速地检索复杂的层次结构。然而，图数据库并不适合传统数据库可以支持的所有数据模型。它们可能无法像传统数据库那样支持复杂的查询和聚合。

时间序列数据库

时间序列数据库用于存储时间序列数据应用程序(例如物联网分析)的数据，其中存储一系列数值，每个数值与时间戳配对，由名称和一组标记维度定义。传统数据库也可以存储时间序列数据。然而，时间序列数据堆积得非常快，关系数据库对此并不理想。时间序列数据集主要具有 3 个特征：

一.到达的数据几乎总是被记录为新条目

二.数据通常按时间顺序到达

三.时间是主轴(时间间隔可以是规则的或不规则的)

在时间序列数据库中，系统的每次更改都会记录为新记录。它使我们能够衡量变化：分析过去的变化，监控当前的变化，预测未来的变化。

时间序列数据库越来越多地应用于需要事件记录、监控和跟踪的场景。

图形数据库和时间序列数据库是 NoSQL 数据库，对于特定用例来说非常强大。传统数据库和不同NoSQL数据库的结合可以为数据处理提供健壮、灵活和可扩展的解决方案。

随着技术的进步，我们以比昨天更快的速度生成和使用各种格式和结构的数据。如果我们能够正确分析数据，我们就可以利用这些新的数据解决方案，帮助我们发现我们所掌握的数据的真正潜力。