大数据之hadoop YARN NodeManager 磁盘配置案例 SSD/HDD 混合

大数据阿木 发布于 16 天前 5 次阅读

YARN NodeManager 磁盘配置案例：SSD/HDD 混合存储优化

随着大数据时代的到来，Hadoop 作为一款分布式计算框架，在处理海量数据方面发挥着重要作用。YARN（Yet Another Resource Negotiator）作为 Hadoop 的资源管理器，负责管理集群资源，包括计算资源、存储资源等。在 YARN 中，NodeManager 负责管理单个节点的资源。为了提高数据处理效率，合理配置 NodeManager 的磁盘存储对于大数据应用至关重要。本文将围绕 YARN NodeManager 磁盘配置，探讨 SSD/HDD 混合存储优化的方法。

1. YARN NodeManager 磁盘存储概述

YARN NodeManager 的磁盘存储主要分为以下几类：

- 本地磁盘（Local Disk）：用于存储 NodeManager 本地文件系统中的数据。

- HDFS 磁盘（HDFS Disk）：用于存储 HDFS 中的数据。

- YARN 应用数据磁盘（YARN Application Disk）：用于存储 YARN 应用程序运行时产生的数据。

在 YARN 中，NodeManager 可以配置多个磁盘，以实现不同类型数据的存储优化。

2. SSD/HDD 混合存储的优势

SSD（Solid State Drive）和 HDD（Hard Disk Drive）是两种常见的存储设备。SSD 具有读写速度快、功耗低、抗震性强等优点，而 HDD 则具有容量大、成本低等优点。将 SSD 和 HDD 混合使用，可以充分发挥两种存储设备的优势，实现以下优化：

- 提高 I/O 性能：将频繁访问的数据存储在 SSD 上，可以提高数据读写速度，降低延迟。

- 降低成本：将不常访问的数据存储在 HDD 上，可以降低存储成本。

- 提高可靠性：SSD 的使用寿命较长，可以降低数据丢失的风险。

3. YARN NodeManager 磁盘配置案例

以下是一个 YARN NodeManager 磁盘配置的案例，实现 SSD/HDD 混合存储优化。

3.1 配置 NodeManager

在 Hadoop 集群中配置 NodeManager，使其支持 SSD/HDD 混合存储。以下是在 Hadoop 3.x 版本中配置 NodeManager 的步骤：

1. 修改 `hadoop-env.sh` 文件，添加以下配置：

bash
export HADOOP_NODEMANAGER_LOCAL_DIR="/data/hadoop/local"

export HADOOP_NODEMANAGER_LOG_DIR="/data/hadoop/logs"

export HADOOP_NODEMANAGER_HDFS_DIR="/data/hadoop/hdfs"

2. 修改 `yarn-site.xml` 文件，添加以下配置：

xml
<property>

  <name>yarn.nodemanager.local-disk-reservation-gb</name>

  <value>100</value>

</property>

<property>

  <name>yarn.nodemanager.log-disk-reservation-gb</name>

  <value>10</value>

</property>

<property>

  <name>yarn.nodemanager.hdfs-disk-reservation-gb</name>

  <value>50</value>

</property>

3.2 配置 SSD/HDD 磁盘

1. 将 SSD 磁盘挂载到 NodeManager 的 `/data/hadoop/local` 目录下，作为本地磁盘使用。

bash
sudo mount /dev/sdb1 /data/hadoop/local

2. 将 HDD 磁盘挂载到 NodeManager 的 `/data/hadoop/hdfs` 目录下，作为 HDFS 磁盘使用。

bash
sudo mount /dev/sdc1 /data/hadoop/hdfs

3.3 配置 YARN 应用数据磁盘

1. 在 YARN 应用程序启动时，指定应用数据磁盘的路径。

```bash

yarn --config yarn-site.xml -Dyarn.app.mapreduce.am.log-dir=/data/hadoop/applogs -Dyarn.app.mapreduce.am.log-level=INFO -Dyarn.app.mapreduce.am.log-file-size=1024 -Dyarn.app.mapreduce.am.log-file-count=10 -Dyarn.app.mapreduce.am.log-dir.hdfs=/data/hadoop/applogs -Dyarn.app.mapreduce.am.log-dir.local-path=/data/hadoop/applogs -Dyarn.app.mapreduce.am.log-dir.hdfs-suffix=.log -Dyarn.app.mapreduce.am.log-dir.local-path-suffix=.log -Dyarn.app.mapreduce.am.log-dir.hdfs-user=root -Dyarn.app.mapreduce.am.log-dir.local-path-user=root -Dyarn.app.mapreduce.am.log-dir.hdfs-group=root -Dyarn.app.mapreduce.am.log-dir.local-path-group=root -Dyarn.app.mapreduce.am.log-dir.hdfs-mode=755 -Dyarn.app.mapreduce.am.log-dir.local-path-mode=755 -Dyarn.app.mapreduce.am.log-dir.hdfs-umask=002 -Dyarn.app.mapreduce.am.log-dir.local-path-umask=002 -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr=0 -Dyarn.app.mapreduce.am.log-dir.local-path-xattr=0 -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user=root -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user=root -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-group=root -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-group=root -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-mode=755 -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-mode=755 -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-umask=002 -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-umask=002 -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group=root -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group=root -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id=0 -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id=0 -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-str=root -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-str=root -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-str=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-str=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum=int -Dyarn.app.mapreduce.am.log-dir.local-path-xattr-user-group-id-type-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-enum-str=int -Dyarn.app.mapreduce.am.log-dir.hdfs-xattr-user-group-id-type-enum-enum-enum-enum-