编程宝库 - 技术改变世界

编程宝库

Search

HBase

HBase 体系结构

HBase Shell

HBase 安装

本章介绍HBase的安装和初始配置。Java和Hadoop需要继续使用HBase，因此您必须在系统中下载并安装Java和Hadoop。

1. 预安装设置

在将Hadoop安装到Linux环境中之前，我们需要使用 ssh （Secure Shell）设置Linux 。按照下面给出的步骤设置Linux环境。

创建一个用户

首先，建议为Hadoop创建一个单独的用户，以将Hadoop文件系统与Unix文件系统隔离开来。按照下面给出的步骤创建一个用户。

使用命令“su”打开根目录。
使用命令“useradd username”从root帐户创建一个用户。
现在您可以使用命令“su username”打开现有的用户帐户。

打开Linux终端并键入以下命令来创建用户。

$ su
password:
# useradd hadoop
# passwd hadoop
New passwd:
Retype new passwd

SSH设置和密钥生成

SSH需要在集群上执行不同的操作，例如启动，停止和分布式守护进程shell操作。要验证Hadoop的不同用户，需要为Hadoop用户提供公钥/私钥对，并与不同的用户共享。

以下命令用于使用SSH生成键值对。将公钥从id_rsa.pub复制到authorized_keys，并分别为authorized_keys文件提供所有者，读写权限。

$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

验证ssh

ssh localhost

2. 安装Java

Java是Hadoop和HBase的主要先决条件。首先，您应该使用“java -version”来验证系统中是否存在java。java version命令的语法如下所示。

$ java -version

如果一切正常，它会给你以下输出。

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果你的系统中没有安装java，那么按照下面给出的步骤来安装java。

步骤1

通过访问以下链接 Oracle Java 下载java（JDK - X64.tar.gz）。

然后将 jdk-7u71-linux-x64.tar.gz 下载到您的系统中。

第2步

通常，您会在Downloads文件夹中找到下载的java文件。验证它并使用以下命令提取 jdk-7u71-linux-x64.gz 文件。

$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz

$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz

第3步

要使所有用户都可以使用Java，必须将其移动到“/ usr / local /”位置。打开root并输入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

步骤4

要设置 PATH 和 JAVA_HOME 变量，请将以下命令添加到 〜/ .bashrc 文件中。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH= $PATH:$JAVA_HOME/bin

现在将所有更改应用到当前正在运行的系统中。

$ source ~/.bashrc

第5步

使用以下命令配置java选项：

# alternatives --install /usr/bin/java java usr/local/java/bin/java 2

# alternatives --install /usr/bin/javac javac usr/local/java/bin/javac 2

# alternatives --install /usr/bin/jar jar usr/local/java/bin/jar 2


# alternatives --set java usr/local/java/bin/java

# alternatives --set javac usr/local/java/bin/javac

# alternatives --set jar usr/local/java/bin/jar

现在如上所述从终端验证 java -version 命令。

3. 下载Hadoop

安装java之后，您必须安装Hadoop。首先，使用“Hadoop版本”命令验证Hadoop的存在性，如下所示。

hadoop version

如果一切正常，它会给你以下输出。

Hadoop 2.6.0
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using
/home/hadoop/hadoop/share/hadoop/common/hadoop-common-2.6.0.jar

如果您的系统无法找到Hadoop，请在您的系统中下载Hadoop。按照下面给出的命令来做。

使用以下命令从Apache Software Foundation 下载并提取 hadoop-2.6.0。

$ su
password:
# cd /usr/local
# wget http://mirrors.advancedhosters.com/apache/hadoop/common/hadoop-
2.6.0/hadoop-2.6.0-src.tar.gz
# tar xzf hadoop-2.6.0-src.tar.gz
# mv hadoop-2.6.0/* hadoop/
# exit

4. 安装Hadoop

以任何所需模式安装Hadoop。在这里，我们以伪分布模式演示HBase功能，因此以伪分布模式安装Hadoop。

以下步骤用于安装 Hadoop 2.4.1 。

第1步 - 设置Hadoop

您可以通过将以下命令附加到 〜/ .bashrc 文件来设置Hadoop环境变量。

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

现在将所有更改应用到当前正在运行的系统中。

$ source ~/.bashrc

第2步 - Hadoop配置

您可以在位置“$ HADOOP_HOME / etc / hadoop”中找到所有Hadoop配置文件。您需要根据您的Hadoop基础架构对这些配置文件进行更改。

$ cd $HADOOP_HOME/etc/hadoop

为了在java中开发Hadoop程序，必须通过将 JAVA_HOME 值替换为系统中java的位置来重置 hadoop-env.sh 文件中的java环境变量。 **

export JAVA_HOME=/usr/local/jdk1.7.0_71

您将不得不编辑以下文件来配置Hadoop。

核心的site.xml

该 芯-的site.xml 文件包含的信息，如用于Hadoop的实例的端口号，分配给文件系统，存储器限制用于存储数据的存储器，和读/写缓冲器的大小。

打开core-site.xml并在和</ configuration>标记之间添加以下属性。

<configuration>
   <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost:9000</value>
   </property>
</configuration>

HDFS-site.xml中

在 HDFS-的site.xml 文件中包含的信息，如复制数据的价值，名称节点的路径，你的本地文件系统，要存储的Hadoop基础架构的数据节点的路径。

让我们假设以下数据。

dfs.replication (data replication value) = 1
(In the below given path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)

namenode path = //home/hadoop/hadoopinfra/hdfs/namenode
(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)

datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

打开此文件并在<configuration>，</ configuration>标记之间添加以下属性。

<configuration>
   <property>
      <name>dfs.replication</name >
      <value>1</value>
   </property>

   <property>
      <name>dfs.name.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value>
   </property>

   <property>
      <name>dfs.data.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value>
   </property>
</configuration>

注意： 在上面的文件中，所有属性值都是用户定义的，您可以根据Hadoop基础结构进行更改。

纱的site.xml

该文件用于将纱线配置为Hadoop。打开yarn-site.xml文件并在<configuration >, </ configuration>之间添加以下属性：标签在这个文件中。

<configuration>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
</configuration>

mapred-site.xml中

该文件用于指定我们正在使用的MapReduce框架。默认情况下，Hadoop包含一个yarn-site.xml模板。首先，需要使用以下命令将文件从 mapred-site.xml.template 复制到 mapred-site.xml 文件。

$ cp mapred-site.xml.template mapred-site.xml

打开 mapred-site.xml 文件并在<configuration>和</ configuration>标记之间添加以下属性。

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

5. 验证Hadoop安装

以下步骤用于验证Hadoop安装。

第1步 - 名称节点设置

使用命令“hdfs namenode -format”设置namenode，如下所示。

$ cd ~
$ hdfs namenode -format

预期结果如下。

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost/192.168.1.11
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.4.1
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to
retain 1 images with txid >= 0
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/

第2步 - 验证Hadoop dfs

以下命令用于启动dfs。执行此命令将启动您的Hadoop文件系统。

$ start-dfs.sh

预期产出如下。

10/24/14 21:37:56
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-namenode-localhost.out
localhost: starting datanode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]

第3步 - 验证纱线脚本

以下命令用于启动纱线脚本。执行这个命令将启动你的纱线守护进程。

$ start-yarn.sh

预期产出如下。

starting yarn daemons
starting resourcemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out
localhost: starting nodemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-nodemanager-localhost.out

第4步 - 在浏览器上访问Hadoop

访问Hadoop的默认端口号是50070.使用以下URL在浏览器上获取Hadoop服务。

http://localhost:50070

浏览器上的Hadoop

第5步 - 验证群集的所有应用程序

访问群集的所有应用程序的默认端口号是8088.使用以下URL访问此服务。

http://localhost:8088/

Hadoop应用集群

6. 安装HBase

我们可以在以下三种模式中的任何一种模式下安装HBase：独立模式，伪分布模式和全分布模式。

在独立模式下安装HBase

使用“wget”命令下载最新的稳定版HBase表单 http://www.interior- dsgn.com/apache/hbase/stable/，并使用tar“zxvf”命令将其解压。请参阅以下命令。

$cd usr/local/
$wget http://www.interior-dsgn.com/apache/hbase/stable/hbase-0.98.8-
hadoop2-bin.tar.gz
$tar -zxvf hbase-0.98.8-hadoop2-bin.tar.gz

切换到超级用户模式并将HBase文件夹移动到/ usr / local，如下所示。

$su
$password: enter your password here
mv hbase-0.99.1/* Hbase/

在独立模式下配置HBase

在继续使用HBase之前，您必须编辑以下文件并配置HBase。

hbase-env.sh

设置HBase的java Home并从conf文件夹打开 hbase-env.sh 文件。编辑JAVA_HOME环境变量并将现有路径更改为当前的JAVA_HOME变量，如下所示。

cd /usr/local/Hbase/conf
gedit hbase-env.sh

这将打开HBase的env.sh文件。现在用当前值替换现有的 JAVA_HOME 值，如下所示。

export JAVA_HOME=/usr/lib/jvm/java-1.7.0

HBase的-site.xml中

这是HBase的主要配置文件。通过打开/ usr / local / HBase中的HBase主文件夹，将数据目录设置为适当的位置。在conf文件夹内，你会找到几个文件，打开 hbase-site.xml 文件，如下所示。

#cd /usr/local/HBase/
#cd conf
# gedit hbase-site.xml

在 hbase-site.xml 文件中，您可以找到和</ configuration>标签。在它们中，如下所示，在名称为“hbase.rootdir”的属性项下设置HBase目录。

<configuration>
   //Here you have to set the path where you want HBase to store its files.
   <property>
      <name>hbase.rootdir</name>
      <value>file:/home/hadoop/HBase/HFiles</value>
   </property>

   //Here you have to set the path where you want HBase to store its built in zookeeper  files.
   <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/home/hadoop/zookeeper</value>
   </property>
</configuration>

借此，HBase安装和配置部分成功完成。我们可以通过使用HBase 的bin文件夹中提供的 start-hbase.sh 脚本启动HBase。为此，打开HBase主文件夹并运行HBase启动脚本，如下所示。

$cd /usr/local/HBase/bin
$./start-hbase.sh

如果一切顺利，当您尝试运行HBase启动脚本时，它会提示您一条消息，指出HBase已启动。

starting master, logging to /usr/local/HBase/bin/../logs/hbase-tpmaster-localhost.localdomain.out

以伪分布模式安装HBase

现在让我们来看看HBase如何以伪分布模式安装。

配置HBase

在继续使用HBase之前，请在本地系统或远程系统上配置Hadoop和HDFS，并确保它们正在运行。如果HBase正在运行，请停止。

HBase的-site.xml中

编辑hbase-site.xml文件以添加以下属性。

<property>
   <name>hbase.cluster.distributed</name>
   <value>true</value>
</property>

它会提到应该运行HBase的模式。在本地文件系统的同一文件中，使用hdfs：//// URI语法更改hbase.rootdir（您的HDFS实例地址）。我们在端口8030的本地主机上运行HDFS。

<property>
   <name>hbase.rootdir</name>
   <value>hdfs://localhost:8030/hbase</value>
</property>

启动HBase

配置完成后，浏览到HBase主文件夹并使用以下命令启动HBase。

$cd /usr/local/HBase
$bin/start-hbase.sh

注意： 在启动HBase之前，确保Hadoop正在运行。

检查HDFS中的HBase目录

HBase在HDFS中创建它的目录。要查看创建的目录，请浏览至Hadoop bin并输入以下命令。

$ ./bin/hadoop fs -ls /hbase

如果一切顺利，它会给你以下输出。

Found 7 items
drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/.tmp
drwxr-xr-x - hbase users 0 2014-06-25 21:49 /hbase/WALs
drwxr-xr-x - hbase users 0 2014-06-25 18:48 /hbase/corrupt
drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/data
-rw-r--r-- 3 hbase users 42 2014-06-25 18:41 /hbase/hbase.id
-rw-r--r-- 3 hbase users 7 2014-06-25 18:41 /hbase/hbase.version
drwxr-xr-x - hbase users 0 2014-06-25 21:49 /hbase/oldWALs

7. 开始和停止host

使用“local-master-backup.sh”可以启动多达10台服务器。打开HBase的主文件夹，并执行以下命令启动它。

$ ./bin/local-master-backup.sh 2 4

要杀死一个备份主服务器，你需要它的进程ID，它将被存储在一个名为 “/tmp/hbase-USER-X-master.pid” 的文件中，你可以使用以下命令杀死备份主服务器。

$ cat /tmp/hbase-user-1-master.pid |xargs kill -9

8. 启动和停止Region Server

您可以使用以下命令从单个系统运行多个区域服务器。

$ .bin/local-regionservers.sh start 2 3

要停止区域服务器，请使用以下命令。

$ .bin/local-regionservers.sh stop 3

9. 启动HBaseShell

在成功安装HBase之后，您可以启动HBase Shell。下面给出了启动HBase shell需要遵循的步骤顺序。打开终端，并以超级用户身份登录。

启动Hadoop文件系统

浏览Hadoop home sbin文件夹并启动Hadoop文件系统，如下所示。

$cd $HADOOP_HOME/sbin
$start-all.sh

启动HBase

浏览HBase根目录bin文件夹并启动HBase。

$cd /usr/local/HBase
$./bin/start-hbase.sh

启动HBase主服务器

这将是相同的目录。如下所示启动它。

$./bin/local-master-backup.sh start 2 (number signifies specific server.)

开始地区

如下所示启动区域服务器。

$./bin/./local-regionservers.sh start 3

启动HBase Shell

您可以使用以下命令启动HBase shell。

$cd bin
$./hbase shell

这将为您提供HBase Shell提示符，如下所示。

2014-12-09 14:24:27,526 INFO [main] Configuration.deprecation:
hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.98.8-hadoop2, r6cfc8d064754251365e070a10a82eb169956d5fe, Fri
Nov 14 18:26:29 PST 2014

hbase(main):001:0>

10. HBase Web界面

要访问HBase的Web界面，请在浏览器中输入以下URL。

http://localhost:60010

此界面列出您当前正在运行的区域服务器，备份主服务器和HBase表。

HBase地区服务器和备份大师

HBase服务器

HBase表

11. 设置Java环境

我们也可以使用Java库与HBase进行通信，但在使用Java API访问HBase之前，您需要为这些库设置类路径。

设置类路径

在继续编程之前，将类路径设置为 .bashrc 文件中的HBase库。在任何编辑器中打开 .bashrc ，如下所示。

$ gedit ~/.bashrc

为HBase库（HBase中的lib文件夹）设置类路径，如下所示。

export CLASSPATH = $CLASSPATH://home/hadoop/hbase/lib/*

这是为了防止在使用java API访问HBase时出现“class not found”异常。

下一节：HBase Shell

Hbase 教程

本章介绍如何启动随HBase一起提供的HBase交互式shell。1. HBase ShellHBase包含一个可以与HBase进行通信的shell。HBase使用Hadoop文件系统来存储其数据。它将有一个主服务器 ...

HBase 体系结构

HBase Shell