编程宝库 - 技术改变世界

编程宝库

Search

Spark

Spark RDD

Spark 核心编程

Spark 安装

Spark 是 Hadoop 的子项目。因此，最好将 Spark 安装到基于Linux的系统中。

以下步骤显示如何安装Apache Spark。

第1步：验证Java安装

Java安装是安装Spark的强制性内容之一。尝试以下命令来验证JAVA版本。

$java -version

如果Java已经安装在您的系统上，您将看到以下响应：

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您的系统上没有安装 Java，请在继续下一步之前安装 Java。

第2步：验证Scala安装

你应该使用 Scala 语言来实现 Spark。因此，让我们使用以下命令验证 Scala 安装。

$scala -version

如果您的系统上已经安装了Scala，您会看到以下响应：

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

如果您的系统上没有安装Scala，请继续下一步Scala安装。

第3步：下载Scala

下载最新版本的 Scala。对于本教程，我们使用的是 scala-2.11.6 版本。

下载后，您会在下载文件夹中找到 Scala 安装包的 tar文件。

第4步：安装Scala

按照以下给出的步骤安装Scala。

解压缩Scala tar文件

键入以下命令以提取Scala tar文件。

$ tar xvf scala-2.11.6.tgz

移动Scala软件文件

使用以下命令将Scala软件文件移至相应的目录 （/ usr / local / scala） 。

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv scala-2.11.6 /usr/local/scala
# exit

为Scala设置PATH

使用以下命令为Scala设置PATH。

$ export PATH = $PATH:/usr/local/scala/bin

验证Scala安装

安装后，最好验证一下。使用以下命令验证Scala安装。

$scala -version

如果您的系统上已经安装了Scala，您会看到以下响应 -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

第5步：下载Apache Spark

通过访问以下链接下载Spark，下载最新版本的Spark。在本教程中，我们使用的是 spark-1.3.1-bin-hadoop2.6 版本。下载完成后，您会在下载文件夹中找到Spark tar文件。

第6步：安装Spark

按照下面给出的步骤安装Spark。

提取Spark tar

以下用于提取spark tar文件的命令。

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

移动Spark软件文件

以下用于将Spark软件文件移至相应目录 （/ usr / local / spark）的命令 。

$ su –
Password:  

# cd /home/Hadoop/Downloads/
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark
# exit

为Spark设置环境

将以下行 添加到〜/ .bashrc 文件中。这意味着将spark软件文件所在的位置添加到PATH变量中。

export PATH = $PATH:/usr/local/spark/bin

使用以下命令获取〜/ .bashrc文件。

$ source ~/.bashrc

第7步：验证Spark安装

编写下面的命令来打开Spark shell。

$spark-shell

如果spark安装成功，你会发现下面的输出。

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0
      /_/  

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
Type in expressions to have them evaluated.
Spark context available as sc  scala>

下一节：Spark 核心编程

Spark 教程

Spark Core 是整个项目的基础。它提供分布式任务调度，调度和基本I / O功能。Spark使用称为RDD（弹性分布式数据集）的专用基础数据结构，它是跨计算机分区的逻辑数据集合。RDD可以通过两种方式创建; 一种 ...

Spark RDD

Spark 核心编程