您好,欢迎来到外链网!
当前位置:外链网 » 站长资讯 » 专业问答 » 文章详细 订阅RssFeed

Spark搭建环境涉及的Linux命令(spark环境搭建方式)

来源:互联网 浏览:107次 时间:2023-04-08

Spark搭建环境涉及的Linux命令(简单易用型)

从一台服务器负责内容到另一台服务器: scp jdk-6u37-linux-x64.bin  spark@10.126.45.56:/home/spark/opt

Linux下Spark开发环境搭建

tar压缩和解压文件:  压缩 tar -cvf  java.tar.gz java/          解压:  tar -xvf java.tar.gz

配置java环境变量:

Linux下Spark开发环境搭建

去各种地方下载 jdk程序包 :jdk-6u37-linux-x64.bin ,修改文件执行权限 :chmod a+x jdk-6u37-linux-x64.bin, 安装:./jdk-6u37-linux-x64.bin


编辑 vi ~/.bash_profile ,增加内容

Linux下Spark开发环境搭建

# set  java env
export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37


export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

export PATH

保存并source  ~/.bash_profile

[spark@S1PA11 ~]$ ifconfig
-bash: ifconfig: command not found  --->> vi ~/.bashrc

在  一般用户的  home 目录下的 文件 .bashrc 加入
export PATH=$PATH:/sbin
然后执行
source  .bashrc  就可以执行 ifconfig 命令了。

--------------------------------------分割线 --------------------------------------

Spark1.0.0部署指南

CentOS 6.2(64位)下安装Spark0.8.0详细记录

Spark简介及其在Ubuntu下的安装使用

安装Spark集群(在CentOS上)

Hadoop vs Spark性能对比

Spark安装与学习

Spark 并行计算模型

--------------------------------------分割线 --------------------------------------

Spark 的详细介绍:请点这里
Spark 的下载地址:请点这里

本文从互联网转载,来源地址:www.downzz.com/shell/18101.html,原作者保留一切权利,若侵权或引用不当,请联系茶猫云(cmy.cn)删除。【茶猫云,优质云服务器提供商】