介紹2種spark安裝方式

通過docker的方式安裝

下載docker文件

https://gitee.com/pingfanrenbiji/docker-spark

docker-compose up

• 該docker-comose 編排了2個spark docker 一個是master 一個worker
• worker依賴于master

訪問spark頁面

http://localhost:8080/

通過源碼方式安裝

spark源碼

https://gitee.com/pingfanrenbiji/spark

spark是基于scala語言開發的 所以需要安裝stb環境 類似于maven、graddle jar包資源管理工具

先來一個簡單的demo來安裝下sbt環境

下載相關資源包

https://gitee.com/pingfanrenbiji/resource/tree/master/stb

解sbt壓縮包

sbt/conf/ 目錄下有兩個配置文件 
sbtconfig.txt 僅適用于 Windows 平臺
而 sbtopts 僅適用于 Mac/Linux 平臺

配置sbt環境變量

#當前用戶
vim ~/.bash_profile

export SBT_HOME=/Users/mengfanxiao/Documents/third_software/spark/sbt
export PATH=$PATH:$SBT_HOME/bin

source ~/.bash_profile

#所有用戶
sudo vim /etc/profile  
source /etc/profile

Mac系統的環境變量

加載順序為：/etc/profile /etc/paths ~/.bash_profile ~/.bash_login ~/.profile ~/.bashrc

/etc/profile和/etc/paths是系統級別的，系統啟動就會加載

后面幾個是當前用戶級的環境變量

后面3個按照從前往后的順序讀取

如果/.bash_profile文件存在，則后面的幾個文件就會被忽略不讀了

如果/.bash_profile文件不存在，才會以此類推讀取后面的文件

~/.bashrc沒有上述規則，它是bash shell打開的時候載入的。

創建國內資源庫配置

mkdir ~/.sbt

vim ~/.sbt/repositories

文件內容：
[repositories]
local
huaweicloud-maven: https://repo.huaweicloud.com/repository/maven/
maven-central: https://repo1.maven.org/maven2/
sbt-plugin-repo: https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]

設置所有項目均使用全局倉庫配置，忽略項目自身倉庫配置

vim sbt/conf/sbtopts
添加一行
-Dsbt.override.build.repos=true

添加資源庫配置

vim sbt/conf/sbtopts
添加一行
-Dsbt.repository.config=/Users/mengfanxiao/.sbt/repositories

運行hello-scala

demo源碼下載下來

配置stb版本號1.3.0版本

由于SBT 1.3.0包含了多項性能提升，如果是已有的本地項目，請手動將項目的SBT構建版本改成1.3.0

vim project/build.properties
sbt.version = 1.3.0

執行stb安裝相關依賴并進入stb命令行

sbt

第一次進入 sbt shell 時，由于需要下載相關依賴，大概需要幾十秒時間，第二次及以后進入 sbt shell 會很快

檢查當前項目的SBT構建版本是否為1.3.0

sbtVersion

確認全局倉庫是否已經覆蓋項目自身倉庫

show overrideBuildResolvers

確認倉庫列表是否與 ~/.sbt/repositories/ 文件一致

查看SBT本地緩存

確認一下是否從國內倉庫下載依賴。針對不同的操作系統，對應的緩存路徑如下：

Windows緩存路徑是 /%LOCALAPPDATA%\Coursier\Cache\v1/ 

即如果用戶名是mengfanxiao，則完整路徑是 /C:\Users\mengfanxiao\AppData\Local\Coursier\Cache\v1/ 

Linux緩存路徑為 /~/.cache/coursier/v1/ 

Mac緩存路徑為 ~/Library/Caches/Coursier/v1 

編輯和運行程序

compile
run

就是run的這個main方法

后記

既然學會了如何運行scala項目 那么下一篇咱們運行下spark看看

時候不早了 要去上班了哦