Spark windows 10 설치방법입니다.

- Java 설치 (1.8)

http://java.oracle.com

- Python 설치 (3.5 기준)

https://www.python.org/

- Hadoop for Windows (2.6.5 Binary 버전)

http://hadoop.apache.org

압축을 풀면 끝

D:\Hadoop 

- Apache Spark 다운로드 (2.0.2 Pre-build for Hadoop 2.6 버전) 설치

http://spark.apache.org/downloads.html

압축을 풀면 끝

D:\Spark

# Spark 설정

# Windows 환경변수 세팅 (공백이 없는 경로로 함)

JAVA_HOME=D:\Java\jdk1.8.0_111\jre

SPARK_HOME=D:\Spark

PYTHONPATH=%SPARK_HOME%\python\lib\pyspark.zip;%SPARK_HOME%\python\lib\py4j-0.10.3-src.zip

HADOOP_HOME=D:\Hadoop

* Windows의 경우 %HADOOP_HOME% 세팅을 하지 않는 경우 아래와 같은 에러가 발생 

ERROR Shell: Failed to locate the winutils binary in the hadoop binary path

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

* Windows 에서 hive 에러 날 경우 

%HADOOP_HOME%\bin\winutils.exe chmod 777 D:\tmp\hive

- conf 설정 

cd %SPARK_HOME%\conf

copy og4j.properties.template log4j.properties

# log4j.properties 파일편집

log4j.rootCategory=WARN, console  # INFO->WARN, INFO정보가 많이 출력 되므로 수정   

cmd를 열어 실행하면 됨.

C:\>D:

D:\>spark\bin/pySpark

실행화면 맨위의 그림과 같다.

D:\>cd spark

D:\spark>%SPARK_HOME%/bin/spark-submit examples/src/main/python/pi.py 10

참조 url: http://cdecl.tistory.com/305