SparkSession

Spark 2.0 引入概念，为用户提供统一的切入点来使用 Spark

[[pyspark]] 例子

from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .appName("Word Count") \
	.config(conf=c) \
    .getOrCreate()

Scala 例子

• 创建

  • val sparkSession = SparkSession.builder().appName(appName).enableHiveSupport().getOrCreate()

• sql

  • sparkSession.sql(sqlStr)

• HiveContext

  • spark sql 支持 hive 读写

  • new HiveContext(SparkSession)

• SparkContext

  • sparkSession.sparkContext