Spark SQL

spark

字数统计: 161 | 阅读时长≈ 1 分钟

不仅仅是Sql这么简单的事情，他还能做很多的事情。

SQL 
DataFrame API
Dataset API

DataFrame/Dataset分布式数据集(1.6)

==DataFrame是一个以列（列名/列类型/列值）的形式构成分布式的数据集（dataset）==

DataFrame类似于关系型数据库的表

列名：和列属性

通过SparkSession来创建

通过.sql使用sql语句操作DataFrame
可以创建一个临时视图（createOrReplaceTempView）

==1.通过推导生成Schema创建DF==
读取数据为df，将RDD转换为Row之后，然后根据RDD（Row）创建DataFream

==2.通过编程方式创建schema创建DF==

打赏