sql on spark知识点

为什么使用Spark SQL
Spark的全栈解决方案为用户提供了多样的数据分析框架，机器学习、图计算、流计算如火如荼的发展和流行吸引了大批的学习者，为什么人们今天还是要重视在大数据环境下使用SQL 呢？主要有以下几点原因： （1）易用性与用户惯性。在过去的很多年中，有大批的程序员的工作是围绕着数据库和应用的架构来做的，因为的易用性提升了应用的开发效率。程序员已经习惯了业务逻辑代码调用SQL的模式去写程序，惯性的力量是强大的，如果还能用原有方式解决现有的大数据问题，何乐而不为呢？提供SQL和JDBC的支持会让传统用户像以前一样地书写程序，大大减少迁移成本。 （2）生态系统的力量。很多系统软件性能好，但是未取得成功和没落，很大程度上因为生态系统问题。传统的SQL 在JDBC、ODBC、SQL的各种标准下形成了一整套成熟的生态系统，有很多应用、组件和工具可以使用，像一些可视化的工具、数据分析工具等，原有企业的IT工

sql on spark知识点最先出现在Python成神之路。