2022.1.1 大数据学习01 Spark简介
Spark简介:
Spark的诞生是基于解决Hadoop数据处理慢的问题 Spark 2013年6月成为Apache基金会下成员。
与Hadoop不同:
提示:这里可以添加要学的内容 1.Spark是一种包含流处理能力的处理框架,主要侧重于内存计算以及处理优化机制加快批处理的工作负载的运行速度。 2.Hadoop 基于一次性数据计算:框架在处理数据的时候,会从存储设备中读取数据,进行逻辑操作,然后将处理的结果重新存储到我们的介质中。磁盘io严重影响性能
3.Spark提供了更加丰富的数据处理模型,基于内存进行数据的多次迭代,可以更好支持数据挖掘算法和图形计算。 4.实际应用场景如果内存限制较大,则仍会选用Mapper Reduce
Spark的核心模块:
提示:这里可以添加计划学习的时间 例如: 1、 Apache Spark Core: 整个Spark的核心,其他的模块都是基于core来实
共有 0 条评论