apache spark教程提供了spark的基本和高级概念。我们的spark教程适用于初学者和专业人士。
spark是一个用于大规模数据处理的统一分析引擎，包括内置的sql、流处理、机器学习和图形处理模块。
我们的spark教程涵盖了apache spark的所有主题，包括spark介绍、spark安装、spark架构、spark组件、rdd、spark实时示例等。
spark是什么
apache spark是一个开源的集群计算框架，其主要目的是处理实时生成的数据。
spark是在hadoop mapreduce的基础上构建的，它经过优化，可以在内存中运行，而hadoop的mapreduce等替代方法是将数据写入和从计算机硬盘读取。因此，spark处理数据的速度比其他替代方案要快得多。
apache spark历史
spark由matei zaharia于2009年在加州大学伯克利分校的amplab发起。它于2010年以bsd许可证的形式开源。
2013年，该项目被apache软件基金会收购。2014年，spark成为顶级apache项目。
apache spark特点
- 快速 - 它为批处理和流处理数据提供高性能，使用先进的dag调度器、查询优化器和物理执行引擎。
- 易于使用 - 它支持使用java、scala、python、r和sql编写应用程序。它还提供了80多个高级操作。
- 通用性 - 它提供了一组库，包括sql和数据框架、用于机器学习的mllib、graphx和spark streaming。
- 轻量级 - 它是一个轻量级的统一分析引擎，用于大规模数据处理。
- 无处不在 - 它可以轻松地运行在hadoop、apache mesos、kubernetes、独立模式或云中。
spark的用途
- 数据集成 - 系统生成的数据不够一致，无法进行分析。为了从系统中获取一致的数据，可以使用提取、转换和加载（etl）等过程。spark用于减少etl过程所需的成本和时间。
- 流处理 - 处理实时生成的数据（如日志文件）始终是困难的。spark能够处理数据流并阻止潜在的欺诈操作。
- 机器学习 - 由于数据量增加，机器学习方法变得更加可行且准确性越来越高。由于spark能够将数据存储在内存中并能够快速运行重复查询，因此在机器学习算法上工作变得容易。
- 交互式分析 - spark能够快速生成响应。因此，我们可以使用互动方式处理数据，而不是运行预定义的查询。
先决条件
在学习spark之前，您必须具备hadoop的基本知识。
教程对象
我们的spark教程旨在帮助初学者和专业人士。