- 综合排序
- 最热优先
- 最新优先
- 来自专栏Albert陈凯
Spark ReadmeApache Spark
Apache Spark Spark is a fast and general cluster computing system for Big Data. //spark.apache.org/ Online Documentation You can find the latest Spark documentation, including a programming Building Spark Spark is built using Apache Maven. For instance: MASTER=spark://host:7077 . Running Tests Testing first requires building Spark. Once Spark is built, tests can be run using: .
1.1K60发布于 2018-04-04 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark初始
但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法 二、具体细节 1、Spark Spark处理数据的能力一般是MR的十倍以上，Spark中除了基于内存计算外，还有DAG有向无环图来切分任务的执行先后顺序。 Standalone Standalone是Spark自带的一个资源调度框架，它支持完全分布式。 Yarn Hadoop生态圈里面的一个资源调度框架，Spark也是可以基于Yarn来计算的。 5、Spark代码流程 1、创建SparkConf对象 <! 5、关闭Spark上下文对象SparkContext。
1.5K41发布于 2018-09-13 - 来自专栏小鹏的专栏
spark杂记：Spark Basics
Spark 学习笔记可以follow这里：https://github.com/MachineLP/Spark- 下面来看几个问题，下面将关注几个问题进行阐述： Mac下安装pyspark spark 安装目录和Java安装目录 os.environ['SPARK_HOME'] = "/Users/liupeng/spark/spark-2.4.0-bin-hadoop2.7/" sys.path.append ("/Users/liupeng/spark/spark-2.4.0-bin-hadoop2.7/bin") sys.path.append("/Users/liupeng/spark/spark-2.4.0 /liupeng/spark/spark-2.4.0-bin-hadoop2.7/python/lib/pyspark.zip") sys.path.append("/Users/liupeng/spark 相关基础知识 相关spark基础知识如下： Spark Context： We start by creating a SparkContext object named sc.
1.3K20发布于 2019-05-26 - 来自专栏章鱼carl的专栏
【Spark】Spark之what
Spark按照功能侧重点划分为几个模块：Spark Core、Spark SQL、Spark Streaming、Spark MLlib、GraphX。 Spark Core：Spark的核心模块，主要就是对计算引擎本身的抽象和实现 2. Spark Streaming：以流就是无限个小批次，实现这样来定义的流式计算。 Spark MLlib：利用Spark自身作为计算引擎，提供的机器学习库 4. 这种内部优化是基于Spark数据混洗操作的输出均被写入磁盘的特性。 架构 Spark三种提交模式： (1) Spark Core架构其实就是standalone模式。 Spark Cluster Spark on Yarn Spark on Yarn-Client mode Spark on Yarn-Cluster mode 流程 基本流程 Spark一般流程
1.6K20编辑于 2022-03-31 - 来自专栏章鱼carl的专栏
【Spark】Spark之how
函数（function） Java中，函数需要作为实现了Spark的org.apache.spark.api.java.function包中的任一函数接口的对象来传递。 Spark开发者们已经在Spark 中加入了一个日志设置文件的模版，叫作log4j.properties.template。 ，默认在conf/spark-defaults.conf文件中，也可以通过spark-submit的- -properties自定义该文件的路径 (4) 最后是系统默认 其中，spark-submit的一般格式 当Spark调度并运行任务时，Spark会为每个分区中的数据创建出一个任务。该任务在默认情况下会需要集群中的一个计算核心来执行。 Spark也会使用第三方序列化库：Kryo。需要设置spark.serializer为org.apache.spark.serializer.KryoSerializer。
1.7K20编辑于 2022-03-31 - 来自专栏小鹏的专栏
spark学习笔记：spark sql
本文链接：https://blog.csdn.net/u014365862/article/details/100982613 spark-env.sh环境配置：（添加hive支持） export JAVA_HOME =$SPARK_CLASSPATH:/***/emr-apache-hive-2.3.2-bin/lib/mysql-connector-java-5.1.38.jar scala代码： import org.apache.spark.sql.SQLContext import org.apache.spark. {SparkConf, SparkContext} import org.apache.spark.sql.SparkSession import org.apache.spark.sql.hive.HiveContext hiveContext = new HiveContext(sparkContext) val sqlContext = new SQLContext(sparkContext) val spark
1.2K10发布于 2019-09-19 - 来自专栏SmartSi
Spark2.3.0 引入Spark
请注意，在 Spark 2.2.0 中删除了对 Java 7 的支持。 要在 Java 中编写 Spark 应用程序，需要在 Spark 上添加依赖项。 Spark可通过 Maven 仓库获得： groupId = org.apache.spark artifactId = spark-core_2.11 version = 2.3.0 另外，如果希望访问 要编写 Spark 应用程序，需要在 Spark 上添加依赖项。 Spark 可通过 Maven 仓库获得： groupId = org.apache.spark artifactId = spark-core_2.11 version = 2.3.0 另外，如果希望访问 添加以下行： import org.apache.spark.SparkContext import org.apache.spark.SparkConf 备注 在 Spark 1.3.0 之前，
1.2K40发布于 2019-08-07 - 来自专栏最新最全的大数据技术体系
【Spark Streaming】Spark Day10：Spark Streaming 学习笔记
-Straming 概述之SparkStreaming计算思想 Spark Streaming是Spark生态系统当中一个重要的框架，它建立在Spark Core之上，下图也可以看出Sparking 依据业务需求，调用DStream中转换函数（类似RDD中转换函数） /* spark hive hive spark spark hadoop */ val resultDStream , 1) (spark, 1) -> (spark, [1, 1]) (hive, [1]) -> (spark, 2) (hive, 1) (hive, 1) import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.storage.StorageLevel org.apache.spark spark-sql_${scala.binary.version} ${spark.version
1.7K20编辑于 2021-12-06 - 来自专栏最新最全的大数据技术体系
【Spark Streaming】Spark Day11：Spark Streaming 学习笔记
Spark Day11：Spark Streaming 01-[了解]-昨日课程内容回顾 主要讲解：Spark Streaming 模块快速入门 1、Streaming 流式计算概述 - Streaming {DStream, InputDStream} import org.apache.spark.streaming.kafka010._ import org.apache.spark.streaming org.apache.spark.streaming. org.apache.spark spark-sql_${scala.binary.version} ${spark.version } ${spark.version} org.apache.spark spark-streaming-kafka
1.7K10编辑于 2021-12-06 - 来自专栏后端精进之路
Spark系列 - (5) Spark Shuffle
参与决定分区数的参数defaultMinPartitions也是由该参数确定的， defaultMinPartitions=min(spark.default.parallelism, 2) 由于spark 扩展：Tungsten-Sort Based Shuffle / Unsafe Shuffle 从 Spark 1.5.0 开始，Spark 开始了钨丝计划（Tungsten），目的是优化内存和CPU的使用 ，进一步提升spark的性能。 从Spark-2.0.0开始，Spark 把 Hash Shuffle 移除，可以说目前 Spark-2.0 中只有一种 Shuffle，即为 Sort Shuffle。 如果spark.shuffle.spill = false就只用内存。
1.4K11编辑于 2023-10-19 - 来自专栏悠扬前奏的博客
Spark-0.Spark和Hadoop
hbase：实时增删改查 storm：流处理 mahout ：机器学习 其他工具 而Spark的出现就是为了解决MapReduce计算缓慢的问题： Spark 需要替换掉Hadoop生态体系中计算部分 ： 1.1 能计算实施批处理 mapreduce RDD 1.2 交互式查询 hbase - Spark SQL 1.3 流式处理 storm - Spark streaming 1.4 图计算 Spark在Hadoop生态体系中的作用 2. Spark相对于Hadoop做的优化 2.1 减少磁盘IO MapReduce：基于磁盘（所有计算结果都会去到磁盘），对于多个MapRuduce合作，会造成平凡的磁盘IO Spark：基于内存，所有的Task Spark：用户想指定排序就排序，否则不排序 2.5 灵活的内存管理策略 Spark可以对不同阶段，不同组建，对内存灵活配置。
78030发布于 2019-05-29 - 来自专栏王小雷
Spark学习之Spark Streaming（9）
Spark学习之Spark Streaming（9） 1. Spark Streaming允许用户使用一套和批处理非常接近的API来编写流式计算应用，这就可以大量重用批处理应用的技术甚至代码。 2. Spark Stream的简单例子 需求：使用maven或者sbt打包编译出来独立应用的形式运行。 //Maven 索引 groupID = org.apache.spark artifactID = spark-steaming_2.10 version = 1.2.0 //Scala流计算import声明 import org.apache.spark.streaming.StreamingContext import org.apache.spark.streaming.StreamingContext ._ import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.Duration
1.3K100发布于 2018-01-02 - 来自专栏数据科学与人工智能
【Spark研究】Spark之工作原理
基本概念 理解Spark的运行模式涉及一系列概念： （1）Cluster Manager：在集群上获取资源的外部服务。目前有三种类型：1. Standalone, Spark原生的资源管理；2. （9）RDD：Spark的基本数据操作抽象，可以通过一系列算子进行操作。RDD是Spark最核心的东西，可以被分区、被序列化、不可变、有容错机制，并且能并行操作的数据集合。 /bin/spark-submit --master local[*] # 以CPU个数个线程本地运行 spark://HOST:PORT Spark独立部署模式，需要部署Spark到相关节点， spark.master --master spark://xx:7077 mesos://HOST:PORT Mesos模式，需要部署Spark和Mesos到相关节点。 工作流程 无论运行在哪种模式下，Spark作业的执行流程都是相似的，主要有如下八步： 客户端启动，提交Spark Application, 一般通过spark-submit来完成。
1.8K51发布于 2018-02-27 - 来自专栏王小雷
Spark学习之Spark SQL（8）
Spark学习之Spark SQL（8） 1. Spark用来操作结构化和半结构化数据的接口——Spark SQL、 2. Spark SQL的三大功能 2.1 Spark SQL可以从各种结构化数据（例如JSON、Hive、Parquet等）中读取数据。 2.2 Spark SQL不仅支持在Spark程序内使用SQL语句进行查询，也支持从类似商业智能软件Tableau这样的外部工具中通过标准数据库连接器（JDBC/ODBC）连接Spark SQL进行查询 2.3 当在Spark程序内使用Spark SQL时，Spark SQL支持SQ与常规的Python/Java/Scala代码高度整合，包括连接RDD与SQL表、公开的自定义SQL函数接口等。 3. 连接Spark SQL 带有Hive支持的Spark SQL的Maven索引 groupID =org.apache.spark artifactID = spark-hive_2.10
1.6K70发布于 2018-01-02 - 来自专栏最新最全的大数据技术体系
【Spark】Spark Core Day04
org.apache.spark. import org.apache.spark.rdd.RDD import org.apache.spark. import org.apache.spark.rdd.RDD import org.apache.spark. import org.apache.spark.rdd.RDD import org.apache.spark. cn.itcast.spark.ckpt import org.apache.spark.
77510编辑于 2021-12-07 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark故障解决（troubleshooting）
一、前述 本文总结了常用的Spark的troubleshooting。 二、具体 1、shuffle file cannot find：磁盘小文件找不到。 1) connection timeout ----shuffle file cannot find 提高建立连接的超时时间，或者降低gc，降低gc了那么spark不能堆外提供服务的时间就少了，那么超时的可能就会降低
70821发布于 2018-09-13 - 来自专栏迁移内容
Spark初识-什么是Spark
Spark streaming）、机器学习（MLlib）、SQL分析（Spark SQL）和图计算（GraphX）。 这一站式的计算框架，包含了Spark RDD(这也是Spark Core用于离线批处理)、Spark SQL(交互式查询)、Spark Streaming(实时流计算)、MLlib(机器学习)、GraphX ， 2014年2月，Spark 成为 Apache 的顶级项目 2014年11月, Spark的母公司Databricks团队使用Spark刷新数据排序世界记录 Spark 成功构建起了一体化、多元化的大数据处理体系 三、Spark的优点 Spark之所以这么受关注，主要是因为其有与其他大数据平台不同的特点，主要如下。 ），这是个惊人的增长 *、本文参考 Spark官网 深入浅出，一文让你了解什么是Spark Spark入门——什么是Hadoop，为什么是Spark?
3.2K10编辑于 2022-12-01 - 来自专栏后端精进之路
Spark系列 - (3) Spark SQL
Shark：2011年Shark诞生，即Hive on Spark。 2014年7月，spark团队将Shark转给Hive进行管理，Hive on Spark是一个Hive的也就是说，Hive将不再受限于一个引擎，可以采用Map-Reduce、Tez、Spark等引擎； Spark SQL作为Spark生态的一员诞生，不再受限于Hive，只是兼容Hive。 3.3 Spark SQL优化 Catalyst是spark sql的核心，是一套针对spark sql 语句执行过程中的查询优化框架。 因此要理解spark sql的执行流程，理解Catalyst的工作流程是理解spark sql的关键。而说到Catalyst，就必须提到下面这张图了，这张图描述了spark sql执行的全流程。
4.2K10编辑于 2023-10-19 - 来自专栏用户画像
Spark学习：Spark源码和调优简介 Spark Core (一）
本文基于 Spark 2.4.4 版本的源码，试图分析其 Core 模块的部分实现原理，其中如有错误，请指正。为了简化论述，将部分细节放到了源码中作为注释，因此正文中是主要内容。 Spark Core RDD RDD(Resilient Distributed Dataset)，即弹性数据集是 Spark 中的基础结构。 take是行动操作，返回的是一个数组而不是 RDD 了，如下所示 scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3)) rdd1: org.apache.spark.rdd.RDD Array(10) scala> rdd1.take(2) res1: Array[Int] = Array(10, 4) 转换操作是 Lazy 的，直到遇到一个 Eager 的 Action 操作，Spark 这些 Action 操作将一个 Spark Application 分为了多个 Job。
59710发布于 2020-04-08 - 来自专栏最新最全的大数据技术体系
Spark_Day01：Spark 框架概述和Spark 快速入门
Spark Day01：Spark 基础环境 预习视频： https://www.bilibili.com/video/BV1uT4y1F7ap Spark：基于Scala语言 Flink：基于Java 语言 01-[了解]-Spark 课程安排 总的来说分为Spark 基础环境、Spark 离线分析和Spark实时分析三个大的方面，如下图所示： 目前在企业中使用最多Spark框架中模块：SparkSQL 02-[了解]-内容提纲 主要讲解2个方面内容：Spark 框架概述和Spark 快速入门。 1、Spark 框架概述 是什么？ 04-[了解]-Spark 框架概述【Spark 四大特点】 Spark具有运行速度快、易用性好、通用性强和随处运行等特点。 8、SparkR：支持R语言 http://spark.apache.org/docs/2.4.5/sparkr.html 06-[理解]-Spark 框架概述【Spark 运行模式】 Spark
1.1K20编辑于 2022-05-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号