Spark RDD算子 图片无法加载请跳转CSDN:Spark RDD算子-CSDN博客 转换算子(Transformation Operators) 类别 算子名称 简要介绍 映射类算子 map 对RDD中的每个元素进行操作,返回一个新的RDD flatMap 类似于map,但每个输入元素可映射到0或多个输出元素 mapPartitions 对RDD的每个分区中的元素进行操作,返回一个新的RDD 2024-08-04 大数据 > spark #bigData #spark
Scala 练习一 将Mysql表数据导入HBase 续第一篇:Java代码将Mysql表数据导入HBase表 源码仓库地址:https://gitee.com/leaf-domain/data-to-hbase图片无法加载请跳转CSDN:Scala 练习一 将Mysql表数据导入HBase-CSDN博客 一、整体介绍 HBase特质 连接HBase, 创建HBase执行对象 初始化配置信息:多条(hbase.zookeeper.quoru 2024-08-04 大数据 > Scala #bigData #Scala
什么是Spark RDD?(RDD的介绍与创建) 图片无法加载请跳转CSDN:什么是Spark RDD?(RDD的介绍与创建)-CSDN博客 一、RDD介绍 RDD: 弹性分布式数据集(Resilient Distributed Datasets)核心概念:Spark的核心数据抽象。通过对RDD的理解和使用,可以在分布式计算环境中高效地处理和计算大规模数据 1、特点 分布式数据集:RDD是只读的、分区记录的集合,每个分区分布在集群的不同节点上。 2024-08-04 大数据 > spark #bigData #spark
Spark 基础 与 安装 图片无法加载请跳转CSDN:Spark 基础 与 安装-CSDN博客 Spark 基础一、MapReduce编程模型的局限性1、繁杂:只有Map和Reduce两个操作,复杂的逻辑需要大量的样板代码2、处理效率低: Map中间结果写磁盘,Reduce写HDFS,多个Map通过HDFS交换数据 任务调度与启动开销大3、不适合迭代处理、交互式处理和流式处理 二、Spark是类Hadoop M 2024-08-04 大数据 > spark #bigData #spark
cha04 hadoop ha1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253# 时间同步yum -y install ntpdate.x86_64ntpdate -u cn.pool.ntp.org#解压并重命名tar -zxvf /opt/downl 2024-07-17
Scala 补充 正则、异常处理... Scala 补充 正则、异常处理…基于前几篇文章 (Scala介绍与环境搭建、Scala 第一篇 基础篇、Scala 第二篇 算子篇、Scala 第三篇 OOP篇) 补充 一、正则 1、匹配 2、替换 3、分割 4、分组 5、练习 二、异常处理 三、类 型信息处理 一、正则1、匹配 简单匹配 1234// 判断content是否为数字val content: String = " 2024-05-16 大数据 > Scala #bigData #Scala
Codeforces Round 932 (Div. 2) Codeforces Round 932 (Div. 2) (A~D) 目录:A B C D A题:Card Exchange标签: 贪心策略(greedy) 题目大意 给 n 张牌,每张牌上都写着一个数字,还有一个固定整数 k,可以多次进行下面的运算: 从手牌中任意选择 k 张数字相同的牌 将这些牌换成 k−1张牌,每张牌上数字任意 最少有多少张牌? 思路 分两 2024-04-28 算法刷题 > codeforces #算法竞赛
Scala 第三篇 OOP篇 Scala 第三篇 OOP篇 前序 一、类 1、修饰符 2、创建类示例 3、类的继承 二、抽象类 三、单例对象 四、特质 1、动态混入 2、抽象类 VS 特质 五、内部类 六、样例类 七、枚举 八、泛型 九、隐式类 十、包与包对象 练习 前序 1、Scala 为纯粹OOP1.1、不支持基本类型:一切皆为对象 Byte, Int,…1.2、不支持静态关键字:static1.3、支持类型推断 2024-04-21 大数据 > Scala #bigData #Scala
Scala 第一篇 基础篇 Scala 第一篇 基础篇 一、变量与常量 1、变量 2、常量 二、数据类型 1、数据基本类型概览 2、元组的声明与使用 3、Range介绍和使用 4、Option 类型的使用和设计 5、类型别名 三、运算符 四、程序逻辑 1、一切都是表达式 2、分支语句 if...else 语句 模式匹配(重点) 3、循环语句 while循环 do while循环 for 循环 五、集合 1 2024-04-15 大数据 > Scala #bigData #Scala
Codeforces Round 938 (Div. 3) Codeforces Round 938 (Div. 3) (A~E) 目录:A B C D E A题:Yogurt Sale标签: 数学(math) 题目大意 酸奶价格, a 元一份,b元两份n 问:买n份最少多少钱 思路 a元一份,b元两份,总有一个比较低,一份一份买或两份两份买取小的一个即可,特判n为奇数多买一个a AC代码 12345678910111213141 2024-04-09 算法刷题 > codeforces #算法竞赛