自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Cindy的博客

日积月累,望尘莫及。

原创 [Scala] Scala 学习笔记 (11) - 隐式转换

隐式转换 隐式转换在工作中,能不用就不用,读代码难度很大,不利于team work。   场景:已有一个类,要基于这个类添加一个方法。 Java的实现思路: 如果要添加的方法很少,用继承或者装饰可以完成。 如果要添加的方法很多,最好的方法是使用代理。其中代理又分静态代理和动态代理: ...

2018-07-26 11:08:58 100 0

原创 [Scala] Scala 学习笔记 (10) - 面向对象 (待补充)

Scala面向对象 1. 类 class 类的定义 // 定义一个类 class People { // 定义属性 // var name:String = "" var name:String = _ // name这里也可以直接使用占位符占位 v...

2018-07-25 15:02:34 112 0

原创 [Scala] Scala 学习笔记 (9) - 入参的颗粒化

颗粒化:Currying。将原来函数的2个入参拆开,分别写在两个括号里面。 /** * * currying 颗粒化 * 将原来函数的2个入参拆开 * 这种做法在Spark SQL UDF里面常用 */ def sum(a:Int, b:Int)...

2018-07-25 14:03:42 217 0

原创 [Scala] Scala 学习笔记 (8) - 字符串插值

字符串定义 定义单行字符串 val s = "Hello Scala" 定义多行的字符串 // 多行:按住shift,敲三下双引号"""""" val s1 = ""...

2018-07-25 00:03:07 77 0

原创 [Scala] Scala 学习笔记 (7) - 异常处理

Scala异常处理 Scala异常处理:       try {         语句     } catch {         case e: ArithmeticException => println(e.getMessage)         case e: FileN...

2018-07-24 23:57:00 127 0

原创 [Scala] Scala 学习笔记 (6) - 模式匹配

Scala模式匹配 模式匹配在工作中比较少用到,典型的场景就是异常捕获和偏函数。 1. 模式匹配 模式匹配规范: 变量 match { case 值 => 代码 case 值 => 代码 case - ...

2018-07-24 23:55:11 80 0

原创 [Scala] Scala 学习笔记 (5) - 文件操作 (待补充)

文件操作   文件操作 入参的颗粒化:将原来函数的2个入参拆开 => def sum(a:Int, b:Int) = a + b ==> def sum2(a:Int)(b:Int) = a + b 文件读取 Source.fro...

2018-07-24 23:44:14 68 0

原创 [Scala] Scala 学习笔记 (4) - 高阶函数 (待补充)

高阶函数   高阶函数 map:对集合中的每一个元素都做一个操作 foreach:循环遍历集合 filter:过滤结果集 take:取集合里面的元素 reduce:两两相邻的元素做某一个操作 reduce/reduceLeft/redu...

2018-07-24 23:39:00 79 0

原创 [Scala] Scala 学习笔记 (3) - 集合 (待补充)

Scala集合 集合要掌握的基本内容: 集合创建 集合赋值 集合取值 1. Array 数组 定长数组:Array // 数组定义 val a = new Array[String](5) // 数组定义并赋值 val a1 = Array(&quo...

2018-07-24 23:13:07 84 0

原创 [Scala] Scala 学习笔记 (2) - 函数

Scala函数   1. 定义函数 格式:定义   函数名(参数列表):返回值 = {函数体} def func(x:Int, y:Int, ...) : 返回值 = { ... xxxx // 最后一行默认为返回值 } 标准函数:有入参、...

2018-07-24 19:12:03 58 0

原创 [Scala] IDEA + Maven + Scala + scalikejdbc 读写MySQL

1. 新建一个maven + scala 的 工程 2. 导入依赖 <properties> <scala.version>2.11.8</scala.version> <s...

2018-07-18 10:19:55 529 0

原创 [Spark] 使用IDEA构建Spark应用程序实例

环境: 本地:win7 + jdk1.8 + IntelliJ IDEA 2018.1.2 + maven-3.3.9 + scala插件,机器要求可以联网(需要下载各种依赖包) 远程:CentOS7.3 + jdk1.8 + scala-2.11.12 + hadoop-2.6.0-cdh5...

2018-07-16 18:35:54 320 0

原创 [Spark] 使用IDEA构建Spark应用程序

环境: 本地:win7 + jdk1.8 + IntelliJ IDEA 2018.1.2 + maven-3.3.9 + scala插件,机器要求可以联网(需要下载各种依赖包) 远程:CentOS7.3 + jdk1.8 + scala-2.11.12 + hadoop-2.6.0-cdh5...

2018-07-13 16:21:00 1810 0

原创 [Spark] RDD中JOIN的使用

JOIN在Spark Core中的使用1. inner joininner join,只返回左右都匹配上的// 启动spark-shell,定义两个rdd,做join操作 [hadoop@hadoop01 ~]$ spark-shell --master local[2] scala&gt...

2018-07-13 11:27:58 13327 0

原创 [Spark] RDD的基本操作

1. RDD的基本操作RDD支持两种类型的操作:1) transformations,转换。从一个RDD转换成另外一个RDD(RDD是不可变的)。   例如:map函数,对RDD里每一个元素做同一件事,将一个RDD转换成另外一个RDD   RDDA(1,2,3,4,5)        map( +...

2018-07-12 21:50:04 940 0

原创 [Spark] RDD的创建

创建RDD的方式:1 - 测试:通过并行化一个已经存在的集合,转化成RDD;2 - 生产:引用一些外部的数据集(共享的文件系统,包括HDFS、HBase等支持Hadoop InputFormat的都可以)。第一种方式创建RDD[hadoop@hadoop01 ~]$ spark-shell --m...

2018-07-12 17:39:52 1678 0

原创 [Spark] spark-shell 命令使用

环境:操作系统:CentOS7.3Java: jdk1.8.0_45Hadoop:hadoop-2.6.0-cdh5.14.0.tar.gz 1. spark-shell 使用帮助[hadoop@hadoop01 ~]$ cd app/spark-2.2.0-bin-2.6.0-cdh5.7.0/...

2018-07-12 15:34:34 12187 0

原创 [Spark] 使用IDEA构建Spark应用程序

1. IDEA新建一个maven+scala的project点击Finish之后静待项目初始化完成2. 修改pom.xml配置文件2.1 修改<properties>标签 <properties> <scala.ver...

2018-07-12 14:35:17 194 0

原创 [Scala] MAC 下安装scala及IntelliJ IDEA的scala插件

MAC OSX,已有IntelliJ IDEA   1. 安装scala 官网下载scala安装包并解压 Cindys-MacBook-Pro:Downloads gongli$ tar -zxvf scala-2.11.12.tgz -C /usr/local/share/ Cindy...

2018-07-11 19:48:01 3507 0

原创 [Scala] Scala 学习笔记 (1) - 基本语法

1. 什么是Scala Scala是一门多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性,Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。 2. 为什么要学Scala 1) 优雅:这是框架设计师第一个要考虑的问题,框架的用户是应用开发程序员,...

2018-07-09 19:47:03 136 0

原创 [Spark] Spark-2.2.0 源码编译

环境:操作系统:CentOS7.3Maven:maven-3.5.4JDK:jdk-1.8.0_45Scala:2.11.12备注:本文编译和安装spark全过程使用hadoop用户,除标注了切换root用户的地方以外,其他均是hadoop用户操作。1. 下载Spark源码进入spark官网,选择...

2018-07-09 09:55:19 645 0

提示
确定要删除当前文章?
取消 删除