自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Cindy的博客

日积月累,望尘莫及。

  • 博客(21)
  • 资源 (7)
  • 论坛 (1)
  • 收藏
  • 关注

原创 [Scala] Scala 学习笔记 (11) - 隐式转换

隐式转换隐式转换在工作中,能不用就不用,读代码难度很大,不利于team work。 场景:已有一个类,要基于这个类添加一个方法。Java的实现思路:如果要添加的方法很少,用继承或者装饰可以完成。如果要添加的方法很多,最好的方法是使用代理。其中代理又分静态代理和动态代理:静态代理:持有动态代理:JDK,代理的是一个接口; CGLIB: 是一个类Scala的实现思路...

2018-07-26 11:08:58 126

原创 [Scala] Scala 学习笔记 (10) - 面向对象 (待补充)

Scala面向对象1. 类 class类的定义// 定义一个类class People { // 定义属性// var name:String = "" var name:String = _ // name这里也可以直接使用占位符占位 val age = 10 private[this] val gender = "M" // gender是类Peo...

2018-07-25 15:02:34 121

原创 [Scala] Scala 学习笔记 (9) - 入参的颗粒化

颗粒化:Currying。将原来函数的2个入参拆开,分别写在两个括号里面。 /** * * currying 颗粒化 * 将原来函数的2个入参拆开 * 这种做法在Spark SQL UDF里面常用 */ def sum(a:Int, b:Int) = a + b def sum2(a:Int)(b:Int) = a + b println...

2018-07-25 14:03:42 250

原创 [Scala] Scala 学习笔记 (8) - 字符串插值

字符串定义定义单行字符串 val s = "Hello Scala"定义多行的字符串 // 多行:按住shift,敲三下双引号"""""" val s1 = """ |hello world |hello scala |hello spark """.stripMargin字符串插值(变

2018-07-25 00:03:07 94

原创 [Scala] Scala 学习笔记 (7) - 异常处理

Scala异常处理Scala异常处理:      try {        语句    } catch {        case e: ArithmeticException => println(e.getMessage)        case e: FileNotFoundException => println(e.getMessage)        ca...

2018-07-24 23:57:00 139

原创 [Scala] Scala 学习笔记 (6) - 模式匹配

Scala模式匹配模式匹配在工作中比较少用到,典型的场景就是异常捕获和偏函数。1. 模式匹配模式匹配规范: 变量 match { case 值 => 代码 case 值 => 代码 case - => 代码 }模式匹配函数 import scala.util.Random val ...

2018-07-24 23:55:11 89

原创 [Scala] Scala 学习笔记 (5) - 文件操作 (待补充)

文件操作 文件操作 入参的颗粒化:将原来函数的2个入参拆开 => def sum(a:Int, b:Int) = a + b ==> def sum2(a:Int)(b:Int) = a + b 文件读取 Source.fromFile("test.txt")(Codec.UTF8) Source.fromURL("http:...

2018-07-24 23:44:14 79

原创 [Scala] Scala 学习笔记 (4) - 高阶函数 (待补充)

高阶函数 高阶函数 map:对集合中的每一个元素都做一个操作 foreach:循环遍历集合 filter:过滤结果集 take:取集合里面的元素 reduce:两两相邻的元素做某一个操作 reduce/reduceLeft/reduceRight: 两两相邻的元素做某一个操作 fold/foldLeft/foldRi...

2018-07-24 23:39:00 96

原创 [Scala] Scala 学习笔记 (3) - 集合 (待补充)

Scala集合集合要掌握的基本内容:集合创建 集合赋值 集合取值1. Array 数组定长数组:Array // 数组定义 val a = new Array[String](5) // 数组定义并赋值 val a1 = Array("aaa","bbb","ccc") // 这种定义方法必然是调用了object中的apply方法,在appl...

2018-07-24 23:13:07 90

原创 [Scala] Scala 学习笔记 (2) - 函数

Scala函数 1. 定义函数格式:定义   函数名(参数列表):返回值 = {函数体}def func(x:Int, y:Int, ...) : 返回值 = { ... xxxx // 最后一行默认为返回值 }标准函数:有入参、出参、有返回值 def add(x:Int, y:Int):Int = { x...

2018-07-24 19:12:03 70

原创 [Scala] IDEA + Maven + Scala + scalikejdbc 读写MySQL

1. 新建一个maven + scala 的 工程2. 导入依赖 <properties> <scala.version>2.11.8</scala.version> <scalikejdbc.version>2.5.2</scalikejdbc.version> <mysql.version&g...

2018-07-18 10:19:55 588

原创 [Spark] 使用IDEA构建Spark应用程序实例

环境:本地:win7 + jdk1.8 + IntelliJ IDEA 2018.1.2 + maven-3.3.9 + scala插件,机器要求可以联网(需要下载各种依赖包)远程:CentOS7.3 + jdk1.8 + scala-2.11.12 + hadoop-2.6.0-cdh5.7.0 + hive-1.1.0-cdh5.7.0-bin + spark-2.2.0-bin-2....

2018-07-16 18:35:54 370

原创 [Spark] 使用IDEA构建Spark应用程序

环境:本地:win7 + jdk1.8 + IntelliJ IDEA 2018.1.2 + maven-3.3.9 + scala插件,机器要求可以联网(需要下载各种依赖包)远程:CentOS7.3 + jdk1.8 + scala-2.11.12 + hadoop-2.6.0-cdh5.7.0 + hive-1.1.0-cdh5.7.0-bin + spark-2.2.0-bin-2....

2018-07-13 16:21:00 2081

原创 [Spark] RDD中JOIN的使用

JOIN在Spark Core中的使用1. inner joininner join,只返回左右都匹配上的// 启动spark-shell,定义两个rdd,做join操作[hadoop@hadoop01 ~]$ spark-shell --master local[2]scala> val a = sc.parallelize(Array(("A","a1"),("B","b1"),("...

2018-07-13 11:27:58 16116

原创 [Spark] RDD的基本操作

1. RDD的基本操作RDD支持两种类型的操作:1) transformations,转换。从一个RDD转换成另外一个RDD(RDD是不可变的)。   例如:map函数,对RDD里每一个元素做同一件事,将一个RDD转换成另外一个RDD   RDDA(1,2,3,4,5)        map( +1 )        RDDB(2,3,4,5,6)2) actions,操作。它会在数据集上计算后返...

2018-07-12 21:50:04 1119

原创 [Spark] RDD的创建

创建RDD的方式:1 - 测试:通过并行化一个已经存在的集合,转化成RDD;2 - 生产:引用一些外部的数据集(共享的文件系统,包括HDFS、HBase等支持Hadoop InputFormat的都可以)。第一种方式创建RDD[hadoop@hadoop01 ~]$ spark-shell --master local[2]Using Spark's default log4j profile:...

2018-07-12 17:39:52 2261

原创 [Spark] spark-shell 命令使用

环境:操作系统:CentOS7.3Java: jdk1.8.0_45Hadoop:hadoop-2.6.0-cdh5.14.0.tar.gz 1. spark-shell 使用帮助[hadoop@hadoop01 ~]$ cd app/spark-2.2.0-bin-2.6.0-cdh5.7.0/bin[hadoop@hadoop01 bin]$ ./spark-shell --helpUsa...

2018-07-12 15:34:34 13962

原创 [Spark] 使用IDEA构建Spark应用程序

1. IDEA新建一个maven+scala的project点击Finish之后静待项目初始化完成2. 修改pom.xml配置文件2.1 修改<properties>标签 <properties> <scala.version>2.11.8</scala.version> # Scala默认版本为2.7.0,修改为2.11.8 ...

2018-07-12 14:35:17 203

原创 [Scala] MAC 下安装scala及IntelliJ IDEA的scala插件

MAC OSX,已有IntelliJ IDEA 1. 安装scala官网下载scala安装包并解压Cindys-MacBook-Pro:Downloads gongli$ tar -zxvf scala-2.11.12.tgz -C /usr/local/share/Cindys-MacBook-Pro:~ gongli$ cd /usr/local/share/scala-2...

2018-07-11 19:48:01 3936

原创 [Scala] Scala 学习笔记 (1) - 基本语法

1. 什么是ScalaScala是一门多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性,Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。2. 为什么要学Scala1) 优雅:这是框架设计师第一个要考虑的问题,框架的用户是应用开发程序员,API是否优雅直接影响用户体验;2) 速度快:Scala语言表达能力强,一行代码抵得上Java多行...

2018-07-09 19:47:03 151

原创 [Spark] Spark-2.2.0 源码编译

环境:操作系统:CentOS7.3Maven:maven-3.5.4JDK:jdk-1.8.0_45Scala:2.11.12备注:本文编译和安装spark全过程使用hadoop用户,除标注了切换root用户的地方以外,其他均是hadoop用户操作。1. 下载Spark源码进入spark官网,选择最新版本的spark,包类型选择source code,右键复制链接地址后去服务器上下载。# 下载sp...

2018-07-09 09:55:19 765

glibc-2.14.1 全套rpm包(CentOS6)

CentOS6.X升级glibc-2.14全套rpm包,安装后glibc由2.12升级到2.14 $ strings /lib64/libc.so.6 | grep GLIBC GLIBC_2.2.5 GLIBC_2.2.6 GLIBC_2.3 GLIBC_2.3.2 GLIBC_2.3.3 GLIBC_2.3.4 GLIBC_2.4 GLIBC_2.5 GLIBC_2.6 GLIBC_2.7 GLIBC_2.8 GLIBC_2.9 GLIBC_2.10 GLIBC_2.11 GLIBC_2.12 GLIBC_PRIVATE $ rpm -Uvh glibc-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-common-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-devel-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-headers-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-static-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-utils-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh nscd-2.14.1-6.x86_64.rpm --nodeps $ strings /lib64/libc.so.6 | grep GLIBC GLIBC_2.2.5 GLIBC_2.2.6 GLIBC_2.3 GLIBC_2.3.2 GLIBC_2.3.3 GLIBC_2.3.4 GLIBC_2.4 GLIBC_2.5 GLIBC_2.6 GLIBC_2.7 GLIBC_2.8 GLIBC_2.9 GLIBC_2.10 GLIBC_2.11 GLIBC_2.12 GLIBC_2.13 GLIBC_2.14 GLIBC_PRIVATE

2020-08-11

Python监控CentOS磁盘空间,磁盘空间利用大于80%则发邮件通知

Python监控CentOS磁盘空间,磁盘空间利用大于80%则发邮件通知。

2017-01-13

PyPDF2解析pdf文件提取内容插入数据库

Python3.X+PyPDF2解析指定文件夹下的pdf文件,提取文件内容并写入mysql数据库

2016-10-19

MySQL创建日历表

存储过程创建日历表,用来与数据库中其他表做联合查询时补全没有数据的表

2016-09-21

Axure RP 7.0 汉化包

将汉化包解压后的lang文件夹复制到Axure RP Pro 7.0的安装目录下,即可完成汉化!重启Axure即可生效。

2016-03-01

Linux下面django开发环境搭建

CentOS下面django开发环境搭建详细步骤,附log

2015-11-19

Navicat Premium_11.1.8简体中文版

Navicat Premium_11.1.8简体中文版,包括win32和win64,带激活补丁

2015-11-14

cindysz110的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除