自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Cindy的博客

日积月累,望尘莫及。

原创 [Redis] Python 访问Redis

代码 import redis red = redis.Redis(host='192.168.1.8', port=6379, db=3, password='password') def red_conn(key...

2018-08-30 14:47:52 71 0

原创 [Git] Gitlab操作远程分支

克隆远程仓库到本地 git clone https://github.com/anyone/anyproject.git 进入本地仓库项目文件夹 cd anyproject 查看远程分支 git branch -r 查看本地分支 git branch 拉取远程分支branc...

2018-08-30 13:58:11 1847 0

原创 [Hadoop] 使用Spark SQL来访问Hive里面的数据

1. 环境准备 1.1 安装Hive 1.2 安装Spark 1.3 拷贝hive的conf下的hive-site.xml到spark的conf目录下 [hadoop@hadoop000 ~]$ cd app/spark [hadoop@hadoop000 spark]$ cp ~/ap...

2018-08-29 22:42:05 2383 0

原创 [Hadoop] Spark SQL

Spark SQL Spark SQL is Apache Spark's module for working with structured data. 由于Hive太慢而产生的一系列SQL on Hadoop框架: Hive:优点上手快,缺点运行速度太慢 Impala P...

2018-08-29 21:55:24 103 0

原创 [Hadoop] Zookeeper watcher

  1. 基本概念 Zookeeper 针对每个节点的操作,都有一个监督站:watcher。 zk watcher有两种,一种是zk server端的,另外一种是zk client端的: server端的watcher是一次性的,每个watcher只监听一次(只能监听一个操作),监听完就没...

2018-08-28 22:50:53 73 0

原创 [Hadoop] Zookeeper伪分布式集群部署

1. Zookeeper集群概念 ZK集群:3个节点,一个leader,2个follower   2. 伪分布式集群部署 伪分布式:1台机器上面搭建多个ZK节点 2.1 解压安装zk 解压zookeeper安装包并拷贝成三份,也就是三个zk节点 [hadoop@hadoop000 ...

2018-08-27 23:57:18 155 0

原创 [Hadoop] Kafka + Spark Streaming 数据零丢失

    Kafka:输入 Spark Streaming:伪实时流处理 batch批次 1s :> = 0 0,1...100... DB:输出 Redis/ES 雪崩效应  Job全部hung在那里 解决一般是手工kill ==> 如何保证数据0丢失 流处理程...

2018-08-27 16:06:35 457 0

原创 [Linux] CentOS7.X安装netcat

CentOS7.X 安装netcat [root@hadoop01 yum.repos.d]# yum -y install nmap-ncat 使用帮助 [root@hadoop01 yum.repos.d]# nc -help Ncat 7.50 ( https://nmap.org...

2018-08-24 19:36:59 1800 0

原创 [Hadoop] Zookeeper 安装部署与简单操作

Zookeeper - 负责分布式系统的协调服务。 Hadoop集群中,zk节点的数量 n/2+1个,其中n>1,一般集群中zk的数量为3/5/7/9个。多个zk可以搭在同一个节点上。   1. Zookeeper下载安装 我的环境使用的是cdh5.7.0版本的套件,所以zo...

2018-08-23 23:17:23 434 0

原创 [Hadoop] hadoop-2.6.0-cdh5.7.0 编译报错“maven-shade-plugin”解决

CDH版本hadoop(hadoop-2.6.0-cdh5.7.0)编译报错,使用编译加上-X命令打印出来详细错误信息: [WARNING] Could not transfer metadata org.apache.maven.plugins:maven-shade-plugin/mave...

2018-08-21 15:16:09 874 0

原创 [Hadoop] Hadoop源码编译时“Remote host closed connection during handshake: SSL peer shut down” 错误解决

Hadoop源码编译时经常碰到下面这种错误,“Remote host closed connection during handshake: SSL peer shut down incorrectly”,原因是网络问题,下载jar包的时候与远程仓库断开了连接。 [hadoop@cassand...

2018-08-16 15:19:19 1233 0

原创 [Hadoop] Hive表的file_format参数

Hive官网   1. file_format Hive的建表语句里面有一个STORED AS file_format结合使用的方法,指定hive的存储格式。不仅能节省hive的存储空间,还可以提高执行效率。 file_format: : SEQUENCEFILE | TEXT...

2018-08-14 22:19:33 2717 0

原创 [Linux] CentOS7 给非root用户添加root权限

修改/etc/sudoers配置文件,添加一行 [root@VM ~]# vi /etc/sudoers ## Allow root to run any commands anywhere root ALL=(ALL) ALL hadoop ALL=(ALL) NOP...

2018-08-14 11:21:16 5231 0

原创 [Hadoop] Hadoop中压缩的使用

1. 常用缩格式 压缩格式需要关注两个因素: 压缩比(Compression Ratio): Snappy < LZ4 < LZO < GZIP < BZIP2 其中,BZIP2的压缩比大概是30%,Snappy/LZ4/LZO的压缩比...

2018-08-13 17:51:45 614 0

提示
确定要删除当前文章?
取消 删除