自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Cindy的博客

日积月累,望尘莫及。

  • 博客(13)
  • 资源 (7)
  • 论坛 (1)
  • 收藏
  • 关注

原创 [Redis] Python 访问Redis

代码import redisred = redis.Redis(host='192.168.1.8', port=6379, db=3, password='password')def red_conn(key): try: if red.exists(key): red_data = red.get(...

2018-08-30 14:47:52 86

原创 [Git] Gitlab操作远程分支

克隆远程仓库到本地git clone https://github.com/anyone/anyproject.git进入本地仓库项目文件夹cd anyproject查看远程分支git branch -r查看本地分支git branch拉取远程分支branch_name并创建为同名的本地分支branch_namegit fetch origin bra...

2018-08-30 13:58:11 2308

原创 [Hadoop] 使用Spark SQL来访问Hive里面的数据

1. 环境准备1.1 安装Hive1.2 安装Spark1.3 拷贝hive的conf下的hive-site.xml到spark的conf目录下[hadoop@hadoop000 ~]$ cd app/spark[hadoop@hadoop000 spark]$ cp ~/app/hive-1.1.0-cdh5.7.0/conf/hive-site.xml conf/1.4...

2018-08-29 22:42:05 2514

原创 [Hadoop] Spark SQL

Spark SQLSpark SQL is Apache Spark's module for working with structured data.由于Hive太慢而产生的一系列SQL on Hadoop框架:Hive:优点上手快,缺点运行速度太慢 Impala Presto:国内有京东在使用 Shark:把hive跑在spark之上 Drill HAWQ Phoen...

2018-08-29 21:55:24 135

原创 [Hadoop] Zookeeper watcher

 1. 基本概念Zookeeper 针对每个节点的操作,都有一个监督站:watcher。zk watcher有两种,一种是zk server端的,另外一种是zk client端的:server端的watcher是一次性的,每个watcher只监听一次(只能监听一个操作),监听完就没了。 client端的API不是一次性的,会一直监听。 2. ZK自带的watcher(一次性...

2018-08-28 22:50:53 97

原创 [Hadoop] Zookeeper伪分布式集群部署

1. Zookeeper集群概念ZK集群:3个节点,一个leader,2个follower 2. 伪分布式集群部署伪分布式:1台机器上面搭建多个ZK节点2.1 解压安装zk解压zookeeper安装包并拷贝成三份,也就是三个zk节点[hadoop@hadoop000 app]$ cp -r zookeeper-3.4.5-cdh5.7.0 zk001[hadoop@...

2018-08-27 23:57:18 189

原创 [Hadoop] Kafka + Spark Streaming 数据零丢失

  Kafka:输入Spark Streaming:伪实时流处理 batch批次 1s :> = 0 0,1...100...DB:输出 Redis/ES雪崩效应  Job全部hung在那里 解决一般是手工kill ==> 如何保证数据0丢失流处理程序 bug => 挂了 => 下次再启动,也要保证数据0丢失生产上如何确认spark和kafka的版本...

2018-08-27 16:06:35 536

原创 [Hadoop] Zookeeper 安装部署与简单操作

Zookeeper - 负责分布式系统的协调服务。Hadoop集群中,zk节点的数量 n/2+1个,其中n>1,一般集群中zk的数量为3/5/7/9个。多个zk可以搭在同一个节点上。 1. Zookeeper下载安装我的环境使用的是cdh5.7.0版本的套件,所以zookeeper也选择对应的版本下载。下载[hadoop@hadoop000 software]$ w...

2018-08-23 23:17:23 491

原创 [Hadoop] hadoop-2.6.0-cdh5.7.0 编译报错“maven-shade-plugin”解决

CDH版本hadoop(hadoop-2.6.0-cdh5.7.0)编译报错,使用编译加上-X命令打印出来详细错误信息:[WARNING] Could not transfer metadata org.apache.maven.plugins:maven-shade-plugin/maven-metadata.xml from/to central (https://repo.maven....

2018-08-21 15:16:09 1040

原创 [Hadoop] Hadoop源码编译时“Remote host closed connection during handshake: SSL peer shut down” 错误解决

Hadoop源码编译时经常碰到下面这种错误,“Remote host closed connection during handshake: SSL peer shut down incorrectly”,原因是网络问题,下载jar包的时候与远程仓库断开了连接。[hadoop@cassandra01 hadoop-2.6.0-cdh5.7.0]$ mvn clean package -Pdi...

2018-08-16 15:19:19 1476

原创 [Hadoop] Hive表的file_format参数

Hive官网 1. file_formatHive的建表语句里面有一个STORED AS file_format结合使用的方法,指定hive的存储格式。不仅能节省hive的存储空间,还可以提高执行效率。file_format: : SEQUENCEFILE | TEXTFILE -- (Default, depending on hive.default.file...

2018-08-14 22:19:33 3340

原创 [Linux] CentOS7 给非root用户添加root权限

修改/etc/sudoers配置文件,添加一行[root@VM ~]# vi /etc/sudoers## Allow root to run any commands anywhereroot ALL=(ALL) ALLhadoop ALL=(ALL) NOPASSWD: ALL修改完关闭文件,即时生效。...

2018-08-14 11:21:16 5648

原创 [Hadoop] Hadoop中压缩的使用

1. 常用缩格式压缩格式需要关注两个因素:压缩比(Compression Ratio): Snappy < LZ4 < LZO < GZIP < BZIP2其中,BZIP2的压缩比大概是30%,Snappy/LZ4/LZO的压缩比大概是50%.解压速度(Compression Speed): Snappy > LZ4 > LZO > G...

2018-08-13 17:51:45 737

glibc-2.14.1 全套rpm包(CentOS6)

CentOS6.X升级glibc-2.14全套rpm包,安装后glibc由2.12升级到2.14 $ strings /lib64/libc.so.6 | grep GLIBC GLIBC_2.2.5 GLIBC_2.2.6 GLIBC_2.3 GLIBC_2.3.2 GLIBC_2.3.3 GLIBC_2.3.4 GLIBC_2.4 GLIBC_2.5 GLIBC_2.6 GLIBC_2.7 GLIBC_2.8 GLIBC_2.9 GLIBC_2.10 GLIBC_2.11 GLIBC_2.12 GLIBC_PRIVATE $ rpm -Uvh glibc-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-common-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-devel-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-headers-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-static-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-utils-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh nscd-2.14.1-6.x86_64.rpm --nodeps $ strings /lib64/libc.so.6 | grep GLIBC GLIBC_2.2.5 GLIBC_2.2.6 GLIBC_2.3 GLIBC_2.3.2 GLIBC_2.3.3 GLIBC_2.3.4 GLIBC_2.4 GLIBC_2.5 GLIBC_2.6 GLIBC_2.7 GLIBC_2.8 GLIBC_2.9 GLIBC_2.10 GLIBC_2.11 GLIBC_2.12 GLIBC_2.13 GLIBC_2.14 GLIBC_PRIVATE

2020-08-11

Python监控CentOS磁盘空间,磁盘空间利用大于80%则发邮件通知

Python监控CentOS磁盘空间,磁盘空间利用大于80%则发邮件通知。

2017-01-13

PyPDF2解析pdf文件提取内容插入数据库

Python3.X+PyPDF2解析指定文件夹下的pdf文件,提取文件内容并写入mysql数据库

2016-10-19

MySQL创建日历表

存储过程创建日历表,用来与数据库中其他表做联合查询时补全没有数据的表

2016-09-21

Axure RP 7.0 汉化包

将汉化包解压后的lang文件夹复制到Axure RP Pro 7.0的安装目录下,即可完成汉化!重启Axure即可生效。

2016-03-01

Linux下面django开发环境搭建

CentOS下面django开发环境搭建详细步骤,附log

2015-11-19

Navicat Premium_11.1.8简体中文版

Navicat Premium_11.1.8简体中文版,包括win32和win64,带激活补丁

2015-11-14

cindysz110的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除