自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Cindy的博客

日积月累,望尘莫及。

  • 博客(13)
  • 资源 (7)
  • 论坛 (1)
  • 收藏
  • 关注

原创 [Hadoop] CentOS7安装Zookeeper-3.4.5-cdh5.7.0(单节点)

 1. Zookeeper下载安装我的环境使用的套件版本是cdh5.7,所以zookeeper也选择对应的版本下载。下载解压[hadoop@hadoop01 software]$ wget http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz[hadoop@hadoop01 software...

2018-09-29 17:46:03 1752

原创 [Hadoop] CentOS7 部署Kafka0.10.2.1(单节点)

1. 软件版本操作系统:CentOS7.3 Scala版本:2.11.12 Zookeeper:zookeeper-3.4.5-cdh5.7.0 Kafka版本:0.10.2.1(版本选择收spark straming+scala版本限制)当前系统已经安装好scala和zookeeper。 2. Kafka安装下载解压[hadoop@hadoop01 software...

2018-09-29 17:34:26 246

原创 [Hadoop] 大数据项目实操 (未完成)

 1. 背景公司已有业务系统繁多,日志量大,需要集中管理,预警和监控。传统的日志方案不满足需求:ELK:适合中小型企业,数据量大hold不住。 目前很多监控服务(如zabbix)还达不到秒级的通知,有时间延迟外部压力:SLA:服务宕机时间  99.99%,即允许服务宕机时间为0.01% 2. 需求在线日志收集->分析->可视化&预警,使用大数据...

2018-09-29 15:17:24 1926

原创 [Hadoop] CentOS7 安装flume-ng-1.6.0-cdh5.7.0

 1. FlumeFlume官方文档:http://flume.apache.org/FlumeUserGuide.htmlFlume官方文档(CDH指定版本):http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/Flume是一个分布式的日志收集框架,针对日志数据进行采集汇总,把日志从A地方搬运到B地方去。...

2018-09-29 14:55:18 917

原创 [Grafana] CentOS7 安装grafana-5.2.4

 Grafana:The Open platform for beautiful analytics and monitoring.操作系统: CentOS7.3 1. 安装grafana[root@hadoop01 software]# yum install https://s3-us-west-2.amazonaws.com/grafana-releases/relea...

2018-09-29 10:24:47 612

原创 [InfluxDB] CentOS7 安装InfluxDB

 下载安装[root@hadoop01 software]# wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.3.x86_64.rpm[root@hadoop01 software]# yum localinstall influxdb-1.6.3.x86_64.rpm修改配置文件[root@hado...

2018-09-28 12:00:27 1959

转载 [Linux] OOM-killer机制(杀掉进程,释放内存)

Linux下面有个特性叫OOM killer(Out Of Memory killer),这个东西会在系统内存耗尽的情况下跳出来,选择性的干掉一些进程以求释放一些内存。相信广大从事Linux服务端编程的农民工兄弟们或多或少遇到过(人在江湖漂,哪有不挨刀啊)。典型的情况是:某天机器突然登不上了,能ping通,但是ssh死活连不了。原因是sshd进程被OOM killer干掉了(泪流满面)。重启机器后...

2018-09-25 21:23:29 285

原创 [Hadoop] Azkaban 安装插件

 前面我们完成了Azkaban-3.58.0的源码编译和multiple-executor mode部署,现在来安装hdfs-viewer插件。1. 拷贝hdfs-viewer到目标主机hdfs-viewer插件是安装在azkaban-web-server端的,首先去目标主机的$AK_HOME/下新建plugins/viewer文件夹,然后解压编译好的将编译好的hdfs-viewer插...

2018-09-20 22:01:59 443

原创 [Hadoop] CentOS7源码编译部署Azkaban-3.58.0多Executor

 Azkaban3.0+版本提供了三种安装模式:单solo-server mode:单机模式,适合开发使用。使用内置的h2数据库,web server和executor server在同一个进程里; two server mode:双机模式,适合生产环境。使用主从的MySQL做元数据存储,web server和executor server在不同的进程中,更新和升级对用户的影响较小; ...

2018-09-18 18:13:54 390

原创 [MongoDB] CentOS7安装MongoDB

 CentOS7安装MongoDB[root@vm ~]# yum install -y mongodb-org[root@vm ~]# systemctl start mongod[root@vm ~]# systemctl is-active mongod[root@vm ~]# netstat -nltp | grep 27017[root@vm ~]# mongo Mo...

2018-09-14 20:49:15 106

原创 [Hadoop] IDEA隐藏INFO日志信息

Windows下面使用Intellij IDEA编程,打印的[INFO]信息很多。不想看太多INFO,可以提高日志级别为WARN或者ERROR。1. 在src/main下面新建resources文件夹,并在resources文件夹上面点右键 - Make Directory As - Resource Root2. 拷贝spark的conf目录下的log4j.properties文件到上面...

2018-09-07 13:43:15 572

原创 [Hadoop] Spark2.3.1编译报错“[error] javac: invalid source release: 1.8”解决

编译环境:CentOS7.3 + Maven-3.3.9 +  JDK1.8.0_181 + Scala-2.11.12Hadoop版本:hadoop-2.6.0-cdh5.13.1Spark源码版本:spark-2.3.1 Spark编译报错:[error] javac: invalid source release: 1.8[hadoop@hadoop000 spark-...

2018-09-06 11:44:45 785

原创 [Hadoop] Spark SQL - DataFrame & DataSet

1. 基本概念分布式计算框架的产生DataFrame这个词不是Spark SQL独创的,是其他框架已有的(比如说Python的pandas,R语言也有),Spark SQL从其他框架借鉴来的。 Python适用于单机的计算,单机的能处理的数据量很有限。亟待分布式计算框架。 RDD 和MapReduce的学习和开发成本太高,普通程序员开发难度大。DataFrame vs DataSet...

2018-09-03 23:11:16 143

glibc-2.14.1 全套rpm包(CentOS6)

CentOS6.X升级glibc-2.14全套rpm包,安装后glibc由2.12升级到2.14 $ strings /lib64/libc.so.6 | grep GLIBC GLIBC_2.2.5 GLIBC_2.2.6 GLIBC_2.3 GLIBC_2.3.2 GLIBC_2.3.3 GLIBC_2.3.4 GLIBC_2.4 GLIBC_2.5 GLIBC_2.6 GLIBC_2.7 GLIBC_2.8 GLIBC_2.9 GLIBC_2.10 GLIBC_2.11 GLIBC_2.12 GLIBC_PRIVATE $ rpm -Uvh glibc-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-common-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-devel-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-headers-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-static-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh glibc-utils-2.14.1-6.x86_64.rpm --nodeps $ rpm -Uvh nscd-2.14.1-6.x86_64.rpm --nodeps $ strings /lib64/libc.so.6 | grep GLIBC GLIBC_2.2.5 GLIBC_2.2.6 GLIBC_2.3 GLIBC_2.3.2 GLIBC_2.3.3 GLIBC_2.3.4 GLIBC_2.4 GLIBC_2.5 GLIBC_2.6 GLIBC_2.7 GLIBC_2.8 GLIBC_2.9 GLIBC_2.10 GLIBC_2.11 GLIBC_2.12 GLIBC_2.13 GLIBC_2.14 GLIBC_PRIVATE

2020-08-11

Python监控CentOS磁盘空间,磁盘空间利用大于80%则发邮件通知

Python监控CentOS磁盘空间,磁盘空间利用大于80%则发邮件通知。

2017-01-13

PyPDF2解析pdf文件提取内容插入数据库

Python3.X+PyPDF2解析指定文件夹下的pdf文件,提取文件内容并写入mysql数据库

2016-10-19

MySQL创建日历表

存储过程创建日历表,用来与数据库中其他表做联合查询时补全没有数据的表

2016-09-21

Axure RP 7.0 汉化包

将汉化包解压后的lang文件夹复制到Axure RP Pro 7.0的安装目录下,即可完成汉化!重启Axure即可生效。

2016-03-01

Linux下面django开发环境搭建

CentOS下面django开发环境搭建详细步骤,附log

2015-11-19

Navicat Premium_11.1.8简体中文版

Navicat Premium_11.1.8简体中文版,包括win32和win64,带激活补丁

2015-11-14

cindysz110的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除