自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Cindy的博客

日积月累,望尘莫及。

原创 [Hadoop] CentOS7安装Zookeeper-3.4.5-cdh5.7.0(单节点)

  1. Zookeeper下载安装 我的环境使用的套件版本是cdh5.7,所以zookeeper也选择对应的版本下载。 下载解压 [hadoop@hadoop01 software]$ wget http://archive.cloudera.com/cdh5/cdh/5/zookee...

2018-09-29 17:46:03 1499 0

原创 [Hadoop] CentOS7 部署Kafka0.10.2.1(单节点)

1. 软件版本 操作系统:CentOS7.3 Scala版本:2.11.12 Zookeeper:zookeeper-3.4.5-cdh5.7.0 Kafka版本:0.10.2.1(版本选择收spark straming+scala版本限制) 当前系统已经安装好scala和zookeepe...

2018-09-29 17:34:26 183 0

原创 [Hadoop] 大数据项目实操 (未完成)

  1. 背景 公司已有业务系统繁多,日志量大,需要集中管理,预警和监控。 传统的日志方案不满足需求: ELK:适合中小型企业,数据量大hold不住。 目前很多监控服务(如zabbix)还达不到秒级的通知,有时间延迟 外部压力: SLA:服务宕机时间  99.99%,即允许服务宕机时间...

2018-09-29 15:17:24 1704 0

原创 [Hadoop] CentOS7 安装flume-ng-1.6.0-cdh5.7.0

  1. Flume Flume官方文档:http://flume.apache.org/FlumeUserGuide.html Flume官方文档(CDH指定版本):http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/...

2018-09-29 14:55:18 777 0

原创 [Grafana] CentOS7 安装grafana-5.2.4

  Grafana:The Open platform for beautiful analytics and monitoring. 操作系统: CentOS7.3   1. 安装grafana [root@hadoop01 software]# yum install https:...

2018-09-29 10:24:47 501 0

原创 [InfluxDB] CentOS7 安装InfluxDB

  下载安装 [root@hadoop01 software]# wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.3.x86_64.rpm [root@hadoop01 software]# yum localins...

2018-09-28 12:00:27 1419 0

转载 [Linux] OOM-killer机制(杀掉进程,释放内存)

Linux下面有个特性叫OOM killer(Out Of Memory killer),这个东西会在系统内存耗尽的情况下跳出来,选择性的干掉一些进程以求释放一些内存。相信广大从事Linux服务端编程的农民工兄弟们或多或少遇到过(人在江湖漂,哪有不挨刀啊)。典型的情况是:某天机器突然登不上了,能p...

2018-09-25 21:23:29 203 0

原创 [Hadoop] Azkaban 安装插件

  前面我们完成了Azkaban-3.58.0的源码编译和multiple-executor mode部署,现在来安装hdfs-viewer插件。 1. 拷贝hdfs-viewer到目标主机 hdfs-viewer插件是安装在azkaban-web-server端的,首先去目标主机的$AK_...

2018-09-20 22:01:59 388 0

原创 [Hadoop] CentOS7源码编译部署Azkaban-3.58.0多Executor

  Azkaban3.0+版本提供了三种安装模式: 单solo-server mode:单机模式,适合开发使用。使用内置的h2数据库,web server和executor server在同一个进程里; two server mode:双机模式,适合生产环境。使用主从的MySQL做元数据存储...

2018-09-18 18:13:54 338 0

原创 [MongoDB] CentOS7安装MongoDB

  CentOS7安装MongoDB [root@vm ~]# yum install -y mongodb-org [root@vm ~]# systemctl start mongod [root@vm ~]# systemctl is-active mongod [root@vm ~]...

2018-09-14 20:49:15 99 0

原创 [Hadoop] IDEA隐藏INFO日志信息

Windows下面使用Intellij IDEA编程,打印的[INFO]信息很多。不想看太多INFO,可以提高日志级别为WARN或者ERROR。 1. 在src/main下面新建resources文件夹,并在resources文件夹上面点右键 - Make Directory As - Reso...

2018-09-07 13:43:15 449 0

原创 [Hadoop] Spark2.3.1编译报错“[error] javac: invalid source release: 1.8”解决

编译环境:CentOS7.3 + Maven-3.3.9 +  JDK1.8.0_181 + Scala-2.11.12 Hadoop版本:hadoop-2.6.0-cdh5.13.1 Spark源码版本:spark-2.3.1   Spark编译报错:[error] javac: inv...

2018-09-06 11:44:45 671 0

原创 [Hadoop] Spark SQL - DataFrame & DataSet

1. 基本概念 分布式计算框架的产生 DataFrame这个词不是Spark SQL独创的,是其他框架已有的(比如说Python的pandas,R语言也有),Spark SQL从其他框架借鉴来的。 Python适用于单机的计算,单机的能处理的数据量很有限。亟待分布式计算框架。 RDD 和M...

2018-09-03 23:11:16 127 0

提示
确定要删除当前文章?
取消 删除