自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

Cindy的博客

日积月累，望尘莫及。

我也要用

原创 [Hadoop] CentOS7安装Zookeeper-3.4.5-cdh5.7.0（单节点）

1. Zookeeper下载安装我的环境使用的套件版本是cdh5.7，所以zookeeper也选择对应的版本下载。下载解压 [hadoop@hadoop01 software]$ wget http://archive.cloudera.com/cdh5/cdh/5/zookee...

2018-09-29 17:46:03 1499 0

原创 [Hadoop] CentOS7 部署Kafka0.10.2.1（单节点）

1. 软件版本操作系统：CentOS7.3 Scala版本：2.11.12 Zookeeper：zookeeper-3.4.5-cdh5.7.0 Kafka版本：0.10.2.1（版本选择收spark straming+scala版本限制）当前系统已经安装好scala和zookeepe...

2018-09-29 17:34:26 183 0

原创 [Hadoop] 大数据项目实操（未完成）

1. 背景公司已有业务系统繁多，日志量大，需要集中管理，预警和监控。传统的日志方案不满足需求： ELK：适合中小型企业，数据量大hold不住。目前很多监控服务（如zabbix）还达不到秒级的通知，有时间延迟外部压力： SLA：服务宕机时间 99.99%，即允许服务宕机时间...

2018-09-29 15:17:24 1704 0

原创 [Hadoop] CentOS7 安装flume-ng-1.6.0-cdh5.7.0

1. Flume Flume官方文档：http://flume.apache.org/FlumeUserGuide.html Flume官方文档(CDH指定版本)：http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/...

2018-09-29 14:55:18 777 0

原创 [Grafana] CentOS7 安装grafana-5.2.4

Grafana：The Open platform for beautiful analytics and monitoring. 操作系统： CentOS7.3 1. 安装grafana [root@hadoop01 software]# yum install https:...

2018-09-29 10:24:47 501 0

原创 [InfluxDB] CentOS7 安装InfluxDB

下载安装 [root@hadoop01 software]# wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.3.x86_64.rpm [root@hadoop01 software]# yum localins...

2018-09-28 12:00:27 1419 0

转载 [Linux] OOM-killer机制（杀掉进程，释放内存）

Linux下面有个特性叫OOM killer（Out Of Memory killer），这个东西会在系统内存耗尽的情况下跳出来，选择性的干掉一些进程以求释放一些内存。相信广大从事Linux服务端编程的农民工兄弟们或多或少遇到过（人在江湖漂，哪有不挨刀啊）。典型的情况是：某天机器突然登不上了，能p...

2018-09-25 21:23:29 203 0

原创 [Hadoop] Azkaban 安装插件

前面我们完成了Azkaban-3.58.0的源码编译和multiple-executor mode部署，现在来安装hdfs-viewer插件。 1. 拷贝hdfs-viewer到目标主机 hdfs-viewer插件是安装在azkaban-web-server端的，首先去目标主机的$AK_...

2018-09-20 22:01:59 388 0

原创 [Hadoop] CentOS7源码编译部署Azkaban-3.58.0多Executor

Azkaban3.0+版本提供了三种安装模式：单solo-server mode：单机模式，适合开发使用。使用内置的h2数据库，web server和executor server在同一个进程里； two server mode：双机模式，适合生产环境。使用主从的MySQL做元数据存储...

2018-09-18 18:13:54 338 0

原创 [MongoDB] CentOS7安装MongoDB

CentOS7安装MongoDB [root@vm ~]# yum install -y mongodb-org [root@vm ~]# systemctl start mongod [root@vm ~]# systemctl is-active mongod [root@vm ~]...

2018-09-14 20:49:15 99 0

原创 [Hadoop] IDEA隐藏INFO日志信息

Windows下面使用Intellij IDEA编程，打印的[INFO]信息很多。不想看太多INFO，可以提高日志级别为WARN或者ERROR。 1. 在src/main下面新建resources文件夹，并在resources文件夹上面点右键 - Make Directory As - Reso...

2018-09-07 13:43:15 449 0

原创 [Hadoop] Spark2.3.1编译报错“[error] javac: invalid source release: 1.8”解决

编译环境：CentOS7.3 + Maven-3.3.9 + JDK1.8.0_181 + Scala-2.11.12 Hadoop版本：hadoop-2.6.0-cdh5.13.1 Spark源码版本：spark-2.3.1 Spark编译报错：[error] javac: inv...

2018-09-06 11:44:45 671 0

原创 [Hadoop] Spark SQL - DataFrame & DataSet

1. 基本概念分布式计算框架的产生 DataFrame这个词不是Spark SQL独创的，是其他框架已有的（比如说Python的pandas，R语言也有），Spark SQL从其他框架借鉴来的。 Python适用于单机的计算，单机的能处理的数据量很有限。亟待分布式计算框架。 RDD 和M...

2018-09-03 23:11:16 127 0

提示

确定要删除当前文章？

取消删除