- 博客(13)
- 资源 (7)
- 论坛 (1)
- 收藏
- 关注
原创 [Hadoop] CentOS7安装Zookeeper-3.4.5-cdh5.7.0(单节点)
1. Zookeeper下载安装我的环境使用的套件版本是cdh5.7,所以zookeeper也选择对应的版本下载。下载解压[hadoop@hadoop01 software]$ wget http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz[hadoop@hadoop01 software...
2018-09-29 17:46:03
1752
原创 [Hadoop] CentOS7 部署Kafka0.10.2.1(单节点)
1. 软件版本操作系统:CentOS7.3 Scala版本:2.11.12 Zookeeper:zookeeper-3.4.5-cdh5.7.0 Kafka版本:0.10.2.1(版本选择收spark straming+scala版本限制)当前系统已经安装好scala和zookeeper。 2. Kafka安装下载解压[hadoop@hadoop01 software...
2018-09-29 17:34:26
246
原创 [Hadoop] 大数据项目实操 (未完成)
1. 背景公司已有业务系统繁多,日志量大,需要集中管理,预警和监控。传统的日志方案不满足需求:ELK:适合中小型企业,数据量大hold不住。 目前很多监控服务(如zabbix)还达不到秒级的通知,有时间延迟外部压力:SLA:服务宕机时间 99.99%,即允许服务宕机时间为0.01% 2. 需求在线日志收集->分析->可视化&预警,使用大数据...
2018-09-29 15:17:24
1926
原创 [Hadoop] CentOS7 安装flume-ng-1.6.0-cdh5.7.0
1. FlumeFlume官方文档:http://flume.apache.org/FlumeUserGuide.htmlFlume官方文档(CDH指定版本):http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/Flume是一个分布式的日志收集框架,针对日志数据进行采集汇总,把日志从A地方搬运到B地方去。...
2018-09-29 14:55:18
917
原创 [Grafana] CentOS7 安装grafana-5.2.4
Grafana:The Open platform for beautiful analytics and monitoring.操作系统: CentOS7.3 1. 安装grafana[root@hadoop01 software]# yum install https://s3-us-west-2.amazonaws.com/grafana-releases/relea...
2018-09-29 10:24:47
612
原创 [InfluxDB] CentOS7 安装InfluxDB
下载安装[root@hadoop01 software]# wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.3.x86_64.rpm[root@hadoop01 software]# yum localinstall influxdb-1.6.3.x86_64.rpm修改配置文件[root@hado...
2018-09-28 12:00:27
1959
转载 [Linux] OOM-killer机制(杀掉进程,释放内存)
Linux下面有个特性叫OOM killer(Out Of Memory killer),这个东西会在系统内存耗尽的情况下跳出来,选择性的干掉一些进程以求释放一些内存。相信广大从事Linux服务端编程的农民工兄弟们或多或少遇到过(人在江湖漂,哪有不挨刀啊)。典型的情况是:某天机器突然登不上了,能ping通,但是ssh死活连不了。原因是sshd进程被OOM killer干掉了(泪流满面)。重启机器后...
2018-09-25 21:23:29
285
原创 [Hadoop] Azkaban 安装插件
前面我们完成了Azkaban-3.58.0的源码编译和multiple-executor mode部署,现在来安装hdfs-viewer插件。1. 拷贝hdfs-viewer到目标主机hdfs-viewer插件是安装在azkaban-web-server端的,首先去目标主机的$AK_HOME/下新建plugins/viewer文件夹,然后解压编译好的将编译好的hdfs-viewer插...
2018-09-20 22:01:59
443
原创 [Hadoop] CentOS7源码编译部署Azkaban-3.58.0多Executor
Azkaban3.0+版本提供了三种安装模式:单solo-server mode:单机模式,适合开发使用。使用内置的h2数据库,web server和executor server在同一个进程里; two server mode:双机模式,适合生产环境。使用主从的MySQL做元数据存储,web server和executor server在不同的进程中,更新和升级对用户的影响较小; ...
2018-09-18 18:13:54
390
原创 [MongoDB] CentOS7安装MongoDB
CentOS7安装MongoDB[root@vm ~]# yum install -y mongodb-org[root@vm ~]# systemctl start mongod[root@vm ~]# systemctl is-active mongod[root@vm ~]# netstat -nltp | grep 27017[root@vm ~]# mongo Mo...
2018-09-14 20:49:15
106
原创 [Hadoop] IDEA隐藏INFO日志信息
Windows下面使用Intellij IDEA编程,打印的[INFO]信息很多。不想看太多INFO,可以提高日志级别为WARN或者ERROR。1. 在src/main下面新建resources文件夹,并在resources文件夹上面点右键 - Make Directory As - Resource Root2. 拷贝spark的conf目录下的log4j.properties文件到上面...
2018-09-07 13:43:15
572
原创 [Hadoop] Spark2.3.1编译报错“[error] javac: invalid source release: 1.8”解决
编译环境:CentOS7.3 + Maven-3.3.9 + JDK1.8.0_181 + Scala-2.11.12Hadoop版本:hadoop-2.6.0-cdh5.13.1Spark源码版本:spark-2.3.1 Spark编译报错:[error] javac: invalid source release: 1.8[hadoop@hadoop000 spark-...
2018-09-06 11:44:45
785
原创 [Hadoop] Spark SQL - DataFrame & DataSet
1. 基本概念分布式计算框架的产生DataFrame这个词不是Spark SQL独创的,是其他框架已有的(比如说Python的pandas,R语言也有),Spark SQL从其他框架借鉴来的。 Python适用于单机的计算,单机的能处理的数据量很有限。亟待分布式计算框架。 RDD 和MapReduce的学习和开发成本太高,普通程序员开发难度大。DataFrame vs DataSet...
2018-09-03 23:11:16
143
glibc-2.14.1 全套rpm包(CentOS6)
2020-08-11
cindysz110的留言板
发表于 2020-01-02 最后回复 2020-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝