我也要用- 博客(13)
- 资源 (7)
- 论坛 (1)
- 收藏
- 关注
RSS订阅原创 [Hadoop] CentOS7安装Zookeeper-3.4.5-cdh5.7.0（单节点）
1. Zookeeper下载安装我的环境使用的套件版本是cdh5.7，所以zookeeper也选择对应的版本下载。下载解压[hadoop@hadoop01 software]$ wget http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz[hadoop@hadoop01 software...
2018-09-29 17:46:03
1752
原创 [Hadoop] CentOS7 部署Kafka0.10.2.1（单节点）
1. 软件版本操作系统：CentOS7.3 Scala版本：2.11.12 Zookeeper：zookeeper-3.4.5-cdh5.7.0 Kafka版本：0.10.2.1（版本选择收spark straming+scala版本限制）当前系统已经安装好scala和zookeeper。 2. Kafka安装下载解压[hadoop@hadoop01 software...
2018-09-29 17:34:26
246
原创 [Hadoop] 大数据项目实操 （未完成）
1. 背景公司已有业务系统繁多，日志量大，需要集中管理，预警和监控。传统的日志方案不满足需求：ELK：适合中小型企业，数据量大hold不住。 目前很多监控服务（如zabbix）还达不到秒级的通知，有时间延迟外部压力：SLA：服务宕机时间 99.99%，即允许服务宕机时间为0.01% 2. 需求在线日志收集->分析->可视化&预警，使用大数据...
2018-09-29 15:17:24
1926
原创 [Hadoop] CentOS7 安装flume-ng-1.6.0-cdh5.7.0
1. FlumeFlume官方文档：http://flume.apache.org/FlumeUserGuide.htmlFlume官方文档(CDH指定版本)：http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/Flume是一个分布式的日志收集框架，针对日志数据进行采集汇总，把日志从A地方搬运到B地方去。...
2018-09-29 14:55:18
917
原创 [Grafana] CentOS7 安装grafana-5.2.4
Grafana：The Open platform for beautiful analytics and monitoring.操作系统： CentOS7.3 1. 安装grafana[root@hadoop01 software]# yum install https://s3-us-west-2.amazonaws.com/grafana-releases/relea...
2018-09-29 10:24:47
612
原创 [InfluxDB] CentOS7 安装InfluxDB
下载安装[root@hadoop01 software]# wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.3.x86_64.rpm[root@hadoop01 software]# yum localinstall influxdb-1.6.3.x86_64.rpm修改配置文件[root@hado...
2018-09-28 12:00:27
1959
转载 [Linux] OOM-killer机制（杀掉进程，释放内存）
Linux下面有个特性叫OOM killer（Out Of Memory killer），这个东西会在系统内存耗尽的情况下跳出来，选择性的干掉一些进程以求释放一些内存。相信广大从事Linux服务端编程的农民工兄弟们或多或少遇到过（人在江湖漂，哪有不挨刀啊）。典型的情况是：某天机器突然登不上了，能ping通，但是ssh死活连不了。原因是sshd进程被OOM killer干掉了（泪流满面）。重启机器后...
2018-09-25 21:23:29
285
原创 [Hadoop] Azkaban 安装插件
前面我们完成了Azkaban-3.58.0的源码编译和multiple-executor mode部署，现在来安装hdfs-viewer插件。1. 拷贝hdfs-viewer到目标主机hdfs-viewer插件是安装在azkaban-web-server端的，首先去目标主机的$AK_HOME/下新建plugins/viewer文件夹，然后解压编译好的将编译好的hdfs-viewer插...
2018-09-20 22:01:59
443
原创 [Hadoop] CentOS7源码编译部署Azkaban-3.58.0多Executor
Azkaban3.0+版本提供了三种安装模式：单solo-server mode：单机模式，适合开发使用。使用内置的h2数据库，web server和executor server在同一个进程里； two server mode：双机模式，适合生产环境。使用主从的MySQL做元数据存储，web server和executor server在不同的进程中，更新和升级对用户的影响较小； ...
2018-09-18 18:13:54
390
原创 [MongoDB] CentOS7安装MongoDB
CentOS7安装MongoDB[root@vm ~]# yum install -y mongodb-org[root@vm ~]# systemctl start mongod[root@vm ~]# systemctl is-active mongod[root@vm ~]# netstat -nltp | grep 27017[root@vm ~]# mongo Mo...
2018-09-14 20:49:15
106
原创 [Hadoop] IDEA隐藏INFO日志信息
Windows下面使用Intellij IDEA编程，打印的[INFO]信息很多。不想看太多INFO，可以提高日志级别为WARN或者ERROR。1. 在src/main下面新建resources文件夹，并在resources文件夹上面点右键 - Make Directory As - Resource Root2. 拷贝spark的conf目录下的log4j.properties文件到上面...
2018-09-07 13:43:15
572
原创 [Hadoop] Spark2.3.1编译报错“[error] javac: invalid source release: 1.8”解决
编译环境：CentOS7.3 + Maven-3.3.9 + JDK1.8.0_181 + Scala-2.11.12Hadoop版本：hadoop-2.6.0-cdh5.13.1Spark源码版本：spark-2.3.1 Spark编译报错：[error] javac: invalid source release: 1.8[hadoop@hadoop000 spark-...
2018-09-06 11:44:45
785
原创 [Hadoop] Spark SQL - DataFrame & DataSet
1. 基本概念分布式计算框架的产生DataFrame这个词不是Spark SQL独创的，是其他框架已有的（比如说Python的pandas，R语言也有），Spark SQL从其他框架借鉴来的。 Python适用于单机的计算，单机的能处理的数据量很有限。亟待分布式计算框架。 RDD 和MapReduce的学习和开发成本太高，普通程序员开发难度大。DataFrame vs DataSet...
2018-09-03 23:11:16
143
glibc-2.14.1 全套rpm包（CentOS6）
2020-08-11
cindysz110的留言板
发表于 2020-01-02 最后回复 2020-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝