-
大数据PAZR集成ldap实操！what？荐
大数据PAZR集成ldap实操！what？ p:presto a:allixop z:zeppelin r:rancher
-
灰白世界
发布于：2019-09-07 00:55:36
8
Hadoop 之 HDFS荐
1HDFS概述1.1HDFS产出背景及定义随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式
-
xpleaf
发布于：2018-04-08 22:36:04
62
大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例荐
大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例
阅读 10000+
评论 152
收藏 31
赞赏 2
-
详解Linux运维工程师高级篇（大数据安全方向）荐
详解linux运维工程师高级篇（大数据安全方向）
-
Hadoop运维记录系列(二十一)荐
Zeppelin启用http过程和Hack内核以满足客户需求的记录。原因是这客户很有意思，该客户中国分公司的人为了验证内网安全性，从国外找了一个***测试小组对Zeppelin和其他产品进行***测试，结果发现Zeppelin主要俩问题，一个是在内网没用http，一个是zeppelin里面可以执行shell命令和python语句。其实这不算大问题，zeppelin本来就是干这个用的。但是***小组不
-
大数据实践总结－－两个故障的处理及思路总结 荐
已经有一段时间没有更新实践内容了，不是因为没有在学习。而是工作上出现一个新的挑战，又在忙论文查重，论文也是大数据方向的，主要是ICT方向的一个技术（若有人感兴趣，我会另开一个帖子来详细谈这个内容）。 而且最近，把之前所有的实践环境换了一台电脑来重新搭建。按理说会很顺利，但没想到，还是出了许多问题。一些简单的问题就直接解决了，但仍是有两
-
Apache Bigtop再论与卖书求生存荐
快一年没写博客了，终于回来了，最近因公司业务需要，要基于cdh发行版打包自定义patch的rpm，于是又搞起了bigtop，就是那个hadoop编译打包rpm和deb的工具，由于国内基本没有相关的资料和文档，所以觉得有必要把阅读bigtop源码和修改的思路分享一下。我记得很早以前，bigtop在1.0.0以前版本吧，是用make进行打包的，其实这个0.9.0以前的版本，搁我觉得就不应该出现在apa
-
hadoop源码解析---INodeReference机制荐
本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中，引入了许多新的功能，一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中，并且这个文件或者目录被重命名或者移动到其他路径时，该文件或者目录就会存在多条访问路径。INodeReference就是为了解决这个问题产生的。问题描述/a是hdfs中的
-
酱酱酱子啊
发布于：2016-07-06 11:18:14
3
logstash将Kafka中的日志数据订阅到HDFS荐
前言：通常情况下，我们将Kafka的日志数据通过logstash订阅输出到ES，然后用Kibana来做可视化分析，这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中
-
hadoop+zookepper实现namenode的高可用荐
Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加export JAVA的环境变量修改hostname文件的名称，/etc/hosts文件配置主机名和ip的映射关系，将mstaer，slave的主机名和ip地址都添加进来 配置ssh免密钥配置Ssh-keygen –t rsa在./.ssh文件中生成两个文件id_rsa（私钥），id_rsa.pu
