疯狂的矩阵
乡里伢崽 · 共 83 篇文章
hdfs 文件的追加
1、修改hdfs-site.xml <property> <name>dfs.support.append</name> <value>true</value> </property> 2、目前如何在命令行里面给HDFS文件中追加内容我还没找到相应的方法。但是,我们可以通过Hadoop提供的API实现文件内容追加,如何实现?这里我写了一个简单的测试程序: public class AppendContent { public static void main(String[] args) { String hdfs_path = "/sort/sort";//文件路径 Configurati…
2015-07-19 11:07 · hdfs · 评论(0)
hdfs 的分布式缓存
DistributedCache是Hadoop提供的文件缓存工具,它能够自动将指定的文件分发到各个节点上,缓存到本地,供用户程序读取使用。。它具有以下几个特点:缓存的文件是只读的,修改这些文件内容没有意义;用户可以调整文件可见范围(比如只能用户自己使用,所有用户都可以使用等),进而防止重复拷贝现象;按需拷贝,文件是通过HDFS作为共享数据中心分发到各节点的,且只发给任务被调度到的节点。 DistributeCache的命令方式: (1)-files:将指定的本地/hdfs文件分发到各个Task的工作目录下,不对文件进行任何处理; (2)-archives:将指定文件分发到各个Task的工作目…
2015-03-05 11:07 · hdfs · 评论(0)
hdfs 的集中式缓存
集中缓存有两层概念: 第一层是缓存,即为存储在HDFS中文件提供缓存的机制,从而可以加速DFSClient对文件的读操作; 第二层概念是集中式的管理,传统的HDFS缓存依赖了OS本身的缓存机制,但是这种缓存机制不能被管理员或中央节点进行管理,不能自由的控制哪些文件缓存,哪些文件不进行缓存;集中式的管理可以提高了对缓存内存的可控性; HDFS中集中缓存架构如下所示: <http://yanbohappy-wordpress.stor.sinaapp.com/uploads/2014/04/architecure.png 1、User通过api入口与NN进行交互,告诉NN缓存哪些文件,或者取消对…
2015-03-05 10:06 · hdfs · 评论(0)
基于Flume的美团日志收集系统(一)架构和设计
转自:http://www.aboutyun.com/thread-8317-1-1.html 问题导读: 1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方? 2.架构设计考虑需要考虑什么问题? 3.Agent死机该如何解决? 4.Collector死机是否会有影响? 5.Flume-NG可靠性(reliability)方面做了哪些措施? 美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。 《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收…
2015-03-04 17:32 · flume · 评论(0)
基于Flume的美团日志收集系统(二)改进和优化
原文:http://blog.csdn.net/lskyne/article/details/37564449 问题导读: 1.Flume的存在些什么问题? 2.基于开源的Flume美团增加了哪些功能? 3.Flume系统如何调优? 在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。 1 Flume的问题总结 在Flume的使用过程中,遇到的主要问题如下: a. Channel“水土不服”:使用固定大小的Memo…
2015-03-04 17:18 · flume · 评论(0)
flume 自定义source
按照以往的惯例,还是需求驱动学习,有位网友在我的flume学习五中留言提了一个问题如下: 我想实现一个功能,就在读一个文件的时候,将文件的名字和文件生成的日期作为event的header传到hdfs上时,不同的event存到不同的目录下,如一个文件是a.log.2014-07-25在hdfs上是存到/a/2014-07-25目录下,a.log.2014-07-26存到/a/2014-07-26目录下,就是每个文件对应自己的目录,这个要怎么实现。 带着这个问题,我又重新翻看了官方的文档,发现一个spooling directory source跟这个需求稍微有点吻合:它监视指定的文件夹下面有没…
2015-03-04 11:16 · flume · 评论(2)
使用hive来分析flume收集的日志数据
前面已经讲过如何将log4j的日志输出到指定的hdfs目录,我们前面的指定目录为/flume/events。 如果想用hive来分析采集来的日志,我们可以将/flume/events下面的日志数据都load到hive中的表当中去。 如果了解hive的load data原理的话,还有一种更简便的方式,可以省去load data这一步,就是直接将sink1.hdfs.path指定为hive表的目录。 下面我将详细描述具体的操作步骤。 我们还是从需求驱动来讲解,前面我们采集的数据,都是接口的访问日志数据,数据格式是JSON格式如下: {"requestTime":1405651379758,"re…
2015-03-03 22:50 · flume · 评论(0)
flume iterceptor
对于flume拦截器,我的理解是:在app(应用程序日志)和 source 之间的,对app日志进行拦截处理的。也即在日志进入到source之前,对日志进行一些包装、清新过滤等等动作。 官方上提供的已有的拦截器有: Timestamp Interceptor Host Interceptor Static Interceptor Regex Filtering Interceptor Regex Extractor Interceptor 像很多java的开源项目如springmvc中的拦截器一样,flume的拦截器也是chain形式的,可以对一个source指定多个拦截器,按先后顺序依次处…
2015-03-03 22:18 · flume · 评论(0)
HBase Rowkey的散列与预分区设计
HBase中,表会被划分为1...n个Region,被托管在RegionServer中。Region二个重要的属性:StartKey与EndKey表示这个Region维护的rowKey范围,当我们要读/写数据时,如果rowKey落在某个start-end key范围内,那么就会定位到目标region并且读/写到相关的数据。简单地说,有那么一点点类似人群划分,1-15岁为小朋友,16-39岁为年轻人,40-64为中年人,65岁以上为老年人。(这些数值都是拍脑袋出来的,只是举例,非真实),然后某人找队伍,然后根据年龄,处于哪个范围,就找到它所属的队伍。 : ( 有点废话了。。。。 然后,默认地,…
2015-03-03 14:51 · hbase · 评论(0)
hbase bluk loading
使用HBASE的BULK LOAD 一、环境的配置 1.首先配置$HADOOP_HOME下的conf/hadoop-env.sh文件,修改其中的HADOOP_CLASSPATH为如下 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/hadoop/hbase-0.90.3.jar:/hadoop/hbase/hbase-0.90.3- tests.jar:/hadoop/hbase/conf:/hadoop/hbase/lib/guava-r06.jar:/hadoop/hbase/lib/zookeeper-3.3.2.jar 2.配置$HBASE_HO…
2015-03-03 11:29 · hbase · 评论(0)
hadoop 面试题
1.Hadoop集群可以运行的3个模式? 单机(本地)模式 伪分布式模式 全分布式模式 2. 单机(本地)模式中的注意点? 在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序,这也是最少使用的一个模式。 伪分布模式中的注意点? 伪分布式(Pseudo)适用于开发和测试环境,在这个模式中,所有守护进程都在同一台机器上运行。 VM是否可以称为Pseudo? 不是,两个事物,同时Pseudo只针对Hadoop。 全分布模式又有什么注意点? 全分布模式通常被用于生产环境,这里…
2015-03-02 15:10 · hadoop · 评论(0)
mapreduce '找共同朋友',面试题
mapred找共同朋友,数据格式如下: A B C D E F B A C D E C A B E D A B E E A B C D F A 第一字母表示本人,其他是他的朋友,找出有共同朋友的人,和共同朋友是谁 答案如下: import java.io.IOException; import java.util.Set; import java.util.StringTokenizer; import java.util.TreeSet; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Pat…
2015-02-12 15:24 · mapreduce · 评论(0)
Hadoop中MapReduce多种join实现实例分析
原文: http://database.51cto.com/art/201410/454277.htm 一、概述 对于RDBMS中的join操作大伙一定非常熟悉,写sql的时候要十分注意细节,稍有差池就会耗时巨久造成很大的性能瓶颈,而在Hadoop中使用MapReduce框架进行join的操作时同样耗时,但是由于hadoop的分布式设计理念的特殊性,因此对于这种join操作同样也具备了一定的特殊性。本文主要对MapReduce框架对表之间的join操作的几种实现方式进行详细分析,并且根据我在实际开发过程中遇到的实际例子来进行进一步的说明。 二、实现原理 * 1、在Reudce端进行连接。* …
2015-02-11 11:13 · mapreduce · 评论(0)
ZooKeeper 分布式锁实现
场景描述 在分布式应用, 往往存在多个进程提供同一服务. 这些进程有可能在相同的机器上, 也有可能分布在不同的机器上. 如果这些进程共享了一些资源, 可能就需要分布式锁来锁定对这些资源的访问. 本文将介绍如何利用zookeeper实现分布式锁. 获取锁实现思路: 首先创建一个作为锁目录(znode),通常用它来描述锁定的实体,称为:/lock_node 希望获得锁的客户端在锁目录下创建znode,作为锁/lock_node的子节点,并且节点类型为有序临时节点(EPHEMERAL_SEQUENTIAL); 例如:有两个客户端创建znode,分别为/lock_node/lock-1和/lock_…
2015-01-14 10:23 · zookeeper · 评论(0)
Zookeeper 分布式配置管理
原创 配置中心代码: import java.io.IOException; import java.util.concurrent.CountDownLatch; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.Watcher.Event.KeeperState; import org.apache.zookeeper.data.Stat; publ…
2015-01-13 17:27 · zookeeper · 评论(0)