Author Archives: Huang Shiyang

How To Configure NameNode High Availability

https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.1/bk_Ambari_Users_Guide/content/_how_to_configure_namenode_high_availability.html  1.1. How To Configure NameNode High Availability Check to make sure you have at least three hosts in... Read More | Share it now!

find, grep-linux中强大且常用命令

在linux下面工作,有些命令能够大大提高效率。本文就向大家介绍find、grep命令,他哥俩可以算是必会的linux命令,我几乎每天都要用到他们。本文结构如下: find命令 find命令的一般形式 find命令的常用选项及实例 find与xargs grep命令 grep命令的一般形式 grep正则表达式元字符集(基本集) grep命令的常用选项及实例 1、find命令 find命令是一个无处不在命令,是linux中最有用的命令之一。find命令用于:在一个目录(及子目录)中搜索文件,你可以指定一些匹配条件,如按文件名、文件类型、用户甚至是时间戳查找文件。下面就通过实例来体验下find命令的强大。 1.1、find命令的一般形式 man文档中给出的find命令的一般形式为: find... Read More | Share it now!

怎样用java生成GUID与UUID

GUID是一个128位长的数字,一般用16进制表示。算法的核心思想是结合机器的网卡、当地时间、一个随机数来生成GUID。从理论上讲,如果一台机器每秒产生10000000个GUID,则可以保证(概率意义上)3240年不重复。 UUID是1.5中新增的一个类,在java.util下,用它可以产生一个号称全球唯一的ID import... Read More | Share it now!

Raspberry Pi的GPIO中断编程

背景介绍 树莓派的GPIO引脚不仅可以输出高低电平,也可以当做输入端口(可以想象成键盘输入),当GPIO接入的是高电平,GPIO的值可以认为是1,如果是低电平则是0。如下图所示,可以使用一个Push... Read More | Share it now!

hadoop.mapred vs hadoop.mapreduce?

Why are there two separate packages map-reduce package in Apache’s hadoop package... Read More | Share it now!

使用 RPI.GPIO 模块的脉宽调制(PWM)功能

脉宽调制(PWM)是指用微处理器的数字输出来对模拟电路进行控制,是一种对模拟信号电平进行数字编码的方法。在树莓派上,可以通过对GPIO的编程来实现PWM。 创建一个 PWM 实例: p =... Read More | Share it now!

树莓派开发系列教程9——树莓派GPIO控制

一、常用开源工程简介 树莓派内核中已经编译自带了gpio的驱动,我们常通过一些第三方写好的库函数来完成具体的操作,比较常见的操作库函数有: 1、python... Read More | Share it now!

Class Not Found Exception in Mapreduce wordcount job

2016-07-18 11:51:36,921 WARN org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.RuntimeException: java.lang.ClassNotFoundException: Class MyNLineInputFormat$MyNLineInputFormatMapper not found at... Read More | Share it now!

Hadoop中的NLineInputFormat

http://blog.csdn.net/lzm1340458776/article/details/42747443 一:背景 NLineInputFormat也是FileInputFormat的子类,它是根据行数来划分InputSplit的,而不是像TextInputFormat那样依赖分片大小和行的长度。也就是说,TextInputFormat当一行很长或分片很小时,获取的分片很可能只包含很少的K-V对,这样一个MapTask处理的K-V对就很少,这是不太理想的。因此我们可以使用NLineInputFormat来控制一个MapTask处理的K-V对,这是通过分割InputSplit时按行数分割的方法来实现的,关键是通过mapreduce.input.lineinputformat.linespermap来设置这个行数。 二:技术实现 代码如下:   /** ... Read More | Share it now!