sjsky
- 浏览: 905019 次
- 性别:
- 来自: 上海
-
最新评论
-
fighhin：
decode(BinaryBitmap,java.util.M ...
条形码/二维码之开源利器ZXing图文介绍 -
u013489005：
追问：楼主，请问有中文文档么？我的邮箱是frankgray@s ...
Java表达式计算引擎:Expr4J -
u013489005：
感谢博主 需要引入的包是import java.io.*;im ...
Java表达式计算引擎:Expr4J -
calosteward：
感谢楼主分享。。 Zxing 我听说过的。__________ ...
条形码/二维码之开源利器ZXing图文介绍 -
u013810758：
judasqiqi 写道感谢楼主！想请问楼主一下这个生成的图片 ...
Java实现二维码QRCode的编码和解码
文章列表
github上有个功能叫fork，可以将别人的工程复制到自己账号下。这个功能很方便，但其有一个缺点是：当源项目更新后，你fork的分支并不会一起更新，需要自己手动去更新。
以github用户名:micmiu ，fork 项目 sql-parser（原始地址https://github.com/FoundationDB/sql-parser）到自己账号下 https://github.com/micmiu/sql-parser 为例子：
详见：http://www.micmiu.com/software/build/github-fork-update/
HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。默认的安装模式就是单机模式 ，在单机模式中，HBase使用本地文件系统而不是HDFS ，所有的服务和zooKeeper都运作在一个JVM中。本教程介绍了HBase单机安装的方法，并演示：启动HBase、通过shell创建表、插入数据、查询数据、删除表，最后停止HBase的过程。
环境说明
安装配置
详见：http://www.micmiu.com/bigdata/hbase/hbase-setup-standalone/
Hive默认创建的表字段分隔符为：\001(ctrl-A)，也可以通过 ROW FORMAT DELIMITED FIELDS TERMINATED BY 指定其他字符，但是该语法只支持单个字符，如果你的分隔符是多个字符，则需要你自定义InputFormat来实现，本文就以简单的示例演示多个字符作为分隔符的实现。
[一]、开发环境
Hadoop 2.2.0
Hive 0.12.0
Java1.6+
Mac OSX 10.9.1
文章基本目录结构：
数据导入
导入本地文件
导入hdfs文件
数据导出
导出到新表
导出到本地文件
导出到hdfs文件
本文的测试基于Hadoop 2.2.0 +
本文以HBase0.98.0 为例，演示编译生成适用于Hadoop2.x 版本软件包的过程。
基本环境参数：
Mac OSX 10.9.1
Maven 3.0.4
Java 1.6.0_65
Hadoop 2.2.0
HBase 0.98.0
源码编译的基本步骤：
Hive中metastore（元数据存储）的三种方式：
内嵌Derby方式
Local方式
Remote方式
详见：http://www.micmiu.com/opensource/hadoop/hive-metastore-config/
在完成 Hive安装配置 后自然而然就是它的基本应用，本文就基本操作进行一些演示：
DDL操作
DML操作
详见：http://www.micmiu.com/opensource/hadoop/hive-tutorial-ddl-dml/
本文主要是在Hadoop单机模式中演示Hive默认（嵌入式derby 模式）安装配置过程，目录结构如下：
基础环境
Hive安装配置
启动及演示
详见：http://www.micmiu.com/opensource/hadoop/hive-default-setup/
本文详细记录Hadoop 2.2.0 集群安装配置的步骤，并运行演示一个简单的job。基本目录结构如下：
环境准备
Hadoop安装配置
启动及演示
详见：http://www.micmiu.com/opensource/hadoop/hadoop2x-cluster-setup/
本文是详细记录Hadoop 2.2.0 在Mac OSX系统下单节点安装配置启动的详细步骤，并且演示运行一个简单的job。目录结构如下：
基础环境配置
Hadoop安装配置
启动及演示
详见：http://www.micmiu.com/opensource/hadoop/hadoop2x-single-node-setup/
系统版本：Mac OS X 10.9.1
在~/.profile 中增加环境变量JAVA_HOME 设置:
详见：http://www.micmiu.com/lang/java/set-javahome-on-mac-os-x/
从官方下载的Hadoop 2.2.0发布包，安装配置启动后在日志信息中看到如下告警：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
这是因为：
详见：http://www.micmiu.com/opensource/hadoop/unable-to-load-native-hadoop-library/
查阅有关官方介绍 http://wiki.apache.org/hadoop/HowToContribute 中有说明：Hadoop本地库只支持*nix平台，已经广泛使用在GNU/Linux平台上，但是不支持 Cygwin 和 Mac OS X 。搜索后发现已经有人给出了Mac OSX 系统下编译生成本地库的patch，下面详细介绍在Mac OSX 平台下编译Hadoop本地库的方法。
[一]、环境说明：
Hadoop 2.2.0
Mac OS X 10.9.1
基本环境参数：
Mac OSX 10.9.1
Maven 3.0.4
Java 1.6.0_65
Hadoop 2.2.0
源码编译的基本步骤：
我的运行环境：
Mac OSX 10.9.1
Hadoop 2.2.0
hadoop启动日志里异常信息: Unable to load realm info from SCDynamicStore
搜索后发现很早就有人提交给Hadoop了：