ITeye博客

www.micmiu.com

sjsky · 共 263 篇文章

[置顶] 博客迁移

启用新的博客: http://www.micmiu.com 此处的博客将暂停回复,希望大家以后能多多关注我新的 博客 。

2012-02-13 10:20 · 杂谈 · 评论(0)

Hadoop2.x在Ubuntu系统中编译源码

本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点: [一]、基础环境 Ubuntu 12.04 LTS 64 位 Hadoop2.2.0 Java version: 1.7.0_55 Apache Maven 3.2.1 [二]、软件配置 详见: http://www.micmiu.com/bigdata/hadoop/hadoop-2x-ubuntu-build/

2014-04-22 14:23 · Hadoop · 评论(0)

Ubuntu设置默认jdk

详见: http://www.micmiu.com/os/linux/ubuntu-config-default-jdk/

2014-04-22 14:22 · Linux · 评论(0)

Ubuntu12.04中Eclipse安装svn插件问题

一般Ubuntu12.04中Eclipse安装svn插件经常碰到两种问题: Failed to load JavaHL Library. ubuntu Incompatible JavaHL library loaded. 1.8.x or later required 以我的环境为例: 详见: http://www.micmiu.com/os/linux/ubuntu-eclipse-svn-javahl/

2014-04-22 14:22 · Linux · 评论(0)

eclipse中开发Hadoop2.x的Map/Reduce项目

本文演示如何在Eclipse中开发一个Map/Reduce项目: 1、环境说明 Hadoop2.2.0 Eclipse Juno SR2 详见: http://www.micmiu.com/bigdata/hadoop/hadoop2x-eclipse-mapreduce-demo/

2014-04-22 14:20 · Hadoop · 评论(0)

Hadoop2.x eclipse plugin插件编译安装配置

本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程: 环境参数 编译过程 安装配置 详见: http://www.micmiu.com/bigdata/hadoop/hadoop2-x-eclipse-plugin-build-install/

2014-04-22 14:18 · Hadoop · 评论(0)

maven编译Spark源码

Spark 源码除了用 sbt/sbt assembly 编译,也可用Maven进行编译,具体步骤如下: 详见: http://www.micmiu.com/bigdata/spark/spark-building-with-maven/

2014-04-14 23:37 · Hadoop · 评论(0)

java.net.ConnectException: to 0.0.0.0:10020 failed on connection exception

在DataNode节点中的Hive CLI中执行 select count(*) from table_name 查询时报错: java.io.IOException: java.net.ConnectException: Call From Slave7.Hadoop/192.168.8.207 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused; 解决办法详见: http://www.micmiu.com/bigdata/hive/hive-conne…

2014-04-14 23:36 · Hadoop · 评论(1)

ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no colu

Sqoop 把数据从Oracle中迁移到Hive中时发生错误: ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no columns! 详见: http://www.micmiu.com/bigdata/sqoop/sqoop-error-imported-failed-with-no-columns/

2014-04-14 23:35 · Hadoop · 评论(0)

Sqoop安装配置及演示

Sqoop是一个用来将Hadoop(Hive、HBase)和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。 Sqoop目前已经是Apache的顶级项目了,目前版本是1.4.4 和 Sqoop2 1.99.3,本文以1.4.4的版本为例讲解基本的安装配置和简单应用的演示。 安装配置 准备测试数据 导入数据到HDFS 导入数据到Hive 导入数据到HBase 详见: http://www.micmiu.com/bigdata/sqoop/sqo…

2014-04-09 16:51 · Hadoop · 评论(0)

Hive和HBase整合

本文主要描述Hive和HBase 环境整合配置的详细过程: 基本环境 整合配置 测试验证 详见: http://www.micmiu.com/bigdata/hive/hive-hbase-integration/

2014-04-09 16:50 · Hadoop · 评论(0)

HiveException:Not a host:port pair: PBUF

HBase和Hive整合后,在Hive shell中执行建表语句时错误信息如下: HiveException:Not a host:port pair: PBUF 详见: http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/

2014-04-09 16:49 · Hadoop · 评论(0)

HiveException:Not a host:port pair: PBUF

HBase和Hive整合后,在Hive shell中执行建表语句时错误信息如下: HiveException:Not a host:port pair: PBUF 详见: http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/

2014-04-09 16:48 · Hadoop · 评论(0)

HBase安装配置之完全分布式模式

HBase安装模式有三种:** 单机模式 、分布式( 伪分布式 和完全分布式)。**本教程介绍了HBase的完全分布式模式安装配置的过程,分布式模式均需要依赖于HDFS。 基础环境 安装配置 详见: http://www.micmiu.com/bigdata/hbase/hbase-setup-full-distributed/

2014-03-10 17:28 · Hadoop · 评论(0)

HBase安装配置之伪分布式模式

HBase安装模式有三种:** 单机模式 、分布式(伪分布式和 完全分布式 )。**本教程介绍了HBase的伪分布式模式安装配置的过程, 伪分布式模式 是把进程运行在一台机器上,但不是同一个JVM( 单机模式 ),分布式模式的安装配置需要依赖于HDFS。 基础环境 安装配置 详见: http://www.micmiu.com/bigdata/hbase/hbase-setup-pseudo-distributed/

2014-03-10 17:26 · Hadoop · 评论(0)