HBase RegionServer挂掉问题分析 HBase在使用中会遇到非常多的问题，最为常见的就是HBase regionserver挂掉（此文中简称regionserver为RS）， 而RS挂掉的原因各不相同。在本文中对遇到过的HBase RS挂掉的情况做一个简单的整理。 HBase集群预留内存不足 现象：HBase RS在起来1-2min后马上挂掉 日志为如下日志段的重复： Mon Aug  6 10:23:54 CST 2018 Starting regionserver on node2.rosa.co…

大数据HBase系列之HBase基本操作 1.  hbase命令 版本查看 hbase version 连接Zookeeper客户端 hbase zkcli 连接HBase客户端 hbase shell 2.  CRUD 2.1  创建表 -- 语法：create '表名','列族名' create 'student','info' 2.2  显示所有表 -- 语法：list 或 list '表名' list 'student' 2.3  显示表描述 -- 语法：describe '表名' describe 'st…

用Python操作HBase之HBase-Thrift 安装Thrift 安装Thrift的具体操作，请点击链接 Python操作Hbase 安装依赖包 pip install thrift pip install hbase-thrift 连接与操作代码如下： from thrift.transport import TSocket,TTransport from thrift.protocol import TBinaryProtocol from hbase import Hbase # thrift默认端口…

开发笔记 – Spring Boot集成HBase 最近在重新整理搜书吧(一个做图书比价的平台)的系统架构，目前图书产品数量超过了200万条。各种数据加起来超过40G了，使用Mysql数据库存储服务器吃不消，于是考虑使用HBase存储大部分数据。   一、摘要 以前搜书吧的数据量比较小，使用数据库+静态文件存储的方式就可以搞定，主要有2个系统组成：网站前端+后台服务。事先把图书详情等一些固定内容生成html静态文件和前端的其他静态文件打包部署，动态变化的数据使用js通过REST接口获取。后台服务系统主要处理业务逻辑…

Hive与Hbase关系整合 近期工作用到了Hive与Hbase的关系整合，虽然从网上参考了很多的资料，但是大多数讲的都不是很细，于是决定将这块知识点好好总结一下供大家分享，共同掌握！ 本篇文章在具体介绍Hive与Hbase整合之前，先给大家用一个流程图介绍Hadoop业务的开发流程以及Hive与Hbase的整合在业务当中的必要性。 其中在数据存入hbase—>Hive对数据进行统计分析的这个步骤中就涉及到了Hive与Hbase的整合，所以了解Hive与Hbase的整合是很有必要的。 1、Hive与Hbase…

Hbase报错解决方法ERROR: KeeperErrorCode = NoNode for /hbase/master hbase放了一段时间之后，发现运行命令时报NoNode for /hbase/master异常，其他如create等等命令也是如此，详细报错信息如下： hbase(main):005:0> status ERROR: KeeperErrorCode = NoNode for /hbase/master For usage try 'help "status"' Took 8.1764 s…

Hbase数据模型与存储结构 一、Hbase简介 Hbase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。依托Hadoop-HDFS作为其文件存储系统，利用MapReduce来处理海量数据，用Zookeeper作为其分布式协同服务，主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）。 二、 Hbase数据模型 1、存储模型分布 下边表示了一行，三列的数据，CF1、CF2、CF3是三个不同的列族，在t2时刻CF1下存入列名为q1，值为v1,rowkey为11248112；在t6时刻…

HBase学习之六: hbase的预分区设计 背景：HBase默认建表时有一个region，这个region的rowkey是没有边界的，即没有startkey和endkey，在数据写入时，所有数据都会写入这个默认的region，随着数据量的不断  增加，此region已经不能承受不断增长的数据量，会进行split，分成2个region。在此过程中，会产生两个问题：1.数据往一个region上写,会有写热点问题。2.region split会消耗宝贵的集群I/O资源。基于此我们可以控制在建表的时候，创建多个空regi…

hbase安装配置（整合到hadoop） 如果想详细了解hbase的安装：http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1.  快速单击安装 在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。 1.1下载解压最新版本 选择一个 Apache 下载镜像：http://www.apache.org/dyn/closer.cgi/hbase/，下载 HBase…

HBase学习之二: hbase分页查询       在hbase中可以使用scan做一些简单的查询，但是要实现多条件复杂查询还需要借助filter(过滤器)来完成，甚至还可以自定义filter实现个性化的需求，项目中需要分页查询，记录了其中的核心代码，以便于查阅。 zookeeper.properties配置文件内容： hbase_zookeeper_quorum=xxx.com,xxx.com,xxx.com zookeeper_znode_parent=/hbase zookeeper集群配置，一般hbase…