这里主要分享通过Python的happybase模块查询HBase的实践。 环境准备 2.1.安装 happybase 【在线安装】 先检查happybase模块是否已安装。 Python安装happybase: # pip install happybase 这里会自动安装thriftpy2依赖,也可以先在线安装thriftpy2。 [在线安装不用理会这部分] 离线安装happybase要先安装依赖thriftpy2,比如happybase1.2.0依赖thriftpy2>=0.4: # pip install thriftpy2- happybase官方文档可以访问: https://happybase.readthedocs.io/en/latest/index.html happybase还支持连接池的方式访问HBase:
1. happybase库简介 happybase是一个针对与Apache HBase数据库进行交互的python接口库。 其官方文档详见:https://happybase.readthedocs.io/en/latest/ 因此,为了更好地了解happybase工具,我们这里先简单地介绍一下HBase数据库,不过由于我不是数据库方向的 2. happybase库的安装 我们首先来看一下happybase库的安装。 这个在linux系统下其实非常的简单,只要简单的pip install一下就行了。 给出happybase库连接数据库的命令如下: # HOST: HBase数据库ip # PORT: 端口号 connection = happybase.Connection(HOST, PORT, 总结 上述就是happybase库的一个简单的内容介绍。
安装Thrift 安装Thrift的具体操作,请点击链接 pip install thrift 安装happybase pip install happybase 连接(happybase.Connection ) happybase.Connection(host=’localhost’, port=9090, timeout=None, autoconnect=True, table_prefix=None 但是这样做比较麻烦,happybase帮我们做好了工作,我们可以在与Hbase建立连接的时候,通过设置table_prefix参数来实现这个功能 connection = happybase.Connection ) happybase.Table(name,connection):获取表实例 name:表名 connection:连接 table = happybase.Table(name,connection 具体原因:happybase要读取Python\Lib\site-packages\happybase\Hbase.thrift,但在Python\Lib\site-packages\thriftpy
在win上的python环境中装上happybase库:pip3 install happybase 建立py文件: import happybase hostname = 'xx.xx.xx.xx ' table_name = 'hbase_test:basketball1' column_family = 'Lakers' row_key = 'California' conn = happybase.Connection
protobuf-java-2.5.0.jar(共42个包) 具体参考:http://dblab.xmu.edu.cn/blog/1715-2/ hbase配置python 用python操作hbase时需要用到happybase 库 python+happybase 1.pip install happybase 直接安装即可 2.测试安装 python -c ‘import happybase’,不报错就是正常的或直接导入 happybase包不报错 3.安装thrift,thrift为一个语言编译器,在python去操作hbase是需要将语言重新编译为hbase底层支持的c++,具体可看https://www.cnblogs.com 此时即可用python操作hbase,或者可直接参考happybase提供的官方API文档 http://happybase.readthedocs.io/en/latest/user.html#establishing-a-connection
python是通过thrift去访问操作hbase 1、首先需要先安装happyhbase和thrift pip install happybase pip install thrift 2、需要修改源码一个文件 3、python 操作hbase 用法参考官网 http://happybase.readthedocs.io/en/latest/user.html#retrieving-data 详细介绍都在里面。
google-cloud-bigquery-storage conda install -c conda-forge google-cloud-storage conda install -c conda-forge happybase install -c conda-forge google-cloud-bigtable conda install -c conda-forge gcsfs pip install google-cloud-happybase
/hbase shell 3,调用python 下的 happybase 进行连接操作, 注hbase在本例是2.1.1 thrift 0.9 python 3.6.5 (adsbygoogle
4.3 Python操作Hbase pip install thrift pip install happybase python连接Hbase需要启用thrift接口,启用方式: . /hbase/bin/hbase-daemon.sh start thrift 4.4 Python代码实现 import happybase class hbase(): def __init __(self): self.conn = happybase.Connection("127.0.0.1", 9090) print("===========HBASE 完整实现如下: from pykafka import KafkaClient import happybase import json class mysqlToHbase(): def zookeeper_connect='localhost:2181') self.conn = happybase.Connection
cx-Oracle 同时需要下载orale相关库 postgresql/redshift psycopg2 根据sqlachemy选择对应包 sqlserver pyodbc mssql+pyodbc Hbase happybase
HappyBase:一个为 Apache HBase 设计的,对开发者友好的库。 Plyvel:一个快速且功能丰富的 LevelDB 的 Python 接口。
HappyBase:一个为 Apache HBase 设计的,对开发者友好的库。 Plyvel:一个快速且功能丰富的 LevelDB 的 Python 接口。
]Python编程语言中非常受欢迎的PostgreSQL适配器 ★★★ redis [Python标准库]Redis连接库 ★★★ pymongo [第三方库]MongoDB官方驱动连接程序 ★★★ HappyBase
NoSQL Databases cassandra-driver - The Python Driver for Apache Cassandra. happybase - A developer-friendly
HappyBase 类型: 第三方库 描述: HBase连接库 推荐度: ★★★ 30. py2neo 类型: 第三方库 描述: Neo4j连接库 推荐度: ★★★ 31. cassandra-driver
HappyBase 类型:第三方库 描述:HBase连接库 推荐度:★★★ 30. py2neo 类型:第三方库 描述:Neo4j连接库 推荐度:★★★ 31. cassandra-driver 类型:
HappyBase 类型:第三方库 描述:HBase连接库 推荐度:★★★ 30. py2neo 类型:第三方库 描述:Neo4j连接库 推荐度:★★★ 31. cassandra-driver 类型:
HappyBase **类型:**第三方库**描述:**HBase连接库**推荐度:**★★★ 30. py2neo **类型:**第三方库**描述:**Neo4j连接库**推荐度:**★★★
用来连接和操作数据库的库 PyMySQL,psycopg2 等 关系型ORM 实现关系型数据映射的库 SQLAlchemy 等 NoSQL驱动 用来连接和操作NoSQL的库 PyMongo,redis-py,py2neo,HappyBase
HappyBase:一个为 Apache HBase 设计的,对开发者友好的库。 Plyvel:一个快速且功能丰富的 LevelDB 的 Python 接口。