Python & Spark学习笔记系列 【第三章】例子:Python+Spark+Hbase

其实我是真性情 2022-09-23 10:10:59 阅读数:807

学习Pythonspark笔记系列

这里我的原始数据在Hbase里,以下会介绍两种方式可以通过Spark达到操作Hbase的效果。

第一种:Spark直连HBase

代码如下,但是这里我遇到了一个问题,就是下边代码中使用到的org.apache.hadoop.hbase.io.ImmutableBytesWritable,我使用IDEA本地运行提示找不到这个类,报错是:

java.lang.ClassNotFoundException: org.apache.hadoop.hbase.io.ImmutableBytesWritable

这个类是在hbase-common-1.0.0.jar下,其他版本下应该也有,我用了各种办法引入这个jar包都没有成功,报错不变,所以这个例子实际上我并没有完成,有解决的希望大家帮我留言。

from pyspark import SparkContext, SparkConf
import os
os.environ['JAVA_HOME'] = 'D:\Java\jdk1.8.0_92'
conf = SparkConf().setMaster("local").setAppName("spark_hbase_test")
sc = SparkContext(conf=conf)
host = 'devhadoop3.reachauto.com,devhadoop2.reachauto.com,devhadoop1.reachauto.com'
table = '2:IndexMessage'
conf = {"hbase.zookeeper.quorum": host, "hbase.mapreduce.inputtable": table}
keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter"
valueConv = "org.apache.spark.examples.pythonconverters.HBaseResultToStringConverter"
hbase_rdd = sc.newAPIHadoopRDD("org.apache.hadoop.hbase.mapreduce.TableInputFormat",
"org.apache.hadoop.hbase.io.ImmutableBytesWritable",
"org.apache.hadoop.hbase.client.Result", keyConverter=keyConv, valueConverter=valueConv,
conf=conf)
count = hbase_rdd
print(count)

第二种:创建Hive表与Hbase建立映射关系之后使用SparkSQL访问Hive也可以达到操作HBase的目的

建立Hive与Hbase对应关系的办法参考我之前的帖子

待续

版权声明:本文为[其实我是真性情]所创,转载请带上原文链接,感谢。 https://blog.csdn.net/lwb314/article/details/88063499