摘要：
Hbase连接使用 安装happybase和thrift pip install happybase pip install thrift import happybase # 1.从数据库导入到hbase if __name__ != '__main__': import pandas as pd 阅读全文
posted @ 2020-07-23 18:10
hziwei
阅读(136)
评论(0)
推荐(0)
摘要：
使用pyspark连接数据库 # spark操作数据库 from pyspark.sql import SQLContext, SparkSession from pyspark import SparkConf, SparkContext # spark地址 master_url = "spark 阅读全文
posted @ 2020-07-23 18:09
hziwei
阅读(346)
评论(0)
推荐(0)
摘要：
Scrapy 和 scrapy-redis的区别 scrapy是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件，可以让scrapy支持分布式策略，Slaver端共享Master端redis 阅读全文
posted @ 2020-07-23 18:07
hziwei
阅读(237)
评论(0)
推荐(0)
浙公网安备 33010602011771号