使用mysql+pyecharts实现可视化大屏
摘要:实现折线图 import pyecharts.options as optsfrom pyecharts.charts import Line, Mapfrom pyecharts.commons.utils import JsCodeimport pymysqlfrom pyecharts.glo
阅读全文
数仓分析部分
摘要:hadoop fs -mkdir -p /lpptext 将hadoop本地文件传输到hdfs上 hdfs dfs -put /opt/soft/hivetext.txt /text 在hive中创建数据库 create database lppdata; 创建数据库后根据自己的数据字段进行创建外部
阅读全文
scrapy-redis网络爬虫安装及部署
摘要:爬虫部分 找到自己选中的目标网站 在Google浏览器中安装xpath helper更加方便选取自己所需爬取内容 在pycharm创建自己的爬虫项目 scrapy startproject PHIC(项目名字) // 创建项目 scrapy genspider lpp(爬虫名字) www.phic.
阅读全文