2019年8月22日
requests
摘要： requests import requests response=requests.get('http://www.baidu.com') print(response.status_code) print(response.text) print(response.cookies) 图片下载保存 阅读全文
posted @ 2019-08-22 00:33 心随沙动 阅读(95) 评论(0) 推荐(0)
lxml
摘要： lxml 安装 pip3 install lxml ( pip install lxml ) 导入 from lxml import etree https://www.cnblogs.com/gaochsh/p/6757475.html XPath的基本语法知识： 1) // 双斜杠 定位根节点， 阅读全文
posted @ 2019-08-22 00:33 心随沙动 阅读(199) 评论(0) 推荐(0)
urllib
摘要： https://www.cnblogs.com/strivepy/p/9231127.html urllib是python内置的http请求库(基本请求库 ,requests库就是通过urllib是实现的)，各种功能相比较之下也是比较完备的，urllib库包含了一下四个模块： urllib.requ 阅读全文
posted @ 2019-08-22 00:31 心随沙动 阅读(141) 评论(0) 推荐(0)
maoyan.py
摘要： maoyan import requests import json from lxml import etree def getOnePage(n): url=f'https://maoyan.com/board/4?offset={(n 1) 10}' headers={'User Agent' 阅读全文
posted @ 2019-08-22 00:23 心随沙动 阅读(93) 评论(0) 推荐(0)
2019年8月7日
hbase
摘要： HBASE安装 HBASE简介 1.什么是HBASE： HBASE是一个数据库 可以提供数据的实时随机读写 HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库） Hbase的表模型与关系型数据库的表模型不同： Hbase的表没 阅读全文
posted @ 2019-08-07 22:24 心随沙动 阅读(768) 评论(0) 推荐(0)
yarn
摘要： yarn集群配置 yarn集群中有两个角色： 主节点：Resource Manager 1台 从节点：Node Manager N台 Resource Manager一般安装在一台专门的机器上 Node Manager应该与HDFS中的data node重叠在一起 1.vim yarn site.x 阅读全文
posted @ 2019-08-07 22:23 心随沙动 阅读(152) 评论(0) 推荐(0)
hive
摘要： hive安装 1.上传解压 2.cd conf ;新增hive site.xml (配置mysql数据库信息) vim hive site.xml javax.jdo.option.ConnectionURL jdbc:mysql://pengyy63:3306/hive?createDatabas 阅读全文
posted @ 2019-08-07 22:23 心随沙动 阅读(246) 评论(0) 推荐(0)
ES
摘要： ES安装 1.安装jdk(1.8) 2.上传 ElasticSearch 并解压 ，目录重命名为 es 3.创建一普通用户 (ES只能是普通用户运行) useradd pengyy passwd pengyy 4.修改 es 目录 所属用户和所属组 chown R pengyy:pengyy es 阅读全文
posted @ 2019-08-07 22:22 心随沙动 阅读(319) 评论(0) 推荐(0)
hdfs
摘要： hdfs集群配置 核心配置参数： 1)指定hadoop的默认文件系统为：hdfs 2)指定hdfs的namenode节点为哪台机器 3)指定namenode软件存储元数据的本地目录 4)指定datanode软件存放文件块的本地目录 1.vim hadoop env.sh export JAVA_HO 阅读全文
posted @ 2019-08-07 22:22 心随沙动 阅读(125) 评论(0) 推荐(0)
linux
摘要： ssh免密码登录 生成一对秘钥 ssh keygen t rsa 将公钥复制到服务器的 authorized_keys 文件中 ssh copy id ip eg: ssh copy id localhost ssh copy id 192.168.31.42 ssh copy id 192.168 阅读全文
posted @ 2019-08-07 22:21 心随沙动 阅读(114) 评论(0) 推荐(0)
下一页