会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
返回顶部
The snail
博客园
首页
新随笔
管理
上一页
1
···
11
12
13
14
15
16
17
18
19
···
28
下一页
2020年4月13日
MySQL -- Mac平台 重启服务、查看服务状态
摘要: 1、查看MySQL服务状态 sudo mysql.server status 2、重新启动MySQL服务 sudo mysql.server restart
阅读全文
posted @ 2020-04-13 11:41 Be-myself
阅读(6146)
评论(0)
推荐(1)
2020年4月12日
数据分析 -- 常用代码 库
摘要: import csv import pymysql from openpyxl import load_workbook # 读取现有Excel class MyFuncRreadExcel(object): def __init__(self): self.mysqlConfig = { "hos
阅读全文
posted @ 2020-04-12 22:18 Be-myself
阅读(504)
评论(0)
推荐(0)
2020年4月10日
Python3 -- 目录
摘要: python3 之 文件read方法(read、readline、readlines) Python3 -- 文件I/O总结(with、read、write、txt、CSV等) Python3 之 with语句(高效、便捷) python3之递归实例 python3 之 闭包实例解析 python3
阅读全文
posted @ 2020-04-10 13:47 Be-myself
阅读(274)
评论(0)
推荐(0)
JSON -- python 对json 字符串/文件 的编解码(json.dumps/json.loads | json.dump/json.load)
摘要: json.dumps 与 json.loads 实例 #!/usr/bin/python3 import json # Python 字典类型转换为 JSON 对象 data1 = { 'no' : 1, 'name' : 'Runoob', 'url' : 'http://www.runoob.c
阅读全文
posted @ 2020-04-10 11:14 Be-myself
阅读(608)
评论(0)
推荐(0)
2020年4月8日
数据分析 -- Python openpyxl模块 Excel操作
摘要: 1、工作簿操作 1、基本操作:打开Excel文件、打开当前工作表sheet、获取最大行数、获取最大列数 # 入口函数 # 读取商品词Excel def read_xls_product(xls_path): # 打开一个Excel try: wb = load_workbook(xls_path)
阅读全文
posted @ 2020-04-08 14:16 Be-myself
阅读(741)
评论(0)
推荐(0)
2020年4月7日
Pip -- linux 下的源 配置
摘要: 1.在根目录下创建.pip文件夹 mkdir ~/.pip 2.在创建好的.pip文件夹下创建pip源配置文件 touch ~/.pip/pip.conf 3.选择国内某一pip源配置到文件pip.conf中,样例如下(这里用的是阿里的pip源): [global] index-url=http:/
阅读全文
posted @ 2020-04-07 19:25 Be-myself
阅读(1745)
评论(0)
推荐(0)
2020年4月6日
Spider -- MySQL数据库 之 增量爬取
摘要: 把电影天堂数据存入MySQL数据库 - 增量爬取 # 思路 # 1、MySQL中新建表 urltab,存储所有爬取过的链接的指纹 # 2、在爬取之前,先判断该指纹是否爬取过,如果爬取过,则不再继续爬取 1、建库建表 # 建库建表 create database filmskydb charset u
阅读全文
posted @ 2020-04-06 18:13 Be-myself
阅读(375)
评论(0)
推荐(0)
Spider -- 多级页面 爬取
摘要: # 整体思路 1、爬取一级页面,提取 所需数据+链接,继续跟进 2、爬取二级页面,提取 所需数据+链接,继续跟进 3、... ... # 代码实现思路 1、所有数据最终都会在一级页面遍历每条数据时全部拿到 2、避免重复代码 - 请求、解析需定义函数 电影天堂二级页面抓取案例 领取任务 # 地址 电影
阅读全文
posted @ 2020-04-06 18:02 Be-myself
阅读(883)
评论(0)
推荐(0)
Spider -- 数据持久化 之 MongoDB
摘要: MongoDB数据库 MongoDB是一个基于磁盘的 非关系型 (key-value)数据库, value为json串 MySQL: 库 表 表记录 MongoDB: 库 集合 文档 pymongo操作mongodb数据库 import pymongo # 1.数据库连接对象 conn=py
阅读全文
posted @ 2020-04-06 17:55 Be-myself
阅读(319)
评论(0)
推荐(0)
Spider -- 数据持久化 之 MySQL
摘要: 1、在数据库中建库建表 # 连接到mysql数据库 mysql -h127.0.0.1 -uroot -p123456 # 建库建表 create database maoyandb charset utf8; use maoyandb; create table filmtab( name var
阅读全文
posted @ 2020-04-06 17:27 Be-myself
阅读(366)
评论(0)
推荐(0)
上一页
1
···
11
12
13
14
15
16
17
18
19
···
28
下一页
公告
levels of contents 点击查看具体代码内容