摘要：
Kettle是使用Java开发，开源的一款ETL工具，这里记录一下关于Kettle有关于数据库连接的问题 1、mysql版本需要注意区分，在mysql8.0的文档中官方已经给出，使用caching_sha2_password作为首选身份验证插件， 同时，官方也给出解决方案 kettle连接数据库问题 阅读全文
摘要：
基于真实环境下的数据爬取和结构化存储 存储使用的是mysql数据库 建议：在进行数据爬取时，获取的数据并不是结构化数据的情况下，建议使用字典来进行结构化处理。 第一步：获取目标网页的所有数据，并进行结构化处理，这里使用字典html_a来进行存储，注意html_a["bs"]用来表示某一条信息的状态 阅读全文
摘要：
python数据分析 pandas，numpy 先解决几个问题： 1、python的虚拟环境创建 如果有虚拟环境，点击选择"show all"，进入后选择对应的虚拟环境即可，如果没有虚拟环境，选择Add，创建一个新的虚拟环境 选择Virtualenv Environment 继续选择New envi 阅读全文
摘要：
记录于2020.10.22 废话不多说直接上源码 1 #获取有缺口的图片 2 bigImg = Imgdict['bigImgName'] 3 smallImg = Imgdict['smallImgName'] 4 picture_big = self.get_HTML(bigImg) 5 byt 阅读全文
摘要：
目标：使用Python编写爬虫，获取链家青岛站的房产信息，然后对爬取的房产信息进行分析。 环境：win10+python3.8+pycharm Python库： 1 import requests 2 import bs4 3 from bs4 import BeautifulSoup 4 impo 阅读全文
摘要：
回文素数：一种既是回文数又是素数的数字 “回文”是指正读反读都能读通的句子，它是古今中外都有的一种修辞方式和文字游戏，如“我为人人，人人为我”等。在数学中也有这样一类数字有这样的特征，成为回文数 素数指在大于1的自然数中，除了1和它本身以外不再有其他因数的自然数。 1 i = 10 2 HuiWen 阅读全文
摘要：
利用Python爬虫爬取目标小说并保存到本地 小说地址：http://book.zongheng.com/showchapter/749819.html（目录地址） 通过小说目录获取小说所有章节对应的url地址，然后逐个访问解析得到每一章节小说的内容，最后保存到本地文件内 文章中的代码只是第一个版本 阅读全文
摘要：
通过Python开发一个基于控制台的名片管理系统，具体看下图以及相关代码。 cards_main.py文件中提供程序的入口 1 import cards_toolslx 2 3 while True: 4 # TODO 显示功能菜单 5 cards_toolslx.show_menu() 6 7 G 阅读全文
摘要：
1 import requests 2 import time 3 import random 4 url = ['http://cq.srx123.com/', 5 'http://cq.srx123.com/article.php', 6 'http://cq.srx123.com/yszc.p 阅读全文
摘要：
提供两个关于while循环和if判断的小例子 例1：由用户输入两个数字，计算两个数字的最大公约数 1 x = eval(input("请输入第一个数字：")) 2 y = eval(input("请输入第二个数字：")) 3 if x < y: 4 x,y = y,x 5 while x % y ! 阅读全文