雾霾王者

2020年2月29日

摘要：总体而言这周没有荒废，学习了很多新东西。这周主要做的有：机器学习博客地址： [Python机器学习]鸢尾花分类机器学习应用 [Python机器学习]机器学习概述 [Python]PyCharm中%matplotlib inline报错 [Python]scatter_matrix报错 modu 阅读全文

posted @ 2020-02-29 17:03 雾霾王者阅读(123) 评论(0) 推荐(0) 编辑

[大数据技术]Kettle对前程无忧软件相关职位进行数据清洗

摘要：爬虫代码参考：https://www.cnblogs.com/zlc364624/p/12377019.html 1、原始数据格式爬取格式如下图：用空格隔开，数据属性分别为名称、公司名称、地址、薪酬、日期、网址 2、数据清洗数据清洗的所有步骤分为以下几步：在表输入中去除存在null的记录阅读全文

posted @ 2020-02-29 15:33 雾霾王者阅读(304) 评论(0) 推荐(0) 编辑

2020年2月28日

[Python]爬取游民星空网站每周精选壁纸（1080高清壁纸）网络爬虫

摘要：一、检查首先进入该网站的https://www.gamersky.com/robots.txt页面给出提示：弹出错误页面注：网络爬虫：自动或人工识别robots.txt，再进行内容爬取约束性:robots协议建议但非约束性，不遵守可能存在法律风险如果一个网站不设置robots协议，说明阅读全文

posted @ 2020-02-28 17:08 雾霾王者阅读(810) 评论(0) 推荐(0) 编辑

[Python] 前程无忧招聘网爬取软件工程职位网络爬虫 https://www.51job.com

摘要：首先进入该网站的https://www.51job.com/robots.txt页面给出提示： 1 找不到该页 File not found 2 3 您要查看的页已删除，或已改名，或暂时不可用。 4 5 请尝试以下操作: 6 如果您已经在地址栏中输入该网页的地址，请确认其拼写正确。 7 打开 ww 阅读全文

posted @ 2020-02-28 14:18 雾霾王者阅读(662) 评论(0) 推荐(0) 编辑

2020年2月27日

[大数据技术]Kettle报OPTION SQL_SELECT_LIMIT=DEFAULT错误的解决办法

摘要：百度得到的解决方式都是说mysql通过jdbc链接的时候会进行测试’SET OPTION SQL_SELECT_LIMIT=DEFAULT’,但是5.6以后的版本弃用了set的方式。我用的MySQL数据库是5.7.20版本因此对应5.1版本的jdbc，错误提示：You have an error 阅读全文

posted @ 2020-02-27 22:57 雾霾王者阅读(1339) 评论(0) 推荐(0) 编辑

[大数据技术]Kettle从CSV文件读取清洗后到MySQL中文乱码问题

摘要：首先要知道CSV文件的编码格式然后在文件输入编码选择编码格式，第二步，在每个转换或者作业的DB连接中选择选项，并添加如下内容：中文乱码问题得到解决阅读全文

posted @ 2020-02-27 21:56 雾霾王者阅读(1083) 评论(0) 推荐(0) 编辑

[大数据技术]Kettle初次连接MySQL数据库报错问题错误连接数据库 Error occured while trying to connect to the database Exception while loading class org.gjt.mm.mysql.Driver

摘要：报错内容如下： 1 错误连接数据库 [foodmartconn] : org.pentaho.di.core.exception.KettleDatabaseException: 2 Error occured while trying to connect to the database 3 4 阅读全文

posted @ 2020-02-27 20:57 雾霾王者阅读(1197) 评论(0) 推荐(0) 编辑

[大数据技术]datax的安装以及使用

摘要： 1、datax简述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数阅读全文

posted @ 2020-02-27 20:10 雾霾王者阅读(2133) 评论(0) 推荐(0) 编辑

2020年2月26日

[Python]scatter_matrix报错 module 'pandas' has no attribute 'scatter_matrix'

摘要：运行pandas.scatter_matrix()散点图函数时报错，原因是该函数在新版本用法发生了变化： pandas.plotting.scatter_matrix 完整用法：pd.plotting.scatter_matrix(iris_dataframe, c=y_train, figsiz 阅读全文

posted @ 2020-02-26 23:52 雾霾王者阅读(1306) 评论(0) 推荐(0) 编辑

[Python机器学习]鸢尾花分类机器学习应用

摘要： 1、问题简述假设有一名植物学爱好者对她发现的鸢尾花的品种很感兴趣。她收集了每朵鸢尾花的一些测量数据：花瓣的长度和宽度以及花萼的长度和宽度，所有测量结果的单位都是厘米。她还有一些鸢尾花的测量数据，这些花之前已经被植物学专家鉴定为属于 setosa、versicolor 或 virginica 三阅读全文

posted @ 2020-02-26 23:46 雾霾王者阅读(2574) 评论(0) 推荐(0) 编辑

公告