随笔分类 -  大数据

毕业设计-1.07
摘要：情况概述： 安装MySQL，Navicat，将数据导入数据库，因为前面出了不少错误，因此导入数据尝试多次。尝试复习并编写MySQL查询语句。 MySQL语句： 复习： LIKE语句： LIKE 运算符 描述 WHERE 列名 LIKE 'a%' 查找以“a”开头的任何值 WHERE 列名 LIKE 阅读全文
posted @ 2021-01-07 22:13 雾霾王者 阅读(59) 评论(0) 推荐(0)
毕业设计-1.06
摘要：情况概述： 发现问题，对代码进行优化改错，并且重新爬取2011-2020年天气数据。 代码更正： import requests from bs4 import BeautifulSoup from Weather import IO as ios class item: def __init__( 阅读全文
posted @ 2021-01-06 23:09 雾霾王者 阅读(69) 评论(0) 推荐(0)
[机器学习]AttributeError: module 'tensorflow' has no attribute 'ConfigProto' 报错解决方法
摘要：在代码： config=tf.ConfigProto() sess=tf.compat.v1.Session(config=config) 执行过程中会报错 config=tf.ConfigProto()AttributeError: module 'tensorflow' has no attri 阅读全文
posted @ 2020-03-26 11:09 雾霾王者 阅读(26666) 评论(1) 推荐(2)
[机器学习]RuntimeError: The Session graph is empty. Add operations to the graph before calling run(). 报错解决方法
摘要：在进行机器学习的过程中 1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 # @File : TensorFlow入门操作.py 4 # @Author: 赵路仓 5 # @Date : 2020/3/26 6 # @Desc : 7 # @Co 阅读全文
posted @ 2020-03-26 11:06 雾霾王者 阅读(15878) 评论(1) 推荐(1)
[python]机器学习 k-mean 聚类分析
摘要：1.聚类代码： 1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 # @File : 聚类2.py 4 # @Author: 赵路仓 5 # @Date : 2020/3/19 6 # @Desc : 7 # @Contact : 3983334 阅读全文
posted @ 2020-03-22 22:18 雾霾王者 阅读(536) 评论(0) 推荐(1)
[极限测试]第一日进度
摘要：完成了地域、时间维度的清洗，以及关键字、应用行业以及应用行业代码的清洗。 导入MySQL数据库以便下一步的展示。 暂时无法进行展示。 其中主要用到了： 百度API： [Python]调用百度地图API对地点进行搜索，利用 JSON 返回纬度/行政区域编号 [Python]调用百度API进行自然语言处 阅读全文
posted @ 2020-03-12 20:38 雾霾王者 阅读(194) 评论(0) 推荐(0)
[Python]调用百度API进行自然语言处理 标签、关键字 以及 词法分析
摘要：1、进入百度API自然语言处理文档 进入右上角的控制台，注册登录 左侧导航栏选择自然语言处理 创建自己的应用 输入应用名称以及应用描述，其他默认即可。 在如下页面记住自己的API Key以及SecretKey 2.文章标签接口 2.1接口描述 文本标签服务对文章的标题和内容进行深度分析，输出能够反映 阅读全文
posted @ 2020-03-12 20:21 雾霾王者 阅读(1546) 评论(0) 推荐(0)
学习进度报告【第三周】
摘要：这周主要完成健民老师的数据清洗任务，以及各个选修的作业，但也学习了一些其他内容，但量较少。 机器学习博客地址： [Python机器学习]Windows系统解决python matplotlib中文乱码 [Python机器学习]Nagel-Schreckenberg(交通流)模型 软件架构博客地址： 阅读全文
posted @ 2020-03-10 15:13 雾霾王者 阅读(96) 评论(0) 推荐(0)
[Python]调用百度地图API对地点进行搜索，利用 JSON 返回纬度/行政区域编号
摘要：1.创建百度API应用 类似爬虫程序，在百度地图API进行注册 在此处点击控制台，在应用管理 我的应用处 创建自己的应用。 创建应用如图所示，在请求校验方式处选择sn校验方式 记住自己的AK值 点开设置，记住自己的SK值 2.实现 1、sn码及url的生成url= http://api.map.ba 阅读全文
posted @ 2020-03-10 15:07 雾霾王者 阅读(2243) 评论(0) 推荐(1)
[转载](Kettle)合并记录步骤
摘要：该步骤用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。 需要设置的参数： [@more@] 旧数据来源：旧数据来源的步骤 新数据来源。新数据来源的步骤 标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列 阅读全文
posted @ 2020-03-10 14:51 雾霾王者 阅读(2964) 评论(0) 推荐(0)
[大数据技术]Kettle对 前程无忧软件相关职位 进行数据清洗
摘要：爬虫代码参考：https://www.cnblogs.com/zlc364624/p/12377019.html 1、原始数据格式 爬取格式如下图： 用空格隔开，数据属性分别为 名称、公司名称、地址、薪酬、日期、网址 2、数据清洗 数据清洗的所有步骤 分为以下几步： 在表输入中去除存在null的记录 阅读全文
posted @ 2020-02-29 15:33 雾霾王者 阅读(334) 评论(0) 推荐(0)
[大数据技术]Kettle报OPTION SQL_SELECT_LIMIT=DEFAULT错误的解决办法
摘要：百度得到的解决方式都是说mysql通过jdbc链接的时候会进行测试’SET OPTION SQL_SELECT_LIMIT=DEFAULT’,但是5.6以后的版本弃用了set的方式。 我用的MySQL数据库是5.7.20版本因此对应5.1版本的jdbc， 错误提示：You have an error 阅读全文
posted @ 2020-02-27 22:57 雾霾王者 阅读(1501) 评论(0) 推荐(0)
[大数据技术]Kettle初次连接MySQL数据库 报错问题 错误连接数据库 Error occured while trying to connect to the database Exception while loading class org.gjt.mm.mysql.Driver
摘要：报错内容如下： 1 错误连接数据库 [foodmartconn] : org.pentaho.di.core.exception.KettleDatabaseException: 2 Error occured while trying to connect to the database 3 4 阅读全文
posted @ 2020-02-27 20:57 雾霾王者 阅读(1372) 评论(0) 推荐(0)