一往无前！

项目日报（一）

摘要：今天进度较慢，就学习利用百度api对地址信息进行了清洗。主要思路就是利用百度地图的搜索功能，通过百度地图获取到该地址的经纬度，然后再通过经纬度获取地址的一个json信息，然后根据分析提取出所在地的省市县三级地址，以及获取到他的行政区划代码。并修改到数据库当中。下面是我用的一些学习代码：百度搜索的阅读全文

posted @ 2020-03-12 20:23 一往无前！阅读(430) 评论(0) 推荐(0)

运用百度api报错

摘要： {"status":240,"message":"APP 服务被禁用"} 如果是旧版本的，请更改url信息旧版本的：http://api.map.baidu.com/geocoder/v2/? 新版本的：http://api.map.baidu.com/reverse_geocoding/v3/? 阅读全文

posted @ 2020-03-12 11:56 一往无前！阅读(398) 评论(0) 推荐(0)

爬取新浪网的标题和网址

摘要： import requests from bs4 import BeautifulSoup url = 'https://news.sina.com.cn/china' #爬取的新闻网址 res = requests.get(url) res.encoding="UTF-8" # 使用剖析器为htm 阅读全文

posted @ 2020-03-11 09:21 一往无前！阅读(249) 评论(0) 推荐(0)

jequary下载

摘要：在使用网上的各种可视化工具的时候都会用到各种的jQuery文件，需要进行下载在此分享一个下载jequary的网址：http://www.jq22.com/jquery-info122 阅读全文

posted @ 2020-03-10 21:28 一往无前！阅读(195) 评论(0) 推荐(0)

架构漫谈阅读笔记01

摘要：阅读了《架构漫谈》的前三章内容之后，对架构有了一个初步的认识，这几部分引入了架构的概念，什么是架构，以及架构的识别问题，同时在第二章为了能够更加清晰的引入架构，还对概念一词进行了详细的阐述，老师在书中举了很多具体而形象的例子，对于理解其中的相关的知识来说具有很大的帮助。首先什么是结构？架构一词其实阅读全文

posted @ 2020-03-10 17:48 一往无前！阅读(104) 评论(0) 推荐(0)

周进度报告（三）

摘要：本周利用进行了DataX和kettle的实战，利用dataX和kettle对csv格式的数据源进行了清洗，将其导入到了MySQL数据库中，并对数据进行了查重。利用自己学习了一些Python的爬虫，爬取了新闻网站的标题和地址。阅读全文

posted @ 2020-03-08 20:21 一往无前！阅读(80) 评论(0) 推荐(0)

logstach

摘要：下载地址：https://www.elastic.co/cn/downloads/past-releases 安装kopf插件命令：plugin install lmenezes/elasticsearch-kopf 查看安装的插件命令：plugin list logstash：加载配置文件需要阅读全文

posted @ 2020-03-03 22:41 一往无前！阅读(172) 评论(0) 推荐(0)

DataX实战（Datax闭坑）

摘要：学习了安装并学习了dataX的使用首先安装Datax 1.下载压缩包：下载页面地址：https://github.com/alibaba/DataX 在页面中【Quick Start】 >【Download DataX下载地址】进行下载。下载后的包名：datax.tar.gz。解压后{datax 阅读全文

posted @ 2020-03-02 22:23 一往无前！阅读(989) 评论(0) 推荐(0)

疫情各类模型展示

摘要：首先利用时间轴，做一个动态的展示（展示每一天内的确诊人数，并且对每一个省的数据做一个动态的排序）里边的数据是我自己加的，如果需要的话可以利用循环的方式读取数据库存入json文件中使用，每一个元组都代表着一天的数据。（这个图展示的单位是省市，没有向下一层下钻）效果图： <!DOCTYPE html> 阅读全文

posted @ 2020-03-01 22:12 一往无前！阅读(993) 评论(0) 推荐(0)

周进度报告（二）

摘要：本周学习了利用德拓的教学视频学习使用了DataX以及kettle进行数据的清洗。阅读全文

posted @ 2020-03-01 21:06 一往无前！阅读(67) 评论(0) 推荐(0)