数据民工 - 博客园

2021年3月

摘要：打怪升级之小白的大数据之旅(五) Java基础语法之数组的基本概念目录打怪升级之小白的大数据之旅(五) 上次回顾数组概述数组的概念与数组的组成数组的特点数组的声明与初始化数组的声明数组的初始化数组的初始化方式数组元素的访问索引数组的... 阅读全文

posted @ 2021-03-30 21:19 数据民工阅读(19) 评论(0) 推荐(0)

摘要：打怪升级之小白的大数据之旅(四) Java基础语法之流程控制上次回顾小伙伴们,还记得前面说过的知识点么?我来简单回顾一下,上次,我们提到数据类型中的基本数据类型和数据类型的转换,之后提到了运算符以及其运算符的优先级.这里的难点就是位运算符的使用以及了解... 阅读全文

posted @ 2021-03-29 21:18 数据民工阅读(19) 评论(0) 推荐(0)

摘要：打怪升级之小白的大数据之旅(三) Java基础语法之数据类型与运算符目录打怪升级之小白的大数据之旅(三) 上次回顾数据类型数据类型的转换自动类型转换(自动类型提升) 强制转换运算符算数运算符: 赋值运算符：比较/关系运算符：逻辑运算符： ... 阅读全文

posted @ 2021-03-29 15:26 数据民工阅读(13) 评论(0) 推荐(0)

2020年9月

摘要：首先是耳熟能详的介绍: Puppeteer 是 Google 基于 Node.js 开发的一个工具，主要是用来操纵 Chrome 浏览器的 API，通过 Javascript 代码来操纵 Chrome 浏览器的一些操作，用作网络爬虫完成数据爬取、Web... 阅读全文

posted @ 2020-09-10 11:31 数据民工阅读(36) 评论(0) 推荐(0)

2020年8月

摘要： PyQt5可以让python做一个简单的界面开发，我根据网上的普罗大众安装方法进行安装，遇到了一些坑，在此做一个记录，为自己，也为同仁们行个方便第一步：安装python，这个网上教程很多，就不过多赘述了第二步：创建一个新的python环境,养成良... 阅读全文

posted @ 2020-08-26 14:19 数据民工阅读(48) 评论(0) 推荐(0)

2020年5月

摘要：我在运行scrapy crawlspider的时候，发现首页200请求成功，但是详情页返回404，于是，进入网站，查看详情页链接是什么样子这是列表页直接鼠标右键，新页面打开，发现网页正常，链接如下：这下知道原因了，是crawlspider的路... 阅读全文

posted @ 2020-05-12 17:21 数据民工阅读(16) 评论(0) 推荐(0)

2019年7月

摘要：最近在研究空间数据相关的业务，刚开始对于空间数据是懵懂的；尤其是它的各种坐标，火星,wgs84,百度mc等等，因为根据业务需求要对坐标进行各种处理，于是搜罗网上、和同事探讨，制作了一个坐标转换的小工具，方便日常使用安装: pip install Change... 阅读全文

posted @ 2019-07-29 15:29 数据民工阅读(29) 评论(0) 推荐(0)

2019年4月

摘要：众所周知，Mysql是一个关系型数据库。在Mongo未普及之前，几乎垄断了整个市场。Mongo的问世，其操作简易，存储方便很快就被大家所熟知、使用。两个数据库各有春秋。下面给大家介绍一个Mysql数据导入到Mongo的Demo，我自己写的简易版的。经过测试。2... 阅读全文

posted @ 2019-04-01 09:21 数据民工阅读(32) 评论(0) 推荐(0)

2019年3月

摘要： XX交通委提醒您注意爬虫安全，网站千万条，安全第一条，编码不规范，亲人两行泪在使用scrapy数据抓取过程中，经常会遇到这种情况（58这类自己专门设置了字符集反爬措施）除外 # 解决思路 download minddlewares中有个process_re... 阅读全文

posted @ 2019-03-05 15:48 数据民工阅读(62) 评论(0) 推荐(0)

摘要： django默认的shell不人性化，没有自动补全要想在django中使用ipython的shell来进行测试，简单几步即可 # 第一步下载 django扩展pip install django-extensions# 第二步下载 ipythonpip in... 阅读全文

posted @ 2019-03-02 11:02 数据民工阅读(16) 评论(0) 推荐(0)