摘要: 1,HDFS体系结构 ··· HDFS是采用master/slaves即主从结构模型来管理数据的。这种模型主要由四部分组成,分别是Client、NameNode、DataNode、SecondaryNameNode。一个HDFS集群包括一个 NameNode(HA除外)和若干个 DataNode以及 阅读全文
posted @ 2020-02-25 22:00 平凡的神灯 阅读(809) 评论(0) 推荐(0) 编辑
摘要: 原因:mysql安装好后,默认监听3306端口,并且只允许localhost访问,只允许root用户在localhost上登录。 我的环境: Ubuntu16.04 MySQL8.0 方法:所以要远程连接上mysql数据库。1,确保3306号端口开放;2,允许其他IP访问;3,允许root用户在其他 阅读全文
posted @ 2019-03-03 21:26 平凡的神灯 阅读(2566) 评论(0) 推荐(0) 编辑
摘要: 前言:自己在windows上用PyCharm编写的Django项目,编写完后在windows上运行一点问题都没有,但是部署到服务器上时却Bug百出。百度,CSDN,sf,各种搜索寻求解决方案在历时3天后终于让它在服务器上与在windows的运行效果一样了。看了各种博客后得出的一个结论是:过期教程害死 阅读全文
posted @ 2019-03-03 18:14 平凡的神灯 阅读(2847) 评论(2) 推荐(0) 编辑
摘要: 我的环境: python3.6, win10, 原因:不能成功安装twisted,因为twisted与高版本的python有兼容问题。 解决:1,先下载twisted二进制文件;下载地址;(例如:Twisted-18.9.0-cp36-cp36m-win32.whl 中cp36表示python3.6 阅读全文
posted @ 2019-02-25 21:12 平凡的神灯 阅读(1016) 评论(0) 推荐(0) 编辑
摘要: 我的环境: MySQL8.0.15, win10 错误描述:在安装MySQL时,如果MySQL Server组件提示不能安装,错误提示是:VS 2015没有安装或安装失败。原因:本地已经安装了VC++的其他版本,导致MySQL的依赖版本不能安装。解决:删除其他版本的VC++,并安装相应版本的vc_r 阅读全文
posted @ 2019-02-25 21:06 平凡的神灯 阅读(3823) 评论(0) 推荐(0) 编辑
摘要: 我的环境: python3.6, Django2.1.5, MySQL8.0.15, win10, PyCharm, 要求:已经安装了MySQL数据库 1,安装pymysql Django是使用MySQLdb库来连接MySQL数据库的,。但是MySQLdb不支持Python3,所以使用pymysql 阅读全文
posted @ 2019-02-25 20:44 平凡的神灯 阅读(655) 评论(0) 推荐(0) 编辑
摘要: 前言 根据上一篇 1,Python爬虫环境的安装 我们已经在本地安装好了Python环境,那么这一篇就开始学习如何用Python来爬虫! 环境:操作系统:Windows10 IDE: PyCharm2018.1 解释器:python3.6 1,只需短短4行 或许Python爬虫给大家的感觉就是比较高 阅读全文
posted @ 2018-11-05 19:38 平凡的神灯 阅读(645) 评论(0) 推荐(0) 编辑
摘要: 把自己的电脑做成服务器,并运行ASP.NET MVC网站(其他网站类似) 操作系统:Windows10 第一步:安装IIS 一般电脑都会预装IIS(即:在用VS调试MVC程序时,就是使用了IIS)。 第二步:配制IIS WIN10系统(以下功能都在 控制面板 里,其他系统也一样): 1,【WIN+X 阅读全文
posted @ 2018-11-05 18:30 平凡的神灯 阅读(4981) 评论(0) 推荐(0) 编辑
摘要: 描述:“任务计划程序”可以让计算机按照我们的要求在指定时间执行指定的程序,并且可以设置时间间隔重复执行。 作用:可以自动执行脚本来代替人为操作。对于爬虫开发者来说用处就非常大了,因为它可以每天在夜深人静的时候自动执行我们的爬虫程序,不仅网速快,而且第二天打开电脑就可以看到已经爬好的数据,美滋滋! 操 阅读全文
posted @ 2018-11-05 17:54 平凡的神灯 阅读(15909) 评论(3) 推荐(0) 编辑
摘要: 前言 很早以前就听说了Python爬虫,但是一直没有去了解;想着先要把一个方面的知识学好再去了解其他新兴的技术。 但是现在项目有需求,要到网上爬取一些信息,然后做数据分析。所以便从零开始学习Python爬虫,如果你也对Python爬虫感兴趣,那么可以跟着我一起学习了解一下! 闲话就不多说了,下面就开 阅读全文
posted @ 2018-08-04 14:44 平凡的神灯 阅读(1879) 评论(4) 推荐(0) 编辑