03 2018 档案

linux ssh keys
摘要：1. 原理： SSH 密钥对总是成双出现的，一把公钥，一把私钥。公钥可以自由的放在您所需要连接的 SSH 服务器上，而私钥必须稳妥的保管好。 所谓"公钥登录"，原理很简单，就是用户将自己的公钥储存在远程主机上。登录的时候，远程主机会向用户发送一段随机字符串，用户用自己的私钥加密后，再发回来。远程主机 阅读全文
posted @ 2018-03-30 19:36 家迪的家 阅读(662) 评论(0) 推荐(0)
django MTV架构下的网站开发步骤
摘要：1.需求分析必不可少，一定要具体列出本次网站项目所要实现的目标，可能包括简单的页面草图与功能方块图等。 2.数据库设计。 3.了解网站的每一个页面，并设计网页模板(.html)文件 4.使用virtualenv创建并启用虚拟机环境 5. 使用pip install django==1.11.13 6 阅读全文
posted @ 2018-03-30 17:01 家迪的家 阅读(493) 评论(0) 推荐(0)
Centos7下安装python3
摘要：1. 安装依赖环境 # yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel 阅读全文
posted @ 2018-03-29 11:30 家迪的家 阅读(187) 评论(0) 推荐(0)
python 线程间事件通知
摘要：这是线程间最简单的通信机制：一个线程发送事件，其他线程等待事件事件机制使用一个内部的标志，使用set方法进行使能为True，使用clear清除为falsewait方法将会阻塞当前线程知道标记为True 阅读全文
posted @ 2018-03-23 13:30 家迪的家 阅读(437) 评论(0) 推荐(0)
hadoop MapReduce
摘要：本质思想：分而治之，一个大任务分成多个小的子任务（map）,并行执行后，合并结果。（reduce） MapReduce运行流程 JobTracker:作业的管理者 将作业分解成一堆任务（MapTask和ReduceTask），分配给TaskTracker运行， 作业的监控，容错处理，在一定时间间隔内 阅读全文
posted @ 2018-03-22 20:00 家迪的家 阅读(187) 评论(0) 推荐(0)
hadoop文件配置
摘要：伪分布式配置： core-site.xml hdfs-site.xml mapred-site.xml (可能需要重命名mapred-site.xml.template) yarn-site.xml 初始化 启动 查看 打开Hadoop Resource-Manager Web界面 http://l 阅读全文
posted @ 2018-03-22 09:34 家迪的家 阅读(336) 评论(0) 推荐(0)
DataFrame 数据去重
摘要：df.drop_duplicates(subset=None, keep='first', inplace=False) 1 data.drop_duplicates()#data中一行元素全部相同时才去除 2 data.drop_duplicates(['a','b'])#data根据’a','b 阅读全文
posted @ 2018-03-21 13:38 家迪的家 阅读(31942) 评论(0) 推荐(0)
用selenium获取cookies
摘要：前言：由于登录反爬措施的越来越麻烦，甚至出现了12306这种看图识物的无敌验证码，我只能说，我选择死亡。这就衍生出了使用selenium来获取获取cookies。 实例：获取qq空间cookies，亲测成功2018-3-7（注意点：chromedriver.exe的路径输入） cookies一保存， 阅读全文
posted @ 2018-03-07 15:23 家迪的家 阅读(13264) 评论(0) 推荐(1)
selenium
摘要：1.1什么是selenium selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题、通过账号密码获取cookies(基于各大网站登录验证码的升级，特别是12306)。 1.2centos7无桌面环境部署 安装火狐浏览器 $ yum ins 阅读全文
posted @ 2018-03-07 14:38 家迪的家 阅读(388) 评论(0) 推荐(0)
应用机器学习的建议
摘要：案例： 假如你已经完成了正则化线性回归，也就是最小化 代价函数 J 的值，假如，在你得到你的学习参数以后，如果你要将你的假设函数放到一组新 的房屋样本上进行测试，结果发现在预测房价时产生了巨大的误差，如何改进这个算法。 方法：1. 获得更多的训练实例——通常是有效的，但代价较大，下面的方法也可能有效 阅读全文
posted @ 2018-03-05 17:30 家迪的家 阅读(255) 评论(0) 推荐(0)
逻辑回归
摘要：1.1分类问题 在分类问题中，你要预测的变量 y 是离散的值，我们将学习一种叫做逻辑回归 (LogisticRegression) 的算法，这是目前最流行使用最广泛的一种学习算法。 在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件 阅读全文
posted @ 2018-03-01 16:39 家迪的家 阅读(194) 评论(0) 推荐(0)