07 2018 档案

python列表里面有字典，该怎么读取字典中的value？
摘要：Asin = [{'Asin': b2b}] 取出其中的value，使用如下代码就可以了 [item[key] for item in Asin for key in item] 源地址"https://blog.csdn.net/dl_min/article/details/78259920" 阅读全文
posted @ 2018-07-30 02:51 蚂蚁iiiiiii 阅读(6893) 评论(0) 推荐(0)
xpath中normalize-space的实际应用
摘要：normalize,字面意思就是正规化 加入space 大概意思就是空格的处理了 官方解释是这样的: 通过去掉前导和尾随空白并使用单个空格替换一系列空白字符，使空白标准化。如果省略了该参数，上下文节点的字符串值将标准化并返回。 刚好在实际项目中碰到了这样的一个问题, 定位一个下来的时候,最开始的时候 阅读全文
posted @ 2018-07-19 18:05 蚂蚁iiiiiii 阅读(1681) 评论(0) 推荐(0)
Linux的上的MongoDB的安装与卸载
摘要：安装 1.下载安装包 下载完成后解压缩压缩包 2.安装准备 将MongoDB中移动到在/ usr /本地/服务器/ mongdb文件夹 创建数据库文件夹与日志文件 3.设置开机自启动 将MongoDB的启动项目追加入rc.local中保证的MongoDB在服务器开机时启动 启动mongodb cd到 阅读全文
posted @ 2018-07-18 22:16 蚂蚁iiiiiii 阅读(2191) 评论(0) 推荐(0)
MongoDB常用操作
摘要：Mongodb:是一种NoSQL数据库，NoSQL:Not Only SQLSQL： 数据表->JDBC读取->POJO(VO、PO）->控制层转化为JSON数据->客户端这种转换太麻烦了，如果有直接数据库存放要显示的内容，就能够省略所有需要进行转换的过程。所以在实际开发中，往往除了关系型数据库之外 阅读全文
posted @ 2018-07-17 08:16 蚂蚁iiiiiii 阅读(561) 评论(0) 推荐(0)
scrapy 爬网站 显示 Filtered offsite request to 错误.
摘要：爬取zol 网站图片,无法抓取. 在 setting.py 文件中 设置 日志 记录等级 LOG_LEVEL= 'DEBUG' LOG_FILE ='log.txt' 查看日志 发现报 2015-11-07 14:43:43+0800 [meizitu] DEBUG: Filtered offsit 阅读全文
posted @ 2018-07-16 15:01 蚂蚁iiiiiii 阅读(239) 评论(0) 推荐(0)
在linux系统下把多个终端合并在一个窗口
摘要：用正常的方式打开一个终端。 2.使用组合键 ctrl+shift+t , 这时就在同一个窗口中打开了另一个终端，当然再按一次ctrl+shift+t，会再生成一个，需要多少了大家可以自行决定。效果截图如下： 3.按组合键Alt+1，就会切换到第一个终端，按Alt+2，就会切换到第2个终端，Alt+n 阅读全文
posted @ 2018-07-15 12:13 蚂蚁iiiiiii 阅读(2642) 评论(0) 推荐(0)
安装python爬虫scrapy踩过的那些坑和编程外的思考
摘要：‘转载地址：http://www.cnblogs.com/rwxwsblog/p/4557123.html’ 这些天应朋友的要求抓取某个论坛帖子的信息，网上搜索了一下开源的爬虫资料，看了许多对于开源爬虫的比较发现开源爬虫scrapy比较好用。但是以前一直用的java和php，对python不熟悉，于 阅读全文
posted @ 2018-07-08 19:02 蚂蚁iiiiiii 阅读(366) 评论(0) 推荐(0)
大规模爬虫流程总结
摘要：爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示。 先检查是否有API API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内 阅读全文
posted @ 2018-07-05 19:06 蚂蚁iiiiiii 阅读(271) 评论(0) 推荐(0)
Python的35种“黑魔法”级别技巧！
摘要：这是从我刚刚开始学习Python到现在上班中，总结的35个小技巧。希望对你有帮助，欢迎补充！ 1、拆箱 2、拆箱变量交换 3、扩展拆箱（只兼容python3） 4、负数索引 5、 切割列表 6、 负数索引切割列表 7、指定步长切割列表 8、负数步长切割列表 9、列表切割赋值 10、 命名列表切割方式 阅读全文
posted @ 2018-07-04 10:36 蚂蚁iiiiiii 阅读(457) 评论(0) 推荐(0)
python10道面试题陷阱
摘要：问题1：请问如何修改以下Python代码，使得下面的代码调用类A的show方法？ 答：这道题的考点是类继承，只要通过__class__ 方法指定类对象就可以了。补充的代码如下： 问题2：请问如何修改以下Python代码，使得代码能够运行？ 答：此题考察得是方法对象，为了能让对象实例能被直接调用，需要 阅读全文
posted @ 2018-07-04 10:30 蚂蚁iiiiiii 阅读(345) 评论(0) 推荐(0)
kill 杀死多个进程
摘要：1、ps指令与kill配合： ps -ef|grep LOCAL=NO|grep -v grep|cut -c 9-15|xargs kill -9 管道符“|”用来隔开两个命令，管道符左边命令的输出会作为管道符右边命令的输入。下面说说用管道符联接起来的 几个命令： “ ps - ef”是Red H 阅读全文
posted @ 2018-07-03 22:16 蚂蚁iiiiiii 阅读(955) 评论(0) 推荐(0)
Liunx 中kill命令详解
摘要：1．命令格式： kill[参数][进程号] 2．命令功能： 发送指定的信号到相应进程。不指定型号将发送SIGTERM（15）终止指定进程。如果任无法终止该程序可用“-KILL” 参数，其发送的信号为SIGKILL(9) ，将强制结束进程，使用ps命令或者jobs 命令可以查看进程号。root用户将影 阅读全文
posted @ 2018-07-03 22:08 蚂蚁iiiiiii 阅读(1009) 评论(0) 推荐(0)
python
摘要：一 python综合 1.对不定常参数的理解 不定长参数有两种：*args 和**kwargs； *args：是不定长参数，用来将参数打包成元组（tuple）给函数体调用； **kwargs：是关键字参数，打包关键字参数成字典（dict）给函数体调，用在定义函数的时候不确定要传入多少个参数的时候就可 阅读全文
posted @ 2018-07-03 16:49 蚂蚁iiiiiii 阅读(370) 评论(0) 推荐(0)
面试常考点：http和https的区别与联系
摘要：超文本传输协议HTTP协议被用于在Web浏览器和网站服务器之间传递信息，HTTP协议以明文方式发送内容，不提供任何方式的数据加密，如果攻击者截取了Web浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息，因此，HTTP协议不适合传输一些敏感信息，比如：信用卡号、密码等支付信息。 为了解决HT 阅读全文
posted @ 2018-07-03 15:44 蚂蚁iiiiiii 阅读(198) 评论(0) 推荐(0)
常见的反爬虫和应对方法
摘要：0x01 常见的反爬虫 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的 阅读全文
posted @ 2018-07-03 15:42 蚂蚁iiiiiii 阅读(302) 评论(0) 推荐(1)