摘要：Debug功能对于developer是非常重要的，python提供了相应的模块pdb让你可以在用文本编辑器写脚本的情况下进行debug. pdb是python debugger的简称。常用的一些命令如下：命令 用途break 或 b 设置断点continue 或 c 继续执行程序list 或 l 查 阅读全文

摘要：Mongodb:是一种NoSQL数据库，NoSQL:Not Only SQLSQL： 数据表->JDBC读取->POJO(VO、PO）->控制层转化为JSON数据->客户端 这种转换太麻烦了，如果有直接数据库存放要显示的内容，就能够省略所有需要进行转换的过程。 所以在实际开发中，往往除了关系型数据库 阅读全文

摘要：1. Headers 从用户的headers进行反爬是最常见的反爬虫策略。Headers是一种区分浏览器行为和机器行为的最简单的方法，还有一些网站会对 Referer （上级链接）进行检测（机器行为不太可能通过链接跳转实现）从而实现反爬虫。 相应的解决措施：通过审查元素或者开发者工具获取相应的hea 阅读全文