2019 年 7月随笔档案 - van28

分布式爬虫系统实践简述

摘要：问题提出：爬虫的维护是个问题，网站发生变更时，需要重新开发获取、解析等；另外爬虫的爬取周期也是个问题，不同的网站爬取周期也不一样；爬虫会遇到封IP，代理池是一种方案，最好支持多机器部署；爬虫也要支持多线程；就需要一个统一的管理系统，管理系统最好是能够管理多种爬虫，在新增爬虫时，管理系统不用变更；解阅读全文

posted @ 2019-07-25 15:51 van28 阅读(164) 评论(0) 推荐(0)

no java web 框架选型 + web 前端框架选型实践

摘要：以前，觉得web框架的唯一选择是 java spring 全家桶，但用起来踊实比较重，配置文件比较重，开发起来比较重，在专注于写业务核心代码时，已经要做不少框架配置的事; 后来用了下python ,比java自由，但又不想js那么太目由,而且也支持类,把python当成java用很好用; 又去查了一阅读全文

posted @ 2019-07-19 09:02 van28 阅读(232) 评论(0) 推荐(0)

sqlalchemy 多对多示例

摘要：以下是某系统用户管理数据库设计用户角色的多对多关系实现阅读全文

posted @ 2019-07-18 18:19 van28 阅读(219) 评论(0) 推荐(0)

python 单例模式一般实现方法

摘要：user_manager = UserManager() 阅读全文

posted @ 2019-07-18 18:10 van28 阅读(103) 评论(0) 推荐(0)

python 日期时间处理常用方法

摘要：datetime 转字符串 create_on.strftime('%Y-%m-%d %H:%M:%S') 字符串转datetime collect_on = datetime.datetime.strptime(collect_on_str, '%Y%m%d%H%M%S') datetime转时间阅读全文

posted @ 2019-07-18 18:07 van28 阅读(341) 评论(0) 推荐(0)

CURD 代码生成可行性

摘要：数据模型的CURD，在数据库，DAO层面生成应该是成熟的；开发页面、后端接口也会重复出现代码，生成也是可行的；目前用了ant design pro + tornado，分析后可以做 CURD生成；主要针对后台管理平台，生成配置文件需要配置，菜单层级，页面对应的数据对象，数据对象细节，多对象管理阅读全文

posted @ 2019-07-17 17:12 van28 阅读(154) 评论(0) 推荐(0)

tornado 实践记录

摘要：数据库使用 sqlalchemy 做 orm，目前使用为遇到问题； controller 与数据库操作拆分一层 service，避免处理逻辑过多，易维护；验证码用cookie加密，操作简单些；用户鉴权，controller统一继承一个父类，父类中定义接口鉴权，各个controller定义各阅读全文

posted @ 2019-07-17 17:05 van28 阅读(186) 评论(0) 推荐(0)

ant design pro CURD 实践记录

摘要：CURD 主要是做后台管理，一般形式就是表格； R：表格显示数据，增加翻页，增加过滤，增加搜索，注意定制 ant design pro 的表格组件，去除多选框；可以共用 DVA 的 “查询接口”，注意保留查询参数； C：用模态框收集表单数据提交，成功后要刷新表格，可以在一个接口内完成添加与刷阅读全文

posted @ 2019-07-17 16:56 van28 阅读(245) 评论(0) 推荐(0)