papering - 博客园

2017年12月22日

摘要： SELECT COUNT(1),FROM_UNIXTIME(update_time,'%Y%m%d %H') AS h, FROM_UNIXTIME(create_time,'%Y%m%d') AS d FROM test_url GROUP BY h,d ORDER BY h DESC ; 阅读全文

posted @ 2017-12-22 15:05 papering 阅读(402) 评论(0) 推荐(0)

利用一切可以利用的资源去解决问题完成难以想象的任务

摘要：去解决问题干阅读全文

posted @ 2017-12-22 12:48 papering 阅读(314) 评论(0) 推荐(0)

面向数据的编程面向数据的决策

摘要：面向数据阅读全文

posted @ 2017-12-22 10:50 papering 阅读(156) 评论(0) 推荐(0)

整洁的架构

摘要：小结: 1、User Case 用例是架构设计中非常重要的一环，架构也是基于这些用例进行设计的，如果缺失了用例，就无从谈起架构设计了。一文读懂架构整洁之道 https://mp.weixin.qq.com/s/XAm1MO4RQYtkj3ay-2jT7A 一文读懂架构整洁之道原创马飞翔（泽畔）阅读全文

posted @ 2017-12-22 10:44 papering 阅读(429) 评论(0) 推荐(0)

2017年12月21日

在战略设计层面提出了域、子域、限界上下文等重要概念；在战术设计层面提出了实体、值对象、领域服务、领域事件、聚合、工厂、资源库等重要概念。领域驱动设计有防腐层的设计

摘要：小结： 1、 “分层架构”遵循了“关注点分离”原则，将属于业务逻辑的关注点放到领域层（Domain Layer）中，而将支撑业务逻辑的技术实现放到基础设施层（Infrastructure Layer）中。同时，领域驱动设计又颇具创见的引入了应用层（Application Layer）。应用层扮演了双阅读全文

posted @ 2017-12-21 20:42 papering 阅读(927) 评论(0) 推荐(0)

linux 多个文件中查找字符串 hadoop 3 安装调试

摘要： http://www.cnblogs.com/iLoveMyD/p/4281534.html 2015年2月9日 14:36:38 [root@hadoop3 logs]# cat hadoop-root-namenode-hadoop3.log 2017-12-29 15:06:50,183 IN 阅读全文

posted @ 2017-12-21 17:44 papering 阅读(819) 评论(0) 推荐(0)

python 获取代码宿主机名 ip

摘要： 1、获取hostname 相同代码不同宿主机日志名互异且可识别宿主机分布式爬虫 https://docs.python.org/3.6/library/socket.html#socket.SOCK_RAW socket.gethostbyname(socket.gethostname( 阅读全文

posted @ 2017-12-21 13:13 papering 阅读(790) 评论(0) 推荐(0)

Apache Hadoop 3.0.0 Release Notes

摘要： http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-common/release/3.0.0/RELEASENOTES.3.0.0.html /usr/local/hadoop/etc/hadoop 没有slaves 各个节阅读全文

posted @ 2017-12-21 11:50 papering 阅读(311) 评论(0) 推荐(0)

控制你的数据，你才能得到有效且高效的数据结果

摘要：精细化处理控制你的数据，你才能得到有效且高效的数据结果阅读全文

posted @ 2017-12-21 10:19 papering 阅读(192) 评论(0) 推荐(0)

2017年12月20日

读写分离与主从同步数据一致性

摘要： MySQL的读写分离与主从同步数据一致性 - windpoplar - 博客园 https://www.cnblogs.com/windpoplar/p/11978742.html MySQL的读写分离与主从同步数据一致性有没有做MySQL读写分离？如何实现mysql的读写分离？MySQL主从复制阅读全文

posted @ 2017-12-20 18:13 papering 阅读(398) 评论(0) 推荐(0)

a

摘要： a 阅读全文

posted @ 2017-12-20 17:48 papering 阅读(495) 评论(0) 推荐(0)

maximize_window fullscreen_window minimize_window

摘要： # Licensed to the Software Freedom Conservancy (SFC) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional information# regarding copyr... 阅读全文

posted @ 2017-12-20 15:28 papering 阅读(621) 评论(0) 推荐(0)

HTTP 代理原理及实现

摘要： https://imququ.com/post/web-proxy.html 阅读全文

posted @ 2017-12-20 00:03 papering 阅读(297) 评论(0) 推荐(0)

2017年12月19日

browser user agent

摘要：乐视X501 UC浏览器1080x1920x32Mozilla/5.0 (Linux; U; Android 5.0.2; zh-CN; Letv X501 Build/DBXCNOP5501304131S) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 UCBrowser/10.10.0.800 U3/0.8.0 Mobile Safa... 阅读全文

posted @ 2017-12-19 23:49 papering 阅读(471) 评论(0) 推荐(0)

res_d_l =[{'contents':d.contents,'href':d.attrs['href']} for d in rd] 泛型

摘要： from selenium import webdriverfrom selenium.webdriver.chrome.options import Options# from selenium.webdriver.firefox.options import Optionsimport timefrom time import sleepimport mathimport randomim... 阅读全文

posted @ 2017-12-19 23:43 papering 阅读(364) 评论(0) 推荐(0)

tmp

摘要： -- 经排查日志，发现ordertest.com下的url检测，频繁<Response [403]>,Forbidden;再进一步查询数据库数据：逐日统计错误临时表test_error_temp中ordertest.com日行数：SELECT COUNT(1),FROM_UNIXTIME(creat 阅读全文

posted @ 2017-12-19 14:38 papering 阅读(227) 评论(0) 推荐(0)

Connection reset by peer

摘要： https://msdn.microsoft.com/en-us/library/ms847613.aspx Error Message: Connection reset by peer. Explanation: A connection was forcibly closed by a pee 阅读全文

posted @ 2017-12-19 13:35 papering 阅读(861) 评论(0) 推荐(0)

数据分析浏览器端展示技术选型

摘要： python 相对其他语言，在业务数据运算/分析方面，高效的编码速度阅读全文

posted @ 2017-12-19 11:05 papering 阅读(152) 评论(0) 推荐(0)

mysql 查询语句去重通过sql去重

摘要： url 在表中具有唯一性；由于定时任务的多进程/代码的多线程/定时任务的调度/脚本的执行时间，导致，破坏了唯一性； SELECT COUNT(1) FROM test_error_tmpUNION ALL SELECT COUNT(DISTINCT url) FROM test_error_tmp 阅读全文

posted @ 2017-12-19 08:51 papering 阅读(1535) 评论(0) 推荐(0)

2017年12月18日

根据业务情况设置定时脚本的执行频次

摘要： -- 订单表新生效的url白天多晚上多？SELECT COUNT(1),FROM_UNIXTIME(create_time,'%H') AS sh FROM order GROUP BY sh ORDER BY sh DESC ;-- 订单表新生效的url白天多晚上多--近一周？SELECT COU 阅读全文

posted @ 2017-12-18 18:11 papering 阅读(218) 评论(0) 推荐(0)

数据可视化的重要性

摘要：阅读全文

posted @ 2017-12-18 14:59 papering 阅读(268) 评论(0) 推荐(0)

TCP Operational Overview and the TCP Finite State Machine (FSM) http://tcpipguide.com/free/t_TCPOperationalOverviewandtheTCPFiniteStateMachineF.htm

摘要： http://tcpipguide.com/free/t_TCPOperationalOverviewandtheTCPFiniteStateMachineF.htm http://tcpipguide.com/free/t_TCPOperationalOverviewandtheTCPFinite 阅读全文

posted @ 2017-12-18 12:05 papering 阅读(227) 评论(0) 推荐(0)

tcp state

摘要： [root@hadoop1 log]# netstatActive Internet connections (w/o servers)Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 hadoop1:56679 157. 阅读全文

posted @ 2017-12-18 11:57 papering 阅读(441) 评论(0) 推荐(0)

定时任务执行结果

摘要： [root@hadoop1 log]# xlcl#spider#48/d*/40 0-8,20-23 * * * python /home/data/crontab_chk_url/personas/trunk/plugins/spider/chk_url_status_update_tmp_err 阅读全文

posted @ 2017-12-18 10:36 papering 阅读(318) 评论(0) 推荐(0)

2017年12月16日

伪造TCP重置长连接短连接 RST报文 TCP重置攻击

摘要：在运行中的进程突然被杀死时，该端发送RST 连接池16个连接 TCP重置攻击指的是使用伪造的TCP重置包干扰用户和网站的连接[1]。这个技术可以在善意的防火墙中应用[2]，但也可用于网络审查或是攻击，恶意中断TCP连接，是一种旁观者攻击。本质上，Internet是用于单个计算机交换电子消息或IP数阅读全文

posted @ 2017-12-16 21:53 papering 阅读(1147) 评论(0) 推荐(0)

2017年12月15日

Common non-standard response fields

摘要： https://en.wikipedia.org/wiki/List_of_HTTP_header_fields#cite_note-52 Common non-standard response fields[edit] Field nameDescriptionExample Content-S 阅读全文

posted @ 2017-12-15 19:19 papering 阅读(290) 评论(0) 推荐(0)

借助ltp 逐步程序化实现规则库文本生成引擎基于规则库和业务词库去生成文本

摘要： [哪个地方做什么的哪家靠谱？地名词库行业、业务词库]苏州做网络推广的公司哪家靠谱？苏州镭射机维修哪家最专业？昆山做账的公司哪家比较好广州称重灌装机生产厂家哪家口碑比较好[含有专家知识]郑州律师哪个好，如何判断合同是否有效？[哪个地方有做什么的？]广东哪里有专业的全铝书柜定制？苏州吴中越溪哪里有通过率较高的会计培训班？[2-gram]行业属性通过 “2-gram”实现，“动词+名词”昆山注册... 阅读全文

posted @ 2017-12-15 16:48 papering 阅读(640) 评论(0) 推荐(0)

人工智能大数据程序技术代码是工具不是产品产品驱动

摘要：通过产品创造不同层面不同高度的价值阅读全文

posted @ 2017-12-15 16:41 papering 阅读(168) 评论(0) 推荐(0)

借助ltp语义分析提取特征，之后，文本生成

posted @ 2017-12-15 14:47 papering 阅读(958) 评论(0) 推荐(0)

wsgiref — WSGI Utilities and Reference Implementation nginx

摘要： from wsgiref.util import setup_testing_defaults, request_urifrom wsgiref.simple_server import make_server# A relatively simple WSGI application. It's 阅读全文

posted @ 2017-12-15 11:20 papering 阅读(298) 评论(0) 推荐(0)

定时任务中多进程线程对数据库操作同一数据操作的冲突避免

摘要： import os, sysimport timeimport loggingimport requestsimport threadingimport random from random import choicefrom selenium import webdriverfrom seleni 阅读全文

posted @ 2017-12-15 08:43 papering 阅读(919) 评论(0) 推荐(0)

进程的层次结构

摘要： windows不存在进程层次结构所有进程相同地位获得进程的句柄 unix 父子孙进程家族进程不能拒绝其子进程呢个的继承权阅读全文

posted @ 2017-12-15 08:33 papering 阅读(307) 评论(0) 推荐(0)

os 2大功能

摘要：支撑功能中断管理时钟管理原语操作 primitive 资源管理功能进程管理存储器管理设备管理阅读全文

posted @ 2017-12-15 08:25 papering 阅读(215) 评论(0) 推荐(0)

Setting Up FastCGI Proxying

摘要： http://nginx.org/en/docs/beginners_guide.html 阅读全文

posted @ 2017-12-15 01:26 papering 阅读(170) 评论(0) 推荐(0)

2017年12月14日

处理器主频

摘要： https://baike.baidu.com/item/处理器主频/156282 处理器主频是一个计算机术语。CPU的主频表示在CPU内数字脉冲信号震荡的速度，主频和实际的运算速度存在一定的关系。中文名处理器主频别名时钟频率单位Hz 作用表示CPU的运算速度主频也叫时钟频率，单位是H 阅读全文

posted @ 2017-12-14 23:09 papering 阅读(2077) 评论(0) 推荐(0)

Using Python with TurboGears A complete web framework integrating several Python projects

摘要： Using Python with TurboGears TurboGears is a Python web framework based on the ObjectDispatch paradigm, it is meant to make possible to write both sma 阅读全文

posted @ 2017-12-14 22:09 papering 阅读(203) 评论(0) 推荐(0)

cgi fastcgi wsgi nginx python Dispatching TurboGears Python via FCGI

摘要： https://www.nginx.com/resources/wiki/start/topics/examples/simplepythonfcgi/ 117 2018-06-28 19:56:42 yum install nginx 118 2018-06-28 19:58:32 service 阅读全文

posted @ 2017-12-14 21:54 papering 阅读(197) 评论(0) 推荐(0)

a simple and universal interface between web servers and web applications or frameworks: the Python Web Server Gateway Interface (WSGI).

摘要： WSGI is the Web Server Gateway Interface. It is a specification that describes how a web server communicates with web applications, and how web applic 阅读全文

posted @ 2017-12-14 21:23 papering 阅读(293) 评论(0) 推荐(0)

uwsgi 所扮演的的角色是后端 http 服务器，nginx 扮演的角色是前端 http 服务器，hello.py 是客户端应用程序

摘要：小结： 1、nginx传递每一个请求给绑定到3031端口并使用uwsgi协议的服务； http://www.jb51.net/article/76715.htm 在本文中，uwsgi 所扮演的的角色是后端 http 服务器，nginx 扮演的角色是前端 http 服务器，hello.py 是客户端应阅读全文

posted @ 2017-12-14 21:11 papering 阅读(337) 评论(0) 推荐(0)

Semantic Parsing（语义分析） Knowledge base（知识图谱）对用户的问题进行语义理解信息检索方法

摘要：简单说一下所谓Knowledge base（知识图谱）有两条路走，一条是对用户的问题进行语义理解，一般用Semantic Parsing（语义分析），语义分析有很多种，比如有用CCG、DCS，也有用机器翻译来做的。它得到了一个句子的逻辑表示，根据逻辑表示再到知识库里去查，查到这个结点是什么，关系是什阅读全文

posted @ 2017-12-14 20:43 papering 阅读(2779) 评论(0) 推荐(0)