papering - 博客园

2017年12月25日

摘要：对一个字中的内容进行检测和修正对两个字的内容进行交换阅读全文

posted @ 2017-12-25 23:50 papering 阅读(708) 评论(0) 推荐(0)

hdfs对namenode format 之后应该首先检查内存消耗情况，以判断是否支持开启yarn

摘要： http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 3.0.0 http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-ya 阅读全文

posted @ 2017-12-25 22:18 papering 阅读(239) 评论(0) 推荐(0)

golang_test

摘要： package main // o O func f1() { defer println("f1-start") f2() defer println("f1-end") } func f2() { defer println("f2-start") f3() defer println("f2- 阅读全文

posted @ 2017-12-25 17:31 papering 阅读(197) 评论(0) 推荐(0)

DBENV->open

摘要： https://stuff.mit.edu/afs/sipb/project/sandbox/golem/db-3.0.55/docs/api_c/env_open.html int DBENV->open(DB_ENV *, char *db_home, char *db_config[], u_ 阅读全文

posted @ 2017-12-25 16:08 papering 阅读(284) 评论(0) 推荐(0)

65*24=1560<2175 对数据的统计支撑决策假设历史数据正确的情况下，去安排今后的任务

摘要：没有达到目标，原因不是时间投入不够，而是不用数据决策，不用数据调度定时脚本【数据源情况统计】 ># 近30天，日生效coin数目SELECT COUNT(DISTINCT coin) AS c,FROM_UNIXTIME(create_time,'%Y-%m-%d ') AS d FROM tes 阅读全文

posted @ 2017-12-25 11:54 papering 阅读(227) 评论(0) 推荐(0)

2017年12月24日

8.4 创建大量对象时节省内存方法

摘要： 8.4 创建大量对象时节省内存方法 — python3-cookbook 3.0.0 文档 https://python3-cookbook.readthedocs.io/zh_CN/latest/c08/p04_save_memory_when_create_large_number_instan 阅读全文

posted @ 2017-12-24 21:01 papering 阅读(255) 评论(0) 推荐(0)

定时邮件已经稳定运行10天+ 从局域网linux到外网邮箱

摘要：阅读全文

posted @ 2017-12-24 19:56 papering 阅读(269) 评论(1) 推荐(0)

2017年12月23日

查看外网地址

摘要： curl ifconfig.me 阅读全文

posted @ 2017-12-23 21:39 papering 阅读(263) 评论(0) 推荐(0)

mktemp temp race attack 临时文件隐患

摘要： /tmp 安全隐患～/tmp 在家目录程序目录下创建临时文件阅读全文

posted @ 2017-12-23 00:25 papering 阅读(235) 评论(0) 推荐(0)

2017年12月22日

数据教训有计划地且按时按量地产生（更新）数据

摘要：不能粗放式产生数据和更新数据必须有计划地且按时按量地产生和更新数据控制数据的产生（更新，“更新”即“产生”了数据），才能从之后动态数据转化成的静态数据中进行数据挖掘，导向决策 data decision 阅读全文

posted @ 2017-12-22 20:56 papering 阅读(160) 评论(0) 推荐(0)

sql 语法树常量

摘要： SELECT id,'|',url,'|',update_time FROM tab LIMIT 10;SELECT COUNT(1) AS parent,(SELECT COUNT(1) FROM tab WHERE id%2=0) AS child FROM tab; 阅读全文

posted @ 2017-12-22 16:59 papering 阅读(501) 评论(0) 推荐(0)

定时任务 bash 对远程数据库备份读写

摘要： 1g表每行都有可能被更新，故全表备份检测备份是否在进行 [root@hadoop1 ~]# netstat --numeric-ports | grep 3306tcp 0 0 hadoop1:37692 121.110.203.226:3306 ESTABLISHED您在 /var/spool 阅读全文

posted @ 2017-12-22 16:30 papering 阅读(423) 评论(0) 推荐(0)

监控脚本更新数据结果要求当前小时更新的数据所分布的产生时间

摘要： SELECT COUNT(1),FROM_UNIXTIME(update_time,'%Y%m%d %H') AS h, FROM_UNIXTIME(create_time,'%Y%m%d') AS d FROM test_url GROUP BY h,d ORDER BY h DESC ; 阅读全文

posted @ 2017-12-22 15:05 papering 阅读(363) 评论(0) 推荐(0)

利用一切可以利用的资源去解决问题完成难以想象的任务

摘要：去解决问题干阅读全文

posted @ 2017-12-22 12:48 papering 阅读(301) 评论(0) 推荐(0)

面向数据的编程面向数据的决策

摘要：面向数据阅读全文

posted @ 2017-12-22 10:50 papering 阅读(141) 评论(0) 推荐(0)

整洁的架构

摘要：小结: 1、User Case 用例是架构设计中非常重要的一环，架构也是基于这些用例进行设计的，如果缺失了用例，就无从谈起架构设计了。一文读懂架构整洁之道 https://mp.weixin.qq.com/s/XAm1MO4RQYtkj3ay-2jT7A 一文读懂架构整洁之道原创马飞翔（泽畔）阅读全文

posted @ 2017-12-22 10:44 papering 阅读(358) 评论(0) 推荐(0)

2017年12月21日

在战略设计层面提出了域、子域、限界上下文等重要概念；在战术设计层面提出了实体、值对象、领域服务、领域事件、聚合、工厂、资源库等重要概念。领域驱动设计有防腐层的设计

摘要：小结： 1、 “分层架构”遵循了“关注点分离”原则，将属于业务逻辑的关注点放到领域层（Domain Layer）中，而将支撑业务逻辑的技术实现放到基础设施层（Infrastructure Layer）中。同时，领域驱动设计又颇具创见的引入了应用层（Application Layer）。应用层扮演了双阅读全文

posted @ 2017-12-21 20:42 papering 阅读(867) 评论(0) 推荐(0)

linux 多个文件中查找字符串 hadoop 3 安装调试

摘要： http://www.cnblogs.com/iLoveMyD/p/4281534.html 2015年2月9日 14:36:38 [root@hadoop3 logs]# cat hadoop-root-namenode-hadoop3.log 2017-12-29 15:06:50,183 IN 阅读全文

posted @ 2017-12-21 17:44 papering 阅读(777) 评论(0) 推荐(0)

python 获取代码宿主机名 ip

摘要： 1、获取hostname 相同代码不同宿主机日志名互异且可识别宿主机分布式爬虫 https://docs.python.org/3.6/library/socket.html#socket.SOCK_RAW socket.gethostbyname(socket.gethostname( 阅读全文

posted @ 2017-12-21 13:13 papering 阅读(749) 评论(0) 推荐(0)

Apache Hadoop 3.0.0 Release Notes

摘要： http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-common/release/3.0.0/RELEASENOTES.3.0.0.html /usr/local/hadoop/etc/hadoop 没有slaves 各个节阅读全文

posted @ 2017-12-21 11:50 papering 阅读(269) 评论(0) 推荐(0)

控制你的数据，你才能得到有效且高效的数据结果

摘要：精细化处理控制你的数据，你才能得到有效且高效的数据结果阅读全文

posted @ 2017-12-21 10:19 papering 阅读(174) 评论(0) 推荐(0)

2017年12月20日

读写分离与主从同步数据一致性

摘要： MySQL的读写分离与主从同步数据一致性 - windpoplar - 博客园 https://www.cnblogs.com/windpoplar/p/11978742.html MySQL的读写分离与主从同步数据一致性有没有做MySQL读写分离？如何实现mysql的读写分离？MySQL主从复制阅读全文

posted @ 2017-12-20 18:13 papering 阅读(371) 评论(0) 推荐(0)

a

摘要： a 阅读全文

posted @ 2017-12-20 17:48 papering 阅读(480) 评论(0) 推荐(0)

maximize_window fullscreen_window minimize_window

摘要： # Licensed to the Software Freedom Conservancy (SFC) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional information# regarding copyr... 阅读全文

posted @ 2017-12-20 15:28 papering 阅读(580) 评论(0) 推荐(0)

HTTP 代理原理及实现

摘要： https://imququ.com/post/web-proxy.html 阅读全文

posted @ 2017-12-20 00:03 papering 阅读(205) 评论(0) 推荐(0)

2017年12月19日

browser user agent

摘要：乐视X501 UC浏览器1080x1920x32Mozilla/5.0 (Linux; U; Android 5.0.2; zh-CN; Letv X501 Build/DBXCNOP5501304131S) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 UCBrowser/10.10.0.800 U3/0.8.0 Mobile Safa... 阅读全文

posted @ 2017-12-19 23:49 papering 阅读(421) 评论(0) 推荐(0)

res_d_l =[{'contents':d.contents,'href':d.attrs['href']} for d in rd] 泛型

摘要： from selenium import webdriverfrom selenium.webdriver.chrome.options import Options# from selenium.webdriver.firefox.options import Optionsimport timefrom time import sleepimport mathimport randomim... 阅读全文

posted @ 2017-12-19 23:43 papering 阅读(315) 评论(0) 推荐(0)

tmp

摘要： -- 经排查日志，发现ordertest.com下的url检测，频繁<Response [403]>,Forbidden;再进一步查询数据库数据：逐日统计错误临时表test_error_temp中ordertest.com日行数：SELECT COUNT(1),FROM_UNIXTIME(creat 阅读全文

posted @ 2017-12-19 14:38 papering 阅读(214) 评论(0) 推荐(0)

Connection reset by peer

摘要： https://msdn.microsoft.com/en-us/library/ms847613.aspx Error Message: Connection reset by peer. Explanation: A connection was forcibly closed by a pee 阅读全文

posted @ 2017-12-19 13:35 papering 阅读(747) 评论(0) 推荐(0)

数据分析浏览器端展示技术选型

摘要： python 相对其他语言，在业务数据运算/分析方面，高效的编码速度阅读全文

posted @ 2017-12-19 11:05 papering 阅读(140) 评论(0) 推荐(0)

mysql 查询语句去重通过sql去重

摘要： url 在表中具有唯一性；由于定时任务的多进程/代码的多线程/定时任务的调度/脚本的执行时间，导致，破坏了唯一性； SELECT COUNT(1) FROM test_error_tmpUNION ALL SELECT COUNT(DISTINCT url) FROM test_error_tmp 阅读全文

posted @ 2017-12-19 08:51 papering 阅读(1342) 评论(0) 推荐(0)

2017年12月18日

根据业务情况设置定时脚本的执行频次

摘要： -- 订单表新生效的url白天多晚上多？SELECT COUNT(1),FROM_UNIXTIME(create_time,'%H') AS sh FROM order GROUP BY sh ORDER BY sh DESC ;-- 订单表新生效的url白天多晚上多--近一周？SELECT COU 阅读全文

posted @ 2017-12-18 18:11 papering 阅读(192) 评论(0) 推荐(0)

数据可视化的重要性

摘要：阅读全文

posted @ 2017-12-18 14:59 papering 阅读(258) 评论(0) 推荐(0)

TCP Operational Overview and the TCP Finite State Machine (FSM) http://tcpipguide.com/free/t_TCPOperationalOverviewandtheTCPFiniteStateMachineF.htm

摘要： http://tcpipguide.com/free/t_TCPOperationalOverviewandtheTCPFiniteStateMachineF.htm http://tcpipguide.com/free/t_TCPOperationalOverviewandtheTCPFinite 阅读全文

posted @ 2017-12-18 12:05 papering 阅读(195) 评论(0) 推荐(0)

tcp state

摘要： [root@hadoop1 log]# netstatActive Internet connections (w/o servers)Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 hadoop1:56679 157. 阅读全文

posted @ 2017-12-18 11:57 papering 阅读(422) 评论(0) 推荐(0)

定时任务执行结果

摘要： [root@hadoop1 log]# xlcl#spider#48/d*/40 0-8,20-23 * * * python /home/data/crontab_chk_url/personas/trunk/plugins/spider/chk_url_status_update_tmp_err 阅读全文

posted @ 2017-12-18 10:36 papering 阅读(284) 评论(0) 推荐(0)

2017年12月16日

伪造TCP重置长连接短连接 RST报文 TCP重置攻击

摘要：在运行中的进程突然被杀死时，该端发送RST 连接池16个连接 TCP重置攻击指的是使用伪造的TCP重置包干扰用户和网站的连接[1]。这个技术可以在善意的防火墙中应用[2]，但也可用于网络审查或是攻击，恶意中断TCP连接，是一种旁观者攻击。本质上，Internet是用于单个计算机交换电子消息或IP数阅读全文

posted @ 2017-12-16 21:53 papering 阅读(1080) 评论(0) 推荐(0)

2017年12月15日

Common non-standard response fields

摘要： https://en.wikipedia.org/wiki/List_of_HTTP_header_fields#cite_note-52 Common non-standard response fields[edit] Field nameDescriptionExample Content-S 阅读全文

posted @ 2017-12-15 19:19 papering 阅读(249) 评论(0) 推荐(0)

借助ltp 逐步程序化实现规则库文本生成引擎基于规则库和业务词库去生成文本

摘要： [哪个地方做什么的哪家靠谱？地名词库行业、业务词库]苏州做网络推广的公司哪家靠谱？苏州镭射机维修哪家最专业？昆山做账的公司哪家比较好广州称重灌装机生产厂家哪家口碑比较好[含有专家知识]郑州律师哪个好，如何判断合同是否有效？[哪个地方有做什么的？]广东哪里有专业的全铝书柜定制？苏州吴中越溪哪里有通过率较高的会计培训班？[2-gram]行业属性通过 “2-gram”实现，“动词+名词”昆山注册... 阅读全文

posted @ 2017-12-15 16:48 papering 阅读(617) 评论(0) 推荐(0)

人工智能大数据程序技术代码是工具不是产品产品驱动

摘要：通过产品创造不同层面不同高度的价值阅读全文

posted @ 2017-12-15 16:41 papering 阅读(159) 评论(0) 推荐(0)