papering - 博客园

2018年5月23日

摘要： id_=document.getElementById("sidebar_categories");a_=id_.getElementsByTagName("a");len_=a_.length; sum_=0;for(i=0;i<len_;i++){n=a_[0].childNodes[0].no 阅读全文

posted @ 2018-05-23 21:43 papering 阅读(195) 评论(0) 推荐(0)

lineage 世系血缘容错机制 DAG

摘要：当某个RDD的部分数据丢失时候，Saprk会根据记录的世系关系找到该RDD的父RDD以及更上级的RDD。只需要将该RDD依赖的上级RDD重新计算就可以将该RDD进行恢复。 Directed Acyclic Graph DAG RDD 的有向无环图构建过程，就是不停将Spark代码中刚一系列的RDD转阅读全文

posted @ 2018-05-23 20:03 papering 阅读(408) 评论(0) 推荐(0)

查源码分析游标写需要 cursors 一切不看源码的代码引入都是定时炸弹的启动

摘要： https://github.com/PyMySQL/PyMySQL/blob/master/pymysql/__init__.py 建立连接 https://github.com/PyMySQL/PyMySQL/blob/master/pymysql/connections.py https:// 阅读全文

posted @ 2018-05-23 17:25 papering 阅读(684) 评论(0) 推荐(0)

a

摘要： a 翻译搜索复制阅读全文

posted @ 2018-05-23 14:15 papering 阅读(204) 评论(0) 推荐(0)

更新而非插入

摘要： 1-生成数据元结构，末端值全为0 2-拿到每行数据，去更新末端值阅读全文

posted @ 2018-05-23 09:54 papering 阅读(158) 评论(0) 推荐(0)

ou've likely run out of ephemeral ports on your system

摘要： redis.exceptions.ConnectionError: Error 99 connecting to 127.0.0.1:6379. Cannot assign requested address · Issue #219 · django/channels · GitHub https 阅读全文

posted @ 2018-05-23 08:09 papering 阅读(232) 评论(0) 推荐(0)

2018年5月22日

windows 杀死进程

摘要： pid_ = rds.connection_pool.pidimport subprocess#handle = subprocess.Popen("", shell=False)subprocess.Popen("taskkill /F /T /PID {}".format(pid_), shell=True)print('go-----------') 阅读全文

posted @ 2018-05-22 22:21 papering 阅读(230) 评论(0) 推荐(0)

不看源码，勿用代码

摘要： http://redis-py.readthedocs.io/en/latest/_modules/redis/client.html 解决办法：阅读全文

posted @ 2018-05-22 21:33 papering 阅读(637) 评论(0) 推荐(0)

Source code for redis.connection

摘要： redis.connection — redis-py 2.10.5 documentation http://redis-py.readthedocs.io/en/latest/_modules/redis/connection.html#ConnectionPool 实例化后应关闭所有连接，或阅读全文

posted @ 2018-05-22 21:02 papering 阅读(684) 评论(0) 推荐(0)

随机数产生机制解释器将代码加载到内存的处理

摘要： 4200001526986984.6271074200001526986985.62778144200001526986986.62846764200001526986987.62905124200001526986988.62972264200001526986989.63043984200001 阅读全文

posted @ 2018-05-22 19:05 papering 阅读(313) 评论(0) 推荐(0)

授权QQ登录的qq端前端页面变迁

摘要： ac_type = 'qq' if ac_type == 'qq': myid, mypwd = qq_key xp = '/html/body/div/div/div[2]/div/div/div/ul/li[3]' # udp xp = '/html/body/div/div/div[2]/div/d... 阅读全文

posted @ 2018-05-22 18:22 papering 阅读(436) 评论(0) 推荐(0)

爬虫获取精确的前端数据

摘要： 8 关注 41万粉丝 u_following, u_followed = [i.get_attribute('number') for i in browser.find_element... 阅读全文

posted @ 2018-05-22 18:16 papering 阅读(267) 评论(0) 推荐(0)

window

摘要： From / Size | Elasticsearch Reference [6.2] | Elastic http://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-from-size.html Fro 阅读全文

posted @ 2018-05-22 15:50 papering 阅读(179) 评论(0) 推荐(0)

map reduce

摘要： db.collection.mapReduce() — MongoDB Manual 3.6 https://docs.mongodb.com/manual/reference/method/db.collection.mapReduce/ 阅读全文

posted @ 2018-05-22 12:41 papering 阅读(178) 评论(0) 推荐(0)

字典排序

摘要： d = {'a': [1, 2], 'b': [1]}# --->d={'b':[1],'a':[1,2]} feature_d_ = {} for feature in feature_complete_l: feature_d_[feature] = feature_d[feature] del feature_d feature_d ... 阅读全文

posted @ 2018-05-22 01:13 papering 阅读(168) 评论(0) 推荐(0)

high-level operations on files and collections of files

摘要： 11.10. shutil — High-level file operations — Python 3.6.5 documentation https://docs.python.org/3/library/shutil.html 阅读全文

posted @ 2018-05-22 00:20 papering 阅读(170) 评论(0) 推荐(0)

2018年5月21日

What Is the Linux Lokkit Utility? https://www.lifewire.com/what-is-lokkit-2192255

摘要： lokkit: The Lokkit utility attempts to provide firewalling for the average Linux end user. Instead of configuring firewall rules, Lokkit asks asmall n 阅读全文

posted @ 2018-05-21 21:12 papering 阅读(345) 评论(0) 推荐(0)

id 查询

摘要： Ids Query | Elasticsearch Reference [6.2] | Elastic http://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-ids-query.html#query-dsl- 阅读全文

posted @ 2018-05-21 19:00 papering 阅读(424) 评论(0) 推荐(0)

如何快速定位JVM中消耗CPU最多的线程？ Java 性能调优

摘要： https://mp.weixin.qq.com/s/ZqlhPC06_KW6a9OSgEuIVw 上面的线程栈我们注意到 nid 的值其实就是线程 ID，它是十六进制的，我们将消耗 CPU 最高的线程18250，转成十六进制0X47A，然后从上面的线程栈里找到nid=0X47A的线程，其栈为： " 阅读全文

posted @ 2018-05-21 01:42 papering 阅读(329) 评论(0) 推荐(0)

t

摘要： r 阅读全文

posted @ 2018-05-21 01:02 papering 阅读(191) 评论(0) 推荐(0)

2018年5月20日

曲线拟合

摘要：曲线拟合阅读全文

posted @ 2018-05-20 23:08 papering 阅读(176) 评论(0) 推荐(0)

spark join 广告用户特征与广告特征的 join 拿到训练集

摘要： spark join 广告特征做广播阅读全文

posted @ 2018-05-20 22:26 papering 阅读(226) 评论(0) 推荐(0)

is id() == 从内存的最小化占用角度解释我是孕育者，我也应该这样设计变，必然伴随着加法一个list是否可以执行set()

摘要：从内存的最小化占用角度解释变，必然伴随着加法阅读全文

posted @ 2018-05-20 22:13 papering 阅读(235) 评论(0) 推荐(0)

a

摘要： a 搜索复制阅读全文

posted @ 2018-05-20 19:34 papering 阅读(475) 评论(0) 推荐(0)

a

摘要： a 搜索复制阅读全文

posted @ 2018-05-20 18:35 papering 阅读(523) 评论(0) 推荐(0)

scala wordcount kmeans

摘要： scala wordcount kmeans k-means算法的输入对象是d维向量空间的一些点，对一个d维向量的点集进行聚类。 k-means聚类算法会将集合D划分成k个聚簇。阅读全文

posted @ 2018-05-20 17:56 papering 阅读(204) 评论(0) 推荐(0)

优先选择不变性的原因

摘要： Scala In Depth 深入理解Scala 1、判等 2、并发 3、用None不用nul l 阅读全文

posted @ 2018-05-20 17:45 papering 阅读(181) 评论(0) 推荐(0)

可变性编程不可变性编程可变性变量不可变性变量并发编程命令式编程函数式编程

摘要：可变性编程不可变性编程可变性变量不可变性变量 -1 面向表达式编程是指在代码中使用表达式而不用语句语句是可以执行的东西，执行代码表达式是可以求职的东西，返回值【Scala，大部分开发者会在代码中避免使用return】 Java惯用法：一个return语句 def createErrorM 阅读全文

posted @ 2018-05-20 17:05 papering 阅读(286) 评论(0) 推荐(0)

hashable

摘要： Glossary — Python 3.6.5 documentation https://docs.python.org/3/glossary.html?highlight=equal hashable An object is hashable if it has a hash value wh 阅读全文

posted @ 2018-05-20 17:04 papering 阅读(286) 评论(0) 推荐(0)

系统队列中的Windows错误报告

摘要：阅读全文

posted @ 2018-05-20 16:29 papering 阅读(503) 评论(0) 推荐(0)

优先采用面向表达式编程

摘要：优先采用面向表达式编程阅读全文

posted @ 2018-05-20 16:23 papering 阅读(157) 评论(0) 推荐(0)

内存转储文件 Memory.dmp

摘要： https://baike.sogou.com/v63435711.htm?fromTitle=内存转存文件内存转储是用于系统崩溃时，将内存中的数据转储保存在转储文件中，供给有关人员进行排错分析用途。而它所保存生成的文件就叫做内存转储文件。内存转储文件也被称作虚拟内存，它是用硬盘里的一段空间虚阅读全文

posted @ 2018-05-20 16:17 papering 阅读(2955) 评论(0) 推荐(0)

windows update 文件路径

摘要： C:\WINDOWS\SoftwareDistribution\Download 阅读全文

posted @ 2018-05-20 16:12 papering 阅读(430) 评论(0) 推荐(0)

tmp

摘要： tmp 阅读全文

posted @ 2018-05-20 15:50 papering 阅读(221) 评论(0) 推荐(0)

查询局域网内全部电脑IP和mac地址等信息

摘要：以主机A（192.168.38.10）向主机B（192.168.38.11）发送数据为例：发送数据时，主机A先在自身的ARP缓存表中寻找是否有目标IP地址。若找到，便得知目标MAC地址为（00-BB-00-62-C2-02），直接将目标MAC地址写入帧中发送即可。若ARP缓存表中未找到对应的IP 阅读全文

posted @ 2018-05-20 12:08 papering 阅读(1639) 评论(0) 推荐(0)

iptraf 网卡 ip 端口监控 netstat 关闭端口方法

摘要： 18 commands to monitor network bandwidth on Linux server – BinaryTides https://www.binarytides.com/linux-commands-monitor-network/ yum install iptraf 阅读全文

posted @ 2018-05-20 11:33 papering 阅读(1052) 评论(0) 推荐(0)

Error 99 connecting to 192.168.3.212:6379. Cannot assign requested address

摘要： Error 99 connecting to 192.168.3.212:6379. Cannot assign requested address Redis - corelation between QPS, response time, number of connections, respo 阅读全文

posted @ 2018-05-20 11:18 papering 阅读(1729) 评论(0) 推荐(0)

t

摘要： t 阅读全文

posted @ 2018-05-20 10:23 papering 阅读(227) 评论(0) 推荐(0)

2018年5月19日

携程图片服务架构

摘要： https://mp.weixin.qq.com/s/MSR18sqUznuiUgUM5YkvZg 我们选择了Golang做为当前版本的开发语言，架构如下：采用多进程单协程图片处理模型。图片库主要依赖的是GraphicsMagick，和少部分ImageMagick，通过封装cgo调用实现。 Gol 阅读全文

posted @ 2018-05-19 23:35 papering 阅读(306) 评论(0) 推荐(0)

set 去重会破坏原有list 的元素相对位置

摘要： feature_reduce_l = [i if re.search('\d', i) is None else i[0:re.search('\d', i).endpos - 1] for i in feature_l] # set 破坏了顺序 print(feature_reduce_l) print(list(set(feature_reduce_l))) featur... 阅读全文

posted @ 2018-05-19 23:14 papering 阅读(236) 评论(0) 推荐(0)