data - 随笔分类(第3页) - papering

摘要：1、找出url汇总页，过滤出满足条件的详情页url；2、去详情页采集信息阅读全文

posted @ 2018-09-04 11:45 papering 阅读(594) 评论(0) 推荐(0)

摘要：flume采集微信小程序数据 flume收集前端埋点数据【1】POST请求http://f.x.com:50000数据格式： JsonArray数据格式示例：[{ "headers" : { "timestamp" : "434324343", "host" : "random_host.examp 阅读全文

posted @ 2018-08-15 17:09 papering 阅读(700) 评论(0) 推荐(0)

拉链表

摘要：。记录一个事物从开始，一直到当前状态的所有变化的信息。漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现） - 简书 https://www.jianshu.com/p/799252156379 阅读全文

posted @ 2018-07-26 09:40 papering 阅读(208) 评论(0) 推荐(0)

CrateDb

摘要：CrateDB: Real-time SQL Database for Machine Data & IoT | Crate.io https://crate.io/ 阅读全文

posted @ 2018-07-26 09:13 papering 阅读(137) 评论(0) 推荐(0)

Derby

摘要：hive/DerbyPolicy.java at 35605732b2041eee809485718bfd951cdfae0980 · apache/hive https://github.com/apache/hive/blob/35605732b2041eee809485718bfd951cdf 阅读全文

posted @ 2018-07-15 01:06 papering 阅读(241) 评论(0) 推荐(0)

python爬虫爬取内容中，-xa0，-u3000的含义

摘要：python爬虫爬取内容中，-xa0，-u3000的含义 - CSDN博客 https://blog.csdn.net/aiwuzhi12/article/details/54866310 阅读全文

posted @ 2018-06-06 15:22 papering 阅读(294) 评论(0) 推荐(0)

用句柄切换页面

摘要：用句柄切换页面阅读全文

posted @ 2018-05-30 18:13 papering 阅读(161) 评论(0) 推荐(0)

Element is not clickable at point SeleniumWebdriverException

摘要：Element is not clickable at point SeleniumWebdriverException | Selenium Easy http://www.seleniumeasy.com/selenium-tutorials/element-is-not-clickable-a 阅读全文

posted @ 2018-05-30 16:38 papering 阅读(317) 评论(0) 推荐(0)

Third Party Browser Drivers NOT DEVELOPED by seleniumhq

摘要：https://www.seleniumhq.org/download/ 阅读全文

posted @ 2018-05-24 10:35 papering 阅读(172) 评论(0) 推荐(0)

不看源码，勿用代码

摘要：http://redis-py.readthedocs.io/en/latest/_modules/redis/client.html 解决办法：阅读全文

posted @ 2018-05-22 21:33 papering 阅读(589) 评论(0) 推荐(0)

爬虫获取精确的前端数据

摘要：8 关注 41万粉丝 u_following, u_followed = [i.get_attribute('number') for i in browser.find_element... 阅读全文

posted @ 2018-05-22 18:16 papering 阅读(235) 评论(0) 推荐(0)

通过spark rdd 求取特征的稀疏向量

摘要：通过spark rdd 求取特征的稀疏向量 spark 类标签的稀疏特征向量 - bonelee - 博客园 http://www.cnblogs.com/bonelee/p/7814081.html 阅读全文

posted @ 2018-05-19 07:43 papering 阅读(276) 评论(0) 推荐(0)

大文本通过 hadoop spark map reduce 获取特征列的属性值计算速度

摘要：大文本通过 hadoop spark map reduce 获取特征列的属性值计算速度阅读全文

posted @ 2018-05-18 23:33 papering 阅读(164) 评论(0) 推荐(0)

Python获取CPU、内存使用率以及网络使用状态代码

摘要：Python获取CPU、内存使用率以及网络使用状态代码_python_脚本之家 http://www.jb51.net/article/134714.htm 阅读全文

posted @ 2018-05-18 22:29 papering 阅读(335) 评论(0) 推荐(0)

更新中的表游标的控制

摘要：更新中的表游标的控制阅读全文

posted @ 2018-05-18 10:32 papering 阅读(135) 评论(0) 推荐(0)

每个sql结果返回值的字节大小的峰值统计

摘要：#5KB/per结合数据库配置mylimit = 50 阅读全文

posted @ 2018-05-18 09:52 papering 阅读(330) 评论(0) 推荐(0)

nohup 程序在后台运营避免 xshell 卡死通过 nohup.out分析调取系统命令时的异常分析

摘要：nohup 程序在后台运营避免 xshell 卡死 [root@admin1 after_fc_distributed]# nohup /root/anaconda3/bin/python dataNode.py nohup: 忽略输入并把输出追加到"nohup.out" [root@admin1 阅读全文

posted @ 2018-05-17 20:17 papering 阅读(1600) 评论(0) 推荐(0)

快速删除指定目录的指定条件的文件

摘要：import os, glob d = glob.glob(os.path.dirname(os.path.abspath(__file__))) os_sep = os.sep this_file_abspath= os.path.dirname(os.path.abspath(__file__)) r = [] for root, dirs, files in os.walk(t... 阅读全文

posted @ 2018-05-15 21:27 papering 阅读(191) 评论(0) 推荐(0)

用户行为统计

摘要：按照日月用户同类行为计数 sqlserver SELECT COUNT(DISTINCT(uid)) ,convert(varchar, dateandtime, 112) FROM user_action GROUP BY convert(varchar, dateandtime, 112) 阅读全文

posted @ 2018-05-11 10:19 papering 阅读(310) 评论(0) 推荐(0)

按文件生成时间排序批量与生成同步上传文件

摘要：vs = glob.glob(f_img_d)vs = sorted(vs, key=lambda i: os.path.getmtime(i), reverse=True) myp, myp_num = 2, 3 ep = ep_outer while True: vs = glob.glob(f_img_d) vs = sorted(vs, key=lambda i:... 阅读全文

posted @ 2018-05-08 10:09 papering 阅读(371) 评论(0) 推荐(0)

papering

随笔分类 - data