papering - 博客园

摘要： https://docs.python.org/3.6/library/queue.html https://github.com/python/cpython/blob/3.6/Lib/queue.py The queue module implements multi-producer, mul 阅读全文

posted @ 2017-12-04 23:18 papering 阅读(259) 评论(0) 推荐(0)

Spark Shuffle 中 JVM 内存使用及配置内幕详情

摘要： [Spark性能调优] 第四章 : Spark Shuffle 中 JVM 内存使用及配置内幕详情 - 無情 - 博客园 https://www.cnblogs.com/jcchoiling/p/6494652.html 阅读全文

posted @ 2017-12-04 19:23 papering 阅读(150) 评论(0) 推荐(0)

JAVA中Stack和Heap的区别

摘要： http://m.blog.csdn.net/wl_ldy/article/details/5935528 阅读全文

posted @ 2017-12-04 14:00 papering 阅读(182) 评论(0) 推荐(0)

spark 33G表

摘要： http://192.168.2.51:4041 http://hadoop1:8088/proxy/application_1512362707596_0006/executors/ Executors Executors Executors Show Additional Metrics Sum 阅读全文

posted @ 2017-12-04 13:13 papering 阅读(426) 评论(0) 推荐(0)

86版西游记主演有哪些？

摘要： 86版西游记主演有哪些？阅读全文

posted @ 2017-12-04 12:14 papering 阅读(138) 评论(0) 推荐(0)

端口扫描开启防火墙 iptables SELinux

摘要：实践： windows如何开放端口_1440！的博客-CSDN博客_windows 开放端口 https://blog.csdn.net/younghaiqing/article/details/83617018 首先，打开电脑的控制面板，然后在控制面板中找到防火墙；高级安全设置中，我们点击选择左阅读全文

posted @ 2017-12-04 02:28 papering 阅读(946) 评论(0) 推荐(0)

SimpleHTTPServer

摘要： SimpleHTTPServer python -m SimpleHTTPServer 8989 阅读全文

posted @ 2017-12-04 02:18 papering 阅读(160) 评论(0) 推荐(0)

virtualenv 虚拟环境

摘要： python 创建使用虚拟环境python -m venv ./venvsudo apt install python3-virtualenvsudo apt install python3.12-venvvirtualenv venvsource venv/bin/activate https:/ 阅读全文

posted @ 2017-12-04 00:31 papering 阅读(225) 评论(0) 推荐(0)

Designing a RESTful API with Python and Flask 201

摘要： rest服务器的搭建 - CSDN博客 http://blog.csdn.net/zhanghaotian2011/article/details/8760794 REST的架构设计 REST（Representational State Transfer）是一种轻量级的Web Service架构风阅读全文

posted @ 2017-12-04 00:16 papering 阅读(656) 评论(0) 推荐(0)

Mongoose Embedded Web Server Library

摘要： https://github.com/cesanta/mongoose http://ltp.ai/docs/ltpserver.html LTP Server在轻量级服务器程序mongoose基础上开发。在编译LTP源码之后，运行`./bin/ltp_server`就可以启动LTP Server。阅读全文

posted @ 2017-12-04 00:08 papering 阅读(546) 评论(0) 推荐(0)

2017年12月3日

基于统计机器学习方法构建的自然语言处理工具

摘要： http://ltp.ai/docs/ltptest.html 一般来讲，基于统计机器学习方法构建的自然语言处理工具通常包括两部分，即：算法逻辑以及模型。模型从数据中学习而得，通常保存在文件中以持久化；而算法逻辑则与程序对应。阅读全文

posted @ 2017-12-03 23:55 papering 阅读(214) 评论(0) 推荐(0)

语义依存

摘要： http://ltp.ai/demo.html 阅读全文

posted @ 2017-12-03 23:45 papering 阅读(188) 评论(0) 推荐(0)

知识图谱

摘要：知识图谱阅读全文

posted @ 2017-12-03 23:30 papering 阅读(133) 评论(0) 推荐(0)

pyspark mongodb yarn

摘要： http://192.168.2.51:4040/executors/ http://192.168.2.51:4040/executors/ ssh://root@192.168.2.51:22/usr/bin/python -u /root/.pycharm_helpers/pydev/pyde 阅读全文

posted @ 2017-12-03 21:50 papering 阅读(440) 评论(0) 推荐(0)

Marking as slave lost.

摘要： Spark on Yarn提交任务时报ClosedChannelException解决方案_服务器应用_Linux公社-Linux系统门户网站 http://www.linuxidc.com/Linux/2017-01/140068.htm <property> <name>yarn.nodeman 阅读全文

posted @ 2017-12-03 21:37 papering 阅读(1152) 评论(0) 推荐(0)

hadoop yarn namenode datanoe 启动异常问题解决分析日志

摘要： cat logs/hadoop-root-datanode-hadoop1.log ************************************************************/2017-12-03 21:05:25,361 INFO org.apache.hadoop. 阅读全文

posted @ 2017-12-03 21:11 papering 阅读(417) 评论(0) 推荐(0)

webdriver.close() quit() 批量kill进程内存耗尽的解决办法

摘要：问题现象： shell窗口卡，换IP的登录窗，不开；猜测：内存耗尽 spider_url,py 修改爬虫代码: [root@hadoop1 ~]# free -g total used free shared buff/cache availableMem: 15 14 0 0 0 0Swap: 阅读全文

posted @ 2017-12-03 18:55 papering 阅读(961) 评论(0) 推荐(0)

2017年12月2日

环境是如何建立的

摘要：启动文件 /etc/profile ~/.bash_profile ~/.bash_login ~/.profile ~/.bashrc 阅读全文

posted @ 2017-12-02 20:21 papering 阅读(163) 评论(0) 推荐(0)

提高效率

摘要： printenv set echo alias 设置常用命令的快捷键 0-查询已有 alias -p 1-回家 cd ~ 2-bash文件，找到定义的脚本 [root@hadoop1 ~]# ll -as总用量 3519796 4 dr-xr-x . 20 root root 4096 12月 6 阅读全文

posted @ 2017-12-02 19:59 papering 阅读(204) 评论(0) 推荐(0)

kill 挂起 Apache Web Server

摘要： [root@hadoop1 ~]# kill -l 1) SIGHUP 2) SIGINT 3) SIGQUIT 4) SIGILL 5) SIGTRAP 6) SIGABRT 7) SIGBUS 8) SIGFPE 9) SIGKILL 10) SIGUSR111) SIGSEGV 12) SIG 阅读全文

posted @ 2017-12-02 19:54 papering 阅读(357) 评论(0) 推荐(0)

/var/spool/mail/root

摘要：新邮件阅读全文

posted @ 2017-12-02 18:32 papering 阅读(125) 评论(0) 推荐(0)

https://github.com/PyMySQL/PyMySQL/blob/master/pymysql/connections.py

摘要： # Python implementation of the MySQL client-server protocol # http://dev.mysql.com/doc/internals/en/client-server-protocol.html # Error codes: # http://dev.mysql.com/doc/refman/5.5/en/error-messages... 阅读全文

posted @ 2017-12-02 18:19 papering 阅读(1729) 评论(0) 推荐(0)

top swap

摘要：显示交换空间（虚拟内存）的使用情况阅读全文

posted @ 2017-12-02 17:59 papering 阅读(359) 评论(0) 推荐(0)

top load average

摘要：负载均值等待运行的进程数阅读全文

posted @ 2017-12-02 17:58 papering 阅读(172) 评论(0) 推荐(0)

Difference between exit() and sys.exit() in Python

摘要： Difference between exit() and sys.exit() in Python - Stack Overflow https://stackoverflow.com/questions/6501121/difference-between-exit-and-sys-exit-i 阅读全文

posted @ 2017-12-02 16:50 papering 阅读(370) 评论(0) 推荐(0)

八进制权限掩码 3位 4位 setuid setgid sticky

摘要： setuid setgid sticky 阅读全文

posted @ 2017-12-02 11:41 papering 阅读(227) 评论(0) 推荐(0)

以二进制和八进制方式表示文件模式

摘要： r w x 2^3=9 文件类型 - d l c b 所有者、组、其他用户 1+3^3=10 u g o a=all c 字符设备文件，该文件类型表示以字节流形式处理数据的设备，入终端或调制解调器 b 块设备文件，该文件类型表示以数据块方式处理数据的设备，入硬盘驱动或者光盘驱动 0=000 1=0 阅读全文

posted @ 2017-12-02 11:13 papering 阅读(369) 评论(0) 推荐(0)

0 lrwxrwxrwx. 1 root root 13 Nov 20 12:44 scala -> scala-2.12.4

摘要：符号链接的文件属性相同，真正的权限属性由符号链接所指向的实际文件决定。阅读全文

posted @ 2017-12-02 11:09 papering 阅读(267) 评论(0) 推荐(0)

/etc/passwd

摘要：在哪里阅读全文

posted @ 2017-12-02 11:00 papering 阅读(125) 评论(0) 推荐(0)

hosts.allow hosts.deny

摘要： [root@hadoop2 etc]# cat issueCentOS release 6.8 (Final)Kernel \r on an \m [root@hadoop2 etc]# cat hosts.allow ## hosts.allow This file contains access 阅读全文

posted @ 2017-12-02 10:56 papering 阅读(202) 评论(0) 推荐(0)

2017年12月1日

会看日志控制台输出

摘要： Connected to pydev debugger (build 172.4343.24)pydev debugger: warning: trying to add breakpoint to file that does not exist: /usr/local/hadoop/spark- 阅读全文

posted @ 2017-12-01 15:35 papering 阅读(454) 评论(0) 推荐(0)

YARN commands are invoked by the bin/yarn script.

摘要： Apache Hadoop 2.9.0 – YARN Commands http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YarnCommands.html 阅读全文

posted @ 2017-12-01 14:28 papering 阅读(158) 评论(0) 推荐(0)