papering - 博客园

2017年12月28日

Why was 80 Chosen as the Default HTTP Port and 443 as the Default HTTPS Port?

摘要： https://www.howtogeek.com/233383/why-was-80-chosen-as-the-default-http-port-and-443-as-the-default-https-port/ The Question SuperUser reader Samuel Al 阅读全文

posted @ 2017-12-28 16:19 papering 阅读(382) 评论(0) 推荐(0)

netstat --numeric-ports -a -t -p 排查hadoop主从节点是否建立通信

摘要： tcp 通信 [root@hadoop2 logs]# netstat --numeric-ports -a -tActive Internet connections (servers and established)Proto Recv-Q Send-Q Local Address Foreig 阅读全文

posted @ 2017-12-28 14:11 papering 阅读(273) 评论(0) 推荐(0)

用业务逻辑去加快代码执行耗时懂业务的重要性

摘要：依据业务，处理数据的真子集依据业务的不同子业务逻辑，修改代码逻辑阅读全文

posted @ 2017-12-28 11:39 papering 阅读(240) 评论(0) 推荐(0)

套接字两种类型

摘要：基于文件型通信进程运行在同一台机器环境中基于网络型阅读全文

posted @ 2017-12-28 08:30 papering 阅读(359) 评论(0) 推荐(0)

2017年12月27日

总时延

摘要：发送时延传播时延处里时延排队时延阅读全文

posted @ 2017-12-27 22:59 papering 阅读(237) 评论(0) 推荐(0)

rip是典型的距离矢量动态路由协议。Ospf是链路状态型的协议

摘要：网络工程师十个常见面试问题-看准网 https://m.kanzhun.com/k-mianshiwenti/1465113.html 两者都属于IGP协议，rip是典型的距离矢量动态路由协议。Ospf是链路状态型的协议 Rip是整张路由表进行广播更新(v2是组播)，学习未知的路由条目，有存在环路的阅读全文

posted @ 2017-12-27 22:34 papering 阅读(1351) 评论(0) 推荐(0)

request for comments

摘要：互联网标准化阅读全文

posted @ 2017-12-27 22:27 papering 阅读(133) 评论(0) 推荐(0)

互联网交换点

摘要： Internet eXchange Point 阅读全文

posted @ 2017-12-27 22:26 papering 阅读(286) 评论(0) 推荐(0)

动态追踪技术 Dynamic Tracing

摘要： https://openresty.org/posts/dynamic-tracing/ 工欲性能调优，必先利其器（2）- 火焰图| PingCAP https://pingcap.com/blog-cn/tangliu-tool-2/ 什么是动态追踪我很高兴能在这里和大家分享动态追踪技术（Dyn 阅读全文

posted @ 2017-12-27 21:07 papering 阅读(616) 评论(0) 推荐(0)

Flame Graphs

摘要： http://www.brendangregg.com/flamegraphs.html Flame graphs are a visualization of profiled software, allowing the most frequent code-paths to be identi 阅读全文

posted @ 2017-12-27 21:06 papering 阅读(172) 评论(0) 推荐(0)

BindException 无法指定被请求的地址

摘要： Caused by: java.net.BindException: Problem binding to [hadoop3:8096] java.net.BindException: 无法指定被请求的地址; For more details see: http://wiki.apache.org/ 阅读全文

posted @ 2017-12-27 17:48 papering 阅读(5485) 评论(0) 推荐(0)

CentOS 6 系统优化 Shell 脚本

摘要： http://www.linuxde.net/2011/12/5756.html 阅读全文

posted @ 2017-12-27 17:43 papering 阅读(143) 评论(0) 推荐(0)

内存充足，但是为什么hadoop3无法启动nodemanager

摘要： [root@hadoop3 hadoop]# xloStarting namenodes on [hadoop3]上一次登录：三 12月 27 16:06:01 CST 2017pts/24 上Starting datanodes上一次登录：三 12月 27 16:06:11 CST 2017pts 阅读全文

posted @ 2017-12-27 16:19 papering 阅读(1710) 评论(0) 推荐(0)

可用内存free不足 hadoop3 无法启动手动释放缓存 cache

摘要： [root@hadoop3 hadoop]# xlfg total used free shared buff/cache availableMem: 15 0 2 0 12 14Swap: 7 0 7[root@hadoop3 hadoop]# cat /proc/sys/vm/drop_cach 阅读全文

posted @ 2017-12-27 16:06 papering 阅读(797) 评论(0) 推荐(0)

hadoop3 无法启动查找内存消耗原因

摘要： [root@hadoop3 hadoop]# xloStarting namenodes on [hadoop3]上一次登录：三 12月 27 15:07:11 CST 2017pts/24 上hadoop3: ERROR: Cannot set priority of namenode proce 阅读全文

posted @ 2017-12-27 15:38 papering 阅读(2454) 评论(0) 推荐(0)

a

摘要： a 阅读全文

posted @ 2017-12-27 09:45 papering 阅读(226) 评论(0) 推荐(0)

2017年12月26日

环境是如何建立的启动文件有什么

摘要： login shell non-login shell 阅读全文

posted @ 2017-12-26 23:36 papering 阅读(184) 评论(0) 推荐(0)

环境中存储的是什么

摘要： 2种变量由bash存放的shell variable environment variable 阅读全文

posted @ 2017-12-26 23:34 papering 阅读(156) 评论(0) 推荐(0)

串行并行异步同步

摘要：串行 0.1t 阅读全文

posted @ 2017-12-26 22:24 papering 阅读(135) 评论(0) 推荐(0)

TPC-H is a Decision Support Benchmark

摘要： TPC-H is a Decision Support Benchmark http://www.dba-oracle.com/t_tpc_benchmarks.htm 阅读全文

posted @ 2017-12-26 22:24 papering 阅读(158) 评论(0) 推荐(0)

进程通信类型管道是Linux支持的最初Unix IPC形式之一命名管道匿名管道

摘要：管道 Linux环境进程间通信（一） https://www.ibm.com/developerworks/cn/linux/l-ipc/part1/index.html 管道及有名管道郑彦兴2002 年 12 月 11 日发布 1、管道概述及相关API应用 1.1 管道相关的关键概念管道是L 阅读全文

posted @ 2017-12-26 21:44 papering 阅读(249) 评论(0) 推荐(0)

删除环境变量

摘要：更新hadoop版本为3.0.0后，安装路径发生了改变运行hadopp-yarn 报路径错误信息 set 检查变量路径，但是找不到定义之处 unset YARN_HOME 强行删除 http://soft.chinabyte.com/os/169/11412169.shtml 阅读全文

posted @ 2017-12-26 20:13 papering 阅读(302) 评论(0) 推荐(0)

a

摘要： a 阅读全文

posted @ 2017-12-26 19:19 papering 阅读(180) 评论(0) 推荐(0)

sqoop

摘要： http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.tar.gz wget http://central.maven.org/maven2/mysql/mysql-connector-java/6.0.6/mysql-connector 阅读全文

posted @ 2017-12-26 16:07 papering 阅读(163) 评论(0) 推荐(0)

t

摘要： t 阅读全文

posted @ 2017-12-26 14:42 papering 阅读(118) 评论(0) 推荐(0)

tmp

摘要： http://www.jb51.net/article/10137.htm 阅读全文

posted @ 2017-12-26 14:04 papering 阅读(216) 评论(0) 推荐(0)

临时表数据在内存转移时间将160秒的创建临时表时间放入定时任务不到1秒的求和时间 hadoop 引入Hadoop 分布式计算

摘要： SELECT SUM(pv) as pv_t FROM 行 112247817表类型 InnoDB自动递增值 1082428327行格式 Compact索引长度 8.60 GB (9,235,939,328)数据长度 13.57 GB (14,573,125,632) 数据可用空间 4.00 MB 阅读全文

posted @ 2017-12-26 12:27 papering 阅读(241) 评论(0) 推荐(0)

/tmp/crontab.tDoyrp: 设备上没有空间查看文件夹所在分区磁盘剩余空间 15g的root-mail大文件

摘要：问题诊断：文件夹所在磁盘已满问题确认：查看文件夹所在磁盘剩余空间，找出空间被消耗的文件（集）查看文件夹所在磁盘空间的所属文件（暂未解决） [root@hadoop1 /]# df -Bg /tmp文件系统 1G-块已用可用已用% 挂载点/dev/mapper/centos-root 5 阅读全文

posted @ 2017-12-26 10:07 papering 阅读(709) 评论(0) 推荐(0)

mysql 时间间隔计算

摘要：业务需求说明早8：30点执行该sql，写入定时脚本【在稳定前，需要手动复检】 INSERT INTO test_error ( url, no_open_times, no_ad_times, ok_times, remarks, script_need_run_times, create_ti 阅读全文

posted @ 2017-12-26 09:30 papering 阅读(1128) 评论(0) 推荐(0)

哲学家进餐问题

摘要：进程阅读全文

posted @ 2017-12-26 08:29 papering 阅读(141) 评论(0) 推荐(0)

2017年12月25日

硬件同步机制

摘要：对一个字中的内容进行检测和修正对两个字的内容进行交换阅读全文

posted @ 2017-12-25 23:50 papering 阅读(698) 评论(0) 推荐(0)

hdfs对namenode format 之后应该首先检查内存消耗情况，以判断是否支持开启yarn

摘要： http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 3.0.0 http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-ya 阅读全文

posted @ 2017-12-25 22:18 papering 阅读(233) 评论(0) 推荐(0)

golang_test

摘要： package main // o O func f1() { defer println("f1-start") f2() defer println("f1-end") } func f2() { defer println("f2-start") f3() defer println("f2- 阅读全文

posted @ 2017-12-25 17:31 papering 阅读(196) 评论(0) 推荐(0)

DBENV->open

摘要： https://stuff.mit.edu/afs/sipb/project/sandbox/golem/db-3.0.55/docs/api_c/env_open.html int DBENV->open(DB_ENV *, char *db_home, char *db_config[], u_ 阅读全文

posted @ 2017-12-25 16:08 papering 阅读(281) 评论(0) 推荐(0)

65*24=1560<2175 对数据的统计支撑决策假设历史数据正确的情况下，去安排今后的任务

摘要：没有达到目标，原因不是时间投入不够，而是不用数据决策，不用数据调度定时脚本【数据源情况统计】 ># 近30天，日生效coin数目SELECT COUNT(DISTINCT coin) AS c,FROM_UNIXTIME(create_time,'%Y-%m-%d ') AS d FROM tes 阅读全文

posted @ 2017-12-25 11:54 papering 阅读(224) 评论(0) 推荐(0)

2017年12月24日

8.4 创建大量对象时节省内存方法

摘要： 8.4 创建大量对象时节省内存方法 — python3-cookbook 3.0.0 文档 https://python3-cookbook.readthedocs.io/zh_CN/latest/c08/p04_save_memory_when_create_large_number_instan 阅读全文

posted @ 2017-12-24 21:01 papering 阅读(250) 评论(0) 推荐(0)

定时邮件已经稳定运行10天+ 从局域网linux到外网邮箱

摘要：阅读全文

posted @ 2017-12-24 19:56 papering 阅读(266) 评论(1) 推荐(0)

2017年12月23日

查看外网地址

摘要： curl ifconfig.me 阅读全文

posted @ 2017-12-23 21:39 papering 阅读(261) 评论(0) 推荐(0)

mktemp temp race attack 临时文件隐患

摘要： /tmp 安全隐患～/tmp 在家目录程序目录下创建临时文件阅读全文

posted @ 2017-12-23 00:25 papering 阅读(234) 评论(0) 推荐(0)

2017年12月22日

数据教训有计划地且按时按量地产生（更新）数据

摘要：不能粗放式产生数据和更新数据必须有计划地且按时按量地产生和更新数据控制数据的产生（更新，“更新”即“产生”了数据），才能从之后动态数据转化成的静态数据中进行数据挖掘，导向决策 data decision 阅读全文

posted @ 2017-12-22 20:56 papering 阅读(159) 评论(0) 推荐(0)