上一页 1 ··· 77 78 79 80 81 82 83 84 85 ··· 87 下一页

spark学习笔记

摘要: Spark通过减少磁盘IO来达到性能的提升 为了适应迭代计算,Spark将经常被重用的数据缓存到内存中以提升数据读取速度,当内存容量有限的时候则将数据存入磁盘中或根据最近最少使用页面置换算法(Least Recently Used,LRU)算法将内存中使用频率较低的文件空间收回,从而让新的数据进来 阅读全文
posted @ 2018-05-13 22:43 我和你并没有不同 阅读(128) 评论(0) 推荐(0)

docker学习笔记2

摘要: 修改容器时间为北京时间 容器内部创建Asia时区文件 echo Asia/Shanghai >/etc/timezone localtime可以从宿主机拷贝到容器内部(exit退出容器,在宿主机上操作docker cp) docker cp /usr/share/zoneinfo/Asia/Shan 阅读全文
posted @ 2018-04-02 15:59 我和你并没有不同 阅读(183) 评论(0) 推荐(0)

磁盘空间查看

该文被密码保护。 阅读全文
posted @ 2018-04-02 11:02 我和你并没有不同 阅读(16) 评论(0) 推荐(0)

kafka读书笔记《kafka权威指南》2018

摘要: 1、有了分区,可以多个client消费一个topic,有了分区,可以将一个topic 分散在多个broker 2、kafka通过复制实现可靠,通过横向扩展提高性能(如增加分区、客户端、增加broker) 3、消费者占用网络流量,而复制、镜像也会占用网络流量。如果网络接口出现饱和,那么集群的复制出现延 阅读全文
posted @ 2018-03-31 19:50 我和你并没有不同 阅读(303) 评论(0) 推荐(0)

mongodb

摘要: MONGO优缺点: 1海量查询是mongo更快 2mongo可以存储文件 3mongo不需要定义数据结构:字段个数,字段类型【NoSQL可能更加适合初始化数据还不明确或者未定的项目中。】 4mongo可以通过集合分片实现水平扩展,应用不用关注数据是否被分散到多个机器(sql可以垂直扩展:增加CPU、 阅读全文
posted @ 2018-03-27 19:50 我和你并没有不同 阅读(223) 评论(0) 推荐(0)

postgre

摘要: 删除数据库:dropdb -h 172.31.3.79 -p 5432 -U postgres zcy_test while read line; do echo $line cmd="SELECT pg_terminate_backend($line);" psql -h 172.31.3.79 阅读全文
posted @ 2018-03-23 13:08 我和你并没有不同 阅读(570) 评论(0) 推荐(0)

彻底卸载tv

摘要: 1、卸载 2、C:\Program Files (x86),找到teamviewer选项,右击删除 3、开始--输入regedit,打开注册表,找到如下路径:HKEY_LOCAL_MACHINE\SOFEWARE\Wow6432Node\TeamViewer,右击删除 4、运行,输入输入%appda 阅读全文
posted @ 2018-03-17 08:37 我和你并没有不同 阅读(664) 评论(0) 推荐(0)

airflow 实战

摘要: def print_hello(*a,**b): print a print " " print b print 'Hello world!' raise ValueError("pre_paths or find_svr is null") return {"hello":"Hello world 阅读全文
posted @ 2018-03-08 20:18 我和你并没有不同 阅读(1049) 评论(0) 推荐(0)

python 常见异常

摘要: 上面是查看异常的类型 ,知道了异常的类型,才知道怎么捕获这种异常 AttributeError 不存在属性 IoError 输入或输出异常 ImportError 无法引入模块或包。(一般是路径问题或模块名称有误) IndentationError 语法错误(SyntaxError子类),一般是代码 阅读全文
posted @ 2018-03-04 21:19 我和你并没有不同 阅读(156) 评论(0) 推荐(0)

oplog

摘要: 参考资料:https://www.cnblogs.com/ruizhang3/p/6539730.html http://www.jb51.net/article/113432.htm :insert Raw data {u'h': 0L, u'ts': Timestamp(1519780847, 阅读全文
posted @ 2018-02-28 10:38 我和你并没有不同 阅读(240) 评论(0) 推荐(0)
上一页 1 ··· 77 78 79 80 81 82 83 84 85 ··· 87 下一页