03 2021 档案

hadoop
摘要：hadoop的核心是 HDFS 和 MapReduce HDFS（Hadoop Distributed File System，Hadoop分布式文件系统） MapReduce(MapReduce，大数据处理)：从海量·源数据提取分析元素最后返回结果集的编程模型 阅读全文
posted @ 2021-03-12 15:26 wangssd 阅读(88) 评论(0) 推荐(0)
分布式锁实现的三种方法
摘要：分布式 CAP 理论: 任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两项。 锁只要能保证互斥就行，可以将标记存在内存当中。 单机将标记存在堆内存当中，针对的是多线程 分布式 阅读全文
posted @ 2021-03-11 15:57 wangssd 阅读(2750) 评论(0) 推荐(0)
http 请求头中各参数的含义
摘要：Request Header: Header解释示例 Accept 指定客户端能够接收的内容类型 Accept: text/plain, text/html Accept-Charset 浏览器可以接受的字符编码集 Accept-Charset: iso-8859-5 Accept-Encoding 阅读全文
posted @ 2021-03-11 13:36 wangssd 阅读(1731) 评论(0) 推荐(0)
爬虫-爬取网页数据
摘要：通过Python3.8 来写爬虫代码，获取网站信息 爬虫库：requests 一般用于处理网络请求，获取html页面 requests库的session会话对象可以跨请求保持某些参数。说白了，就是使用session成功的登录了某个网站，则在再次使用该session对象求求该网站的其他网页都会默认使用 阅读全文
posted @ 2021-03-10 11:46 wangssd 阅读(902) 评论(0) 推荐(0)
shell 脚本对从键盘输入的字符进行校验
摘要：当编写shell脚本时，总是不可避免的要与外界进行交互。 通过 read -p "请输入：" input 指令，可以实现由键盘到脚本的交互。 但是由输入法进行输入的时候，不可避免会产生一些特殊字符，如果一起输入脚本，会造成脚本的不稳定，因此需要对从键盘输入 的字符进行校验。 path=`pwd` w 阅读全文
posted @ 2021-03-08 17:01 wangssd 阅读(698) 评论(0) 推荐(0)
pg数据库的角色、模式、表空间
摘要：1. 角色（role）与用户（user）：对于PostgreSQL来说，这是完全相同的两个对象。 唯一的区别是在创建的时候：ROLE不具有缺省的LOGIN权限。 CREATE ROLE kanon PASSWORD 'kanon' LOGIN; 等同于 CREATE USER kanon PASSW 阅读全文
posted @ 2021-03-08 16:49 wangssd 阅读(1096) 评论(0) 推荐(1)
pg数据库的备份与恢复
摘要：数据库备份： 1.采用sql文件进行备份 2.直接复制数据库文件进行全局备份 1.采用sql文件进行备份 将数据库dbname,从host1复制到host2 pg_dump -h host1 dbname | psql -h host2 dbname pg_dump指令： 备份：pg_dump db 阅读全文
posted @ 2021-03-08 16:38 wangssd 阅读(2393) 评论(0) 推荐(0)
linux 指令
摘要：linux vi/vim 显示行号： :set nu vi/vim 取消显示行号： :set nonu cat /etc/redhat-release && cat /etc/lsb-releaseradhat或centos存在： /etc/redhat-release 这个文件【 命令 cat / 阅读全文
posted @ 2021-03-04 11:46 wangssd 阅读(104) 评论(0) 推荐(0)
编码
摘要：GBK编码范围： x00-xff GBK双字节编码范围x20-x7f ASCIIxa1-xff 中文x80-xff 中文 utf-8编码范围： u4e00-u9fa5 (中文)x3130-x318F (韩文)xAC00-xD7A3 (韩文)u0800-u4e00 (日文) 阅读全文
posted @ 2021-03-04 09:41 wangssd 阅读(111) 评论(0) 推荐(0)