摘要:一、概念 1、什么是 UUID 的全称是 ,中文为 。 构成:由一组 32位 数的 16进制 数字所构成。 格式:以连字号分为五段,表现形式为 8 4 4 4 12 的32个字符,如下所示: xxxxxxxx xxxx Mxxx Nxxx xxxxxxxxxxxx 如:30385d15 0a88 4 阅读全文
posted @ 2020-01-07 17:24 小蒋不素小蒋 阅读 (45) 评论 (0) 编辑
摘要:一、背景 1、Node.js 异步控制 在之前写的 "callback vs async.js vs promise vs async / await" 里,我介绍了 ES6 的 promise 和 ES7 的 async / await 的基本用法。 可以肯定的是, node.js 的异步控制(a 阅读全文
posted @ 2019-12-14 21:45 小蒋不素小蒋 阅读 (243) 评论 (0) 编辑
摘要:一、JSON vs JS 对象 1、区别 | 区别 | Javascript 对象 | Json | |: |: | | | 含义 | 对象的实例 | 一种数据格式(序列化格式) | | 传输 | 不能传输 | 可以 跨平台 传输,轻量级 | | 格式 | 1.键不加引号、加单引号、双引号都行2.值 阅读全文
posted @ 2019-12-08 17:56 小蒋不素小蒋 阅读 (41) 评论 (0) 编辑
摘要:背景:今年开始搞 Data science ,学了 python 小半年,但一直没时间整理整理。这篇文章很基础,就是根据廖雪峰的 "python 教程" 整理了一下基础知识,再加上自己的一些拓展,方便自己以后查阅。 一、基础 1、简介 (1) 历史 是著名的“龟叔” (荷兰人)在1989年圣诞节期间 阅读全文
posted @ 2019-12-02 19:46 小蒋不素小蒋 阅读 (45) 评论 (0) 编辑
摘要:一、init system 1、计算机是如何启动的 以早期 Fedora 系统为例。 1、开机 2、BIOS 和 GRUB(引导加载程序) 3、Linux 内核启动后, 是在 Fedora 上启动的第一个进程。进程 ID (PID) 为 1。它是系统中所有其它进程的母亲,用于启动其他服务和守护程序。 阅读全文
posted @ 2019-11-28 18:27 小蒋不素小蒋 阅读 (39) 评论 (0) 编辑
摘要:零、写在前面 本文涉及的反爬技术,仅供个人技术学习,禁止并做到: 干扰被访问网站的正常运行 抓取受到法律保护的特定类型的数据或信息 搜集到的数据禁止传播、交给第三方使用、或者牟利 如有可能,在爬到数据后24小时候内删除 具体可参考 2019年5月28号 颁布的 "《数据安全管理办法(征求意见稿)》" 阅读全文
posted @ 2019-11-26 12:56 小蒋不素小蒋 阅读 (39) 评论 (0) 编辑
摘要:环境:CentOS 7 (阿里云服务器) 一、linux 发行版下的包管理阵营 包管理系统 除了方便你安装和管理包之外,还能帮你 解决依赖问题 。 下面就介绍2个最主要的: 1、Debian 系 dpkg (Debian Package Management System),中文为 Debian 包 阅读全文
posted @ 2019-11-24 21:09 小蒋不素小蒋 阅读 (41) 评论 (0) 编辑
摘要:背景:之前做 Scrapy 爬虫,遇到一些编码的问题,导致自己损耗了一些不必要的时间,还是基础知识不扎实呀,所以专门来整理整理,遂成此篇。 一、概念 这里先厘清一些概念,方便接下来的阐述。 :是计算机存储数据的存储单元,是一个8位的二进制数,所以最多只能表示256个数字(0 255) :是人们常用的 阅读全文
posted @ 2019-11-21 18:18 小蒋不素小蒋 阅读 (45) 评论 (0) 编辑
摘要:一、Node.js 日志 1、原生 Node.js 原生方法其实很简单,就四个: 配合 pm2 的 log 功能(参见我之前的 blog: "pm2 官方文档学习笔记 小蒋不素小蒋 博客园" ),可以对项目实现基础的日志功能。(目前我采用的也是这种) 2、第三方库 debug:比较简单,expres 阅读全文
posted @ 2019-11-17 23:07 小蒋不素小蒋 阅读 (23) 评论 (0) 编辑
摘要:零、写在前面 本文涉及的反爬技术,仅供个人技术学习,禁止并做到: 干扰被访问网站的正常运行 抓取受到法律保护的特定类型的数据或信息 搜集到的数据禁止传播、交给第三方使用、或者牟利 如有可能,在爬到数据后24小时候内删除 具体可参考 2019年5月28号 颁布的 "《数据安全管理办法(征求意见稿)》" 阅读全文
posted @ 2019-11-17 17:01 小蒋不素小蒋 阅读 (45) 评论 (0) 编辑
摘要:一、背景 为公司负责 Data Science 的同事配置线上 jupyter_server (jupyter + jupyter_kernel_gateway)环境。 二、环境 CentOS 7.6 三、安装 从最基础的 python 安装开始介绍。 1、python 采用编译安装,版本为 3.7 阅读全文
posted @ 2019-11-17 15:07 小蒋不素小蒋 阅读 (36) 评论 (0) 编辑
摘要:一、介绍 1、是什么 全称是 Node Package Manager,即 Node 包管理工具 。 但是发展到后来,并不仅是适用于 node.js 的包。 所以现在看 node_modules 这个名字实在有点偏颇,现在 npm 自己都说自己是 通用的包管理 ,并不局限于 node,然而这名字却不 阅读全文
posted @ 2019-11-08 20:38 小蒋不素小蒋 阅读 (149) 评论 (0) 编辑
摘要:一、介绍 跟之前我们介绍的 Selenium ( 参考 "Selenium 与自动化测试 —— 《Selenium 2 自动化测试实战》读书笔记" ) 很类似,都可以理解成一个浏览器,提供网页动态渲染(css、javascript、flash 等)服务,并且都支持 HTTP API 与之交互。 但不 阅读全文
posted @ 2019-10-31 17:24 小蒋不素小蒋 阅读 (100) 评论 (0) 编辑
摘要:一、介绍 官方文档: 中文 "https://www.lodashjs.com/docs/latest" 英文 "https://lodash.com/docs/4.17.15" 1、作用 是一套 工具库 ,内部封装了很多字符串、数组、对象等常见数据类型的处理函数。 2、组成 :全部功能 :只有核心 阅读全文
posted @ 2019-10-23 16:32 小蒋不素小蒋 阅读 (533) 评论 (0) 编辑
摘要:一、什么是 CSS in JS 上图来源: "https://2019.stateofcss.com/technologies/" "CSS in JS" 是2014年推出的一种 设计模式 ,它的核心思想是把 CSS 直接写到各自组件中,而不是单独的样式文件里。 CSS in js 的发展: 最早就 阅读全文
posted @ 2019-09-25 13:23 小蒋不素小蒋 阅读 (499) 评论 (0) 编辑
摘要:一、什么是 CSS methodologies ,可以理解成 设计模式 ,也可以理解成 css 规范 ,市面使用情况如下图: 上图来源: "https://2019.stateofcss.com/technologies/" 你可能在日常开发中并不会专门花时间去注意和了解 CSS methodolo 阅读全文
posted @ 2019-09-23 18:45 小蒋不素小蒋 阅读 (143) 评论 (0) 编辑
摘要:一、介绍 (Leaner Style Sheets 简洁的样式表) 是一门向后兼容的 ,它扩展了CSS 语言。 less is more. 好处: 1、具有部分编程语言的功能,提高编码效率 2、提供模块化 3、结构清晰、易于拓展 4、完全兼容 css 缺点: 1、学习成本提高了些 2、让调试变的复杂 阅读全文
posted @ 2019-09-18 14:20 小蒋不素小蒋 阅读 (67) 评论 (0) 编辑
摘要:零、背景 之前在 node.js 下写过一些爬虫,去做自己的私人网站和工具,但一直没有稍微深入的了解,借着此次公司的新项目,体系的学习下。 本文内容主要侧重介绍爬虫的概念、玩法、策略、不同工具的列举和对比上,至于具体工具和框架的使用,会单独开辟独立的文章。 下面的工具排行,从上往下表示从简单到复杂, 阅读全文
posted @ 2019-09-17 16:13 小蒋不素小蒋 阅读 (58) 评论 (0) 编辑
摘要:零、背景 我之前写过关于 charles 的使用笔记,为什么现在又要来写同类型的 mitmproxy 工具呢?下面我会娓娓道来他比 charles 多出的强大功能。 一、介绍 是一个支持 HTTP 和 HTTPS 的抓包程序, 类似 Fiddle、Charles , 只不过它通过 CMD 的形式操作 阅读全文
posted @ 2019-09-17 11:32 小蒋不素小蒋 阅读 (367) 评论 (0) 编辑
摘要:零、背景 公司最近有个 爬虫 的项目,先拿小红书下手,但是小红书很多内容 web 端没有,只能用 app 爬,于是了解到 Appium 这个强大的框架,即可以做自动化测试,也可以用来当自动化爬虫。 本文的代码只是一个简单的 spike,没有太多深入的实践。后续如果有深挖,我会来补充的。 一、介绍 实 阅读全文
posted @ 2019-09-15 22:12 小蒋不素小蒋 阅读 (156) 评论 (0) 编辑