摘要： [DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 场景模拟 接上一篇， JD SKU对应的店铺信息是异步加载的，因此无法使用上一篇的爬虫直接解决。这时我们需要重新完全采集所有的SKU数据吗？补爬的话历史数据就 阅读全文

摘要： [DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 上一篇介绍的基本的使用方式，自由度很高，但是编写的代码相对就多了。而我所在的行业其实大部分都是定题爬虫, 只需要采集指定的页面并结构化数据。为了提高开发效率, 阅读全文

摘要： [DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 使用环境 Visual Studio 2017 .NET 4.5 or later or .NET Core Visual Studio 2017 .NET 阅读全文

摘要： [DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 为什么要造轮子 同学们可以去各大招聘网站查看一下爬虫工程师的要求，大多是招JAVA、PYTHON，甚至于还有NODEJS，C++；再或者去开源中国查询C#的爬 阅读全文

摘要： 这里我们不讲安装，缺少libicu52自行安装. 安装完成后使用dotnet restore或者build都会失败，一是报编译的dll不适合当前系统，二是编译到ubuntu16.04文件夹下会产生一些问题。更麻烦的是会导致visual studio code无法安装.net core debug. 阅读全文

摘要： 问题：公司有一台闭置的windows服务器，于是想利用起来，但是在启动容器后始终无法通信成功。 研究： 1. 发现安装包中包含virtualbox, 于是怀疑windows下的docker是在virtualbox中run了一个DOCKER虚拟机（额外思考一下，你自己构建的容器运行在virtualbo 阅读全文

摘要： .NET CORE的官方（http://dotnet.github.io/getting-started/）只提供了Windows, Ubuntu14.04, 及Docker(也是基于Ubuntu14.04做的Image). 但鉴于微软已经把RedHat做为参考平台而且用Ubuntu14.04做Se 阅读全文

摘要： 之前一直使用vs emulator. 感觉性能各方面都比较好, 但在我更新完电脑后不知道什么原因各种起不来... 无奈之下想回到Google自带的模拟器.然后发现intel haxm一直安装失败. 提示CPU不支持VT-X. 百思不得骑姐, HYPE-V都是正常运行的, 怎么可能VT没有开呢?检查了... 阅读全文

摘要： 由于Gen 9的VID中自带RETHAT 5.X-7.0的驱动, 所以不需要制作驱动盘.一, 准备工作 1. 制作 CentOS安装盘 2. 配置阵列, 开机过了自检后按F10. 自己看着配... 2. Gen9 默认是开启阵列的, 但是VID没有开启 2.1 开机按F9进入Syste... 阅读全文

摘要： 要配置生产环境前，最好严格按照官方文档/说明配置环境。比如，官方说这个安装包用于RETHAT6, CENTOS6，那就要装到6的版本下，不然很容易出现各种各样的错。配置这个CDH5我入了很多坑，最重要的有2点1. HP GEN9 DL60服务器装CentOS系统, 开始想装7的版本, 官方只说支持到... 阅读全文