07 2018 档案

3.本地集群部署与压力测试
摘要：nginx安装aspnet示例程序安装tengine安装 kubernetes中部署应用很简单，打开dashboard，点击右上角创建即可 通过填入镜像名称和端口地址，创建好nginx应用aspnet示例程序镜像： microsoft/dotnet-samples:aspnetapptengine镜 阅读全文
posted @ 2018-07-31 18:39 幻影gool 阅读(167) 评论(0) 推荐(0)
2.本地集群管理环境搭建
摘要：安装好docker之后我发现一两个应用还好，如果应用一多，一个个管理起来就很麻烦，不如直接用kubernetes来管理集群kubernetes将集群里面的机器称为node，可以是一个docker容器，也可以是一台物理机 docker for windows edge版本已经集成了kubenetes， 阅读全文
posted @ 2018-07-31 05:05 幻影gool 阅读(252) 评论(0) 推荐(0)
1.服务器模拟环境
摘要：想要成为经验丰富的分布式技术人员，那必须熟练服务器的搭建作为一名贫困的程序员，我没办法购置多台电脑来搭建集群，那么只能使用虚拟化主机软件达成了首先我将内存加到24G，CPU是Ryzen 1600，有12个线程，省点用可以搭建5-6个服务器了 调查了各种虚拟化方案，最后还是选用了dockerdocke 阅读全文
posted @ 2018-07-31 00:48 幻影gool 阅读(210) 评论(0) 推荐(0)
0.序
摘要：在大数据以及分布式架构浪潮来袭的背景下作为一名5年开发经验的.NET程序员，希望能在这个机会中再次突破瓶颈，达到作为技术路线顶点的架构师级别 在这几年中，积累了很多应用开发经验，这些经验还足以量变达到质变在最近的一年中，我阅读了大量关于高并发，高可用，动态扩容的文章和书籍，但是始终还是一知半解，犹如 阅读全文
posted @ 2018-07-31 00:47 幻影gool 阅读(112) 评论(0) 推荐(0)
爬虫开发过程 - 采集器主程序开发
摘要：主程序的主要任务是解析和执行规则，那么首先就得设计规则文件的结构 我这里是设计了一种脚本作为规则使用，脚本有简单的语言规范： 一个简单的采集规则： 可以看到规则文件是一个树形结构，而且每个操作都是一行，只需要一行行解析就能获取到一个树形结构 然后是命令的定义： 将解析出来的Node传递给IComma 阅读全文
posted @ 2018-07-04 01:31 幻影gool 阅读(216) 评论(0) 推荐(0)
爬虫开发过程 - 采集器设计
摘要：看了之前几款采集器，发现了一些共同点 采集器一般由3个部分组成 主程序，采集规则，入库模块 主程序负责解析和采集规则 流程如下 采集规则包含了需要采集网站的url，内容提取和处理，一般由正则表达式，xpath等组成 入库模块将采集到的数据保存到数据库或发布到网站 阅读全文
posted @ 2018-07-04 01:00 幻影gool 阅读(257) 评论(0) 推荐(0)
一次爬虫开发过程 - 采集器调查
摘要：最近有个需求，希望能够采集一些新闻和文章发布到Dedecms中 本来想应该有比较好用的爬虫软件，最好是直接跟dede接入好的，但是调查了几款软件和引擎，都不怎么理想 火车采集器： 1.分收费版和免费版，免费版功能少，正则表达式替换不能使用 2.配置简单，规则容易编写，有现成的dede发布模块 八爪鱼 阅读全文
posted @ 2018-07-04 00:38 幻影gool 阅读(266) 评论(0) 推荐(0)