模型配置方式实现爬虫
摘要:爬虫框架: DotnetSpider] [三] 模型配置方式实现爬虫 上一篇介绍了最基础的使用方法,也是最自由最灵活的方式,但是其实大多数情况下是可以用模型配置的方式实现一个爬虫的。我们做框架,肯定要尽可能的把一些重复性的工作帮你们做掉,当然灵活性等也会打折扣,但肯定有存在的意义。 另,爬虫已经对d
阅读全文
中间件
摘要:中间件是个什么东西? ASP.NET Core管道虽然在结构组成上显得非常简单,但是在具体实现上却涉及到太多的对象,所以我们在 《ASP.NET Core管道深度剖析[共4篇]》 中围绕着一个经过极度简化的模拟管道讲述了真实管道构建的方式以及处理HTTP请求的流程。在这个系列 中,我们会还原构建模拟
阅读全文
ICSharpCode.SharpZipLib
摘要:ICSharpCode.SharpZipLib 压缩、解压文件 附源码 http://www.icsharpcode.net/opensource/sharpziplib/ 有SharpZiplib的最新版本,本文使用的版本为0.86.0.518,支持Zip, GZip, BZip2 和Tar格式
阅读全文
开源项目
摘要:开源项目 红色字体是现阶段比较火的 奇虎360 https://github.com/Qihoo360 1.MySQL中间层 Atlas Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0
阅读全文
Chrome插件
摘要:Chrome插件整理 本文内容都来源于偶整理的fetool。 想让更多使用Chrome的小伙伴,体验到这些令人愉悦的小工具,所以单独整理了这篇文章。 如果你是 前端/服务端/设计/面向Github编程/视觉控,相信下列的插件有不少你会用到,期待你能喜欢:) Chrome 应用商店必定是需要FQ的哈。
阅读全文
Enterprise Solution 企业管理软件开发框架
摘要:Enterprise Solution 开源项目资源汇总 Visual Studio Online 源代码托管 企业管理软件开发框架 Enterprise Solution 是一套管理软件开发框架,在这个框架基础上开发出一套企业资源计划系统Enterprise Edition。 现将Enterpri
阅读全文
DotnetSpider爬虫采集博客园
摘要:采集博客园 今天ModestMT.Zou发布了DotnetSpider爬虫第二章节,内容简单明了,基本看懂了,于是想自己试试看,直接就拿博客园开刀了。 这里有最基本的使用方式,本文章不介绍 [开源 .NET 跨平台 数据采集 爬虫框架: DotnetSpider] [二] 最基本,最自由的使用方式
阅读全文
爬虫的框架
摘要:[开源 .NET 跨平台 数据采集 爬虫框架: DotnetSpider] [二] 最基本,最自由的使用方式 上一篇大至 介绍了一下爬虫的框架设计,从这一篇开始着重介绍如何使用这个爬虫。 数据抽取定义 之前也有人反应说用Attribute+模型来定义抽取规则太花哨,实用性不强。实际上可能他没有仔细看
阅读全文
ABP启动配置
摘要:ABP启动配置 返回ABP系列 ABP是“ASP.NET Boilerplate Project (ASP.NET样板项目)”的简称。 ASP.NET Boilerplate是一个用最佳实践和流行技术开发现代WEB应用程序的新起点,它旨在成为一个通用的WEB应用程序框架和项目模板。 ABP的官方网站
阅读全文
ABP模块设计
摘要:ABP模块设计 返回ABP系列 ABP是“ASP.NET Boilerplate Project (ASP.NET样板项目)”的简称。 ASP.NET Boilerplate是一个用最佳实践和流行技术开发现代WEB应用程序的新起点,它旨在成为一个通用的WEB应用程序框架和项目模板。 ABP的官方网站
阅读全文
库管理系统-- 后台管理开源啦,源码大放送
摘要:库管理系统-- 后台管理开源啦,源码大放送 吉特仓储管理系统已经开发好些年了,已经不记得有多少个版本的迭代, 就针对前端UI以及项目结构等重大修改也经历了好几次。吉特仓储管理系统这个名称其实也就今年才开始使用,在此之前都已客户公司命名,基本也是针对客户定制服务。 说到底对这个项目还是有感情的,因为这
阅读全文
ABP分层设计
摘要:ABP分层设计 一、为什么要分层 分层架构是所有架构的鼻祖,分层的作用就是隔离,不过,我们有时候有个误解,就是把层和程序集对应起来,就比如简单三层架构中,在你的解决方案中,一般会有三个程序集项目:XXUI.dll、XXBLL.dll 和 XXDAL.dll,然后把这三个程序集看成一个层,这没什么不可
阅读全文
DDD的ABP开发框架
摘要:基于DDD的ABP开发框架初探 一、基本概念 ABP是“ASP.NET Boilerplate Project (ASP.NET样板项目)”的简称。 ABP是土耳其的以为架构师hikalkan开发的,现在又加入一个ismcagdas开发者。 ASP.NET Boilerplate是一个用最佳实践和流
阅读全文
RabbitMQ
摘要:如何优雅的使用RabbitMQ RabbitMQ无疑是目前最流行的消息队列之一,对各种语言环境的支持也很丰富,作为一个.NET developer有必要学习和了解这一工具。消息队列的使用场景大概有3种: 1、系统集成,分布式系统的设计。各种子系统通过消息来对接,这种解决方案也逐步发展成一种架构风格,
阅读全文
Github Atom
摘要:码代码新神器-Github Atom 周末闲着没事,逛论坛发现了一个新的编辑器,由github发布的Atom编辑器。瞬间被吸引了,所以就去尝试着折腾了一下,后来发现这个编辑器确实很不错,他的特点就是两个字:优美!!! 下载地址,官方网站下载速度太慢太慢了。。。这里有个github的下载地址。要快很多
阅读全文
Abot 爬虫
摘要:Abot 爬虫分析-整体结构 1. 引言 在Github 上搜索下Web Crawler 有上千个开源的项目,但是C#的仅仅只有168 个,相比于Java 或者Python 确实少的可怜。如果按照Stars 排名。可以看到 排在第一位的是一个叫Abot的爬虫。通过这两天的测试,发现Abot是一个非常
阅读全文
Wireshark抓包
摘要:Wireshark抓包分析/TCP/Http/Https及代理IP的识别 前言 坦白讲,没想好怎样的开头。辗转三年过去了。一切已经变化了许多,一切似乎从没有改变。 前段时间调研了一次代理相关的知识,简单整理一下分享之。如有错误,欢迎指正。 涉及 Proxy IP应用 原理/层级wireshark抓包
阅读全文
文档数据库RavenDB-介绍与初体验
摘要:文档数据库RavenDB-介绍与初体验 阅读目录 1.RavenDB概述与特性 2.RavenDB安装 3.C#开发初体验 4.RavenDB资源 不知不觉,“.NET平台开源项目速览“系列文章已经15篇了,每一篇都非常受欢迎,可能技术水平不高,但足够入门了。虽然工作很忙,但还是会抽空把自己知道的,
阅读全文
爬虫框架: DotnetSpider
摘要:[开源 .NET 跨平台 数据采集 爬虫框架: DotnetSpider] [一] 初衷与架构设计 一 ,为什么要造轮子 有兴趣的同学可以去各大招聘网站看一下爬虫工程师的要求,大多是JAVA,PYTHON甚至于还有NODEJS,C++,再或者在开源中国查询C#的爬虫,仅有几个非常简单或是几年没有更新
阅读全文
搜索引擎索引数据结构和算法
摘要:【搜索引擎】搜索引擎索引数据结构和算法 最近一直在研究sphinx的工作机制,在[搜索引擎]Sphinx的介绍和原理探索简单地介绍了其工作原理之后,还有很多问题没有弄懂,比如底层的数据结构和算法,于是更进一步地从数据结构层面了解其工作原理。在网上搜了很多资料,发现没有很多介绍这方面的文章,后来找到了
阅读全文