随笔分类 -  技术细节

记载在重构公文管理系统的过程中的技术细节问题
ImitateLogin新增插件机制以及又一个社交网站的支持
摘要：我的文章里已经多次介绍 imitate-login ，这是我最近一直在维护的一个使用c#模拟社交网站登录的开源项目，现在新增了对插件的支持以及一个新的网站（由于某种原因，会在文章结束部分介绍；而且仅会出现在博客中）。希望喜欢的读者可以通过 Star & fork 来支持我，我也会据此来决定时间的分配。 阅读全文
posted @ 2016-01-09 23:07 Carey Tzou 阅读(572) 评论(0) 推荐(0)
使用ImitateLogin模拟登录百度
摘要：在之前的文章中，我已经介绍过一个社交网站模拟登录的类库：imitate-login ，这是一个通过c#的HttpWebRequest来模拟网站登录的库，之前实现了微博网页版和微博Wap版；现在，模拟百度登录的部分也已经完成。由于个人时间的限制，加上目前有多个项目在同时进行，因此更新频率会根据项目关注度来决定（Star & fork）。 阅读全文
posted @ 2015-12-03 20:18 Carey Tzou 阅读(2702) 评论(3) 推荐(1)
使用Docker快速部署Storm环境
摘要：Storm的部署虽然不是特别麻烦，但是在生产环境中，为了提高部署效率，方便管理维护，使用Docker来统一管理部署是一个不错的选择。下面是我开源的一个新的项目，一个配置好了storm与mono环境的Docker镜像编排：storm-mono-docker。 阅读全文
posted @ 2015-12-02 19:52 Carey Tzou 阅读(4970) 评论(1) 推荐(0)
dotNET使用DRPC远程调用运行在Storm上的Topology
摘要：Distributed RPC（DRPC）是Storm构建在Thrift协议上的RPC的实现，DRPC使得你可以通过多种语言远程的使用Storm集群的计算能力。DRPC并非Storm的基础特性，但它确实非常有用。DRPC的整个过程与一般的RPC没有区别，客户端只需要调用一个远程的方法并等待返回结果。主要工作已经被DRPC Server封装，服务端在这个过程中完成了以下步骤 阅读全文
posted @ 2015-08-14 20:13 Carey Tzou 阅读(559) 评论(0) 推荐(1)
Open Auth辅助库（使用ImitateLogin实现登录）
摘要：网络上越来越多的公司进行着自己的平台化策略，其中绝大多数都已Web API的方式对外提供服务，为了方便的使用这些服务，你不得不引用许多相关的类库，但是API的本质其实仅仅是一些约定的网络请求，我们大多数情况仅仅使用API提供的少数几个功能，因此，我稍微修改了下微博的c#的类库，加入了ImitateLogin库来模拟登录，形成了open-auth-assist库。 阅读全文
posted @ 2015-08-12 12:00 Carey Tzou 阅读(1243) 评论(2) 推荐(0)
dotNet使用HttpWebRequest模拟浏览器
摘要：在编写网络爬虫时，HttpWebRequest几乎可以完成绝大多数网站的抓取，为了更好的使用这一技术，我将常用的几个功能进行了封装，以方便调用。这个类已经在多个项目中得到使用，主要解决了Cookies相关的一些问题；如果有其它方面的问题可以提出来，我会进一步完善。 阅读全文
posted @ 2015-07-30 20:14 Carey Tzou 阅读(2593) 评论(0) 推荐(0)
开源一个社交网站模拟登录的库
摘要：网站的登录是抓取某些网站的必须步骤，大多数情况我们都是使用一个真实的浏览器去提交我们的登录信息，但是在代码中嵌套浏览器不仅会带来性能损耗，还会带来崩溃的风险。因此就有了这个使用httpRequest来模拟登录的库 imitate-login ，目前仅有微博网页版和微博Wap版的实现，其它计划实现会根据项目关注度来决定（Star & fork）是否更新以及更新时间。 阅读全文
posted @ 2015-06-27 23:59 Carey Tzou 阅读(2532) 评论(4) 推荐(2)
Storm系列（三）：创建Maven项目打包提交wordcount到Storm集群
摘要：在上一篇博客中，我们通过Storm.Net.Adapter创建了一个使用Csharp编写的Storm Topology - wordcount。本文将介绍如何编写Java端的程序以及如何发布到测试的Storm环境中运行。如果你觉得对你有帮助，欢迎Star和Fork，让更多人看到来帮助完善这个项目。 阅读全文
posted @ 2015-06-21 09:03 Carey Tzou 阅读(2928) 评论(1) 推荐(1)
Storm系列（二）：使用Csharp创建你的第一个Storm拓扑（wordcount）
摘要：WordCount在大数据领域就像学习一门语言时的hello world，得益于Storm的开源以及Storm.Net.Adapter，现在我们也可以像Java或Python一样，使用Csharp创建原生支持的Storm Topologies。下面我将通过介绍wordcount来展示如何使用Csharp开发Storm拓扑。 上篇博客已经介绍了如何部署Storm开发环境，本文所讲述demo已包含在Storm.Net.Adapter中，如果你觉得对你有帮助，欢迎Star和Fork，让更多人看到来帮助完善这个项目。 阅读全文
posted @ 2015-06-12 20:08 Carey Tzou 阅读(1994) 评论(1) 推荐(3)
Storm系列（一）：搭建dotNet开发Storm拓扑的环境
摘要：上篇博客比较了目前流行的计算框架特性，如果你是 Java 开发者，那么根据业务场景选择即可；但是如果你是 .Net 开发者，那么三者都不能拿来即用，至少在这篇文章出现之前是如此。基于上篇文章的比较发现，Storm 应该是对多语言支持比较好的框架了，但即便如此，官方也没有提供 .Net 的适配器，网上也找不到第三方的开源库。So，Storm.Net.Adapter 出现了，一个使用 Csharp 开发的 针对 Apache Storm 的适配器！ 阅读全文
posted @ 2015-05-24 16:07 Carey Tzou 阅读(1922) 评论(5) 推荐(4)
开源分布式计算系统框架比较
摘要：分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm； 这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者能快速选择适合自己的框架进行开发。 阅读全文
posted @ 2015-05-05 22:50 Carey Tzou 阅读(2238) 评论(0) 推荐(1)
在VS项目中通过GIT生成版本号作为编译版本号
摘要：上一篇博客写了如何在 .Net 项目使用 SVN 作为版本控制工具时生成与代码对应的组件版本号。虽然在公司一直使用 SVN ，但我却对 GIT 情有独钟（可能要归功于那段捣鼓 ROM 的时光），但少有文章提及如何具体在 Windows 平台来获得版本号。这让我有了迫切得到方法的希望。下面会具体实现如何在VS中使用Git版本号作为编译产生的文件版本号。 阅读全文
posted @ 2013-11-01 23:23 Carey Tzou 阅读(4975) 评论(2) 推荐(1)
在VS项目中使用SVN版本号作为编译版本号
摘要：在实际项目中（特别是作为产品的项目），版本号是必不可少的一部分。版本号的规则也有许多种，在此不讨论具体的编码规范。对于迭代的产品，版本繁多，特别是有多个实施项目所使用产品的版本不同（基于定制需求）时，清楚的标识组件与代码的对应关系十分重要。 本文主要说明如何在 .Net 项目使用 SVN 作为版本控制工具时生成与代码对应的组件版本号。 我们知道，SVN 在 commit 时会生成一串数字作为序号，所以基本思路是把这个序号作为 . Net 项目编译后生成dll的文件版本号的最后一段。下面所列方法需要使用到TortoiseSVN 提供的 SubWCRev.exe 。 阅读全文
posted @ 2013-10-27 22:59 Carey Tzou 阅读(4349) 评论(8) 推荐(3)
Oracle与SQL SERVER编程差异分析（入门）
摘要：网上有关Oracle与SQL SERVER性能差异的文章很多，结论往往是让你根据数据量与预算来选择数据库。但实际项目中，特别是使用 .Net 开发的系统，支持以上两种数据库或者更多已经成为Boss的普遍需求。 下面将常见的Oracle与SQL SERVER编程差异罗列，并提出解决方案。 阅读全文
posted @ 2013-10-16 22:26 Carey Tzou 阅读(1632) 评论(4) 推荐(2)