船长 - 博客园

2014年12月23日

SQL Server 2005无法远程连接的解决方法

摘要：以前一直连接本地的数据库,连接SQL Server 2005是小菜的...做项目也是老师搭好了服务器端,打上IP去访问就行...也不用考虑太多.今天自己在公司搭SQL Server 2005服务器,客户端去访问问题就来了...连接失败,SQL Server 2005不支持远程...想想应该不会,于是... 阅读全文

posted @ 2014-12-23 21:19 船长阅读(89) 评论(0) 推荐(0)

2014年12月22日

ASP.NET图表控件MSChart

摘要：前段时间，开发项目时，由于需要，需要将一些数据统计，并以图表形式显示。由于是asp.net，所以就找到了MsChart图表控件，还是挺方便实用的，分享一下。MsChart控件的主要组成如图所示我们现在可以使用了，相关文章及下载：下载免费的微软图表控件下载VS 2008对图表控件的工具支持下载微软图表... 阅读全文

posted @ 2014-12-22 20:03 船长阅读(316) 评论(0) 推荐(0)

2014年12月20日

数据挖掘的一般步骤

摘要：从数据本身来考虑，数据挖掘通常需要有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘实施过程、模式评估和知识表示8个步骤。步骤（1）信息收集：根据确定的数据分析对象，抽象出在数据分析中所需要的特征信息，然后选择合适的信息收集方法，将收集到的信息存入数据库。对于海量数据，选择一个合适的数据存... 阅读全文

posted @ 2014-12-20 15:29 船长阅读(2002) 评论(0) 推荐(0)

2014年11月30日

Apache Spark源码走读之3 -- Task运行期之函数调用关系分析

摘要：概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备spark已经安装完毕spark运行在local mode或local-cluster modelocal-cluster mod... 阅读全文

posted @ 2014-11-30 11:31 船长阅读(200) 评论(0) 推荐(0)

Apache Spark源码走读之4 -- DStream实时流数据处理

摘要： Spark Streaming能够对流数据进行近乎实时的速度进行数据处理。采用了不同于一般的流式数据处理模型，该模型使得Spark Streaming有非常高的处理速度，与storm相比拥有更高的吞能力。本篇简要分析Spark Streaming的处理模型，Spark Streaming系统的初始化... 阅读全文

posted @ 2014-11-30 11:30 船长阅读(226) 评论(0) 推荐(0)

Apache Spark源码走读之6 -- 存储子系统分析

摘要： Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。存储子系统概览上图是Spark存储子系统中几个主要模块的关系示意图，现简要说明如下CacheM... 阅读全文

posted @ 2014-11-30 11:30 船长阅读(161) 评论(0) 推荐(0)

Apache Spark源码走读之5 -- DStream处理的容错性分析

摘要：在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理呢？环境搭建为了有一个感性的认识，先运行一... 阅读全文

posted @ 2014-11-30 11:30 船长阅读(224) 评论(0) 推荐(0)

Apache Spark源码走读之8 -- Spark on Yarn

摘要：概要Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部署，本文将就Spark如何实现在Ya... 阅读全文

posted @ 2014-11-30 11:30 船长阅读(253) 评论(0) 推荐(0)

Apache Spark源码走读之7 -- Standalone部署方式分析

摘要：在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行讲解。没有HA的Standalone运行模式先从比... 阅读全文

posted @ 2014-11-30 11:29 船长阅读(262) 评论(0) 推荐(0)

Apache Spark源码走读之9 -- Spark源码编译

摘要：概要本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark officical document上的来做，总会出现这样或那样的编译错误，让人懊恼不已。今天闲来无事，又重试了一把，居... 阅读全文

posted @ 2014-11-30 11:29 船长阅读(140) 评论(0) 推荐(0)