随笔分类 -  数据挖掘（Data Mining）

摘要：经过了三年的开发努力，Apache Solr Server 4.0终于发布了。Apache Solr是流行的，速度极快，开源的NoSQL的搜索平台，来自于Apache Lucene项目。它的主要功能包括强大的全文搜索，命中高亮显示、面搜索、动态集群、数据库集成、丰富的文档和地理信息搜索。Solr是高度可扩展的、提供了分布式搜索和索引的容错功能，强大的搜索和导航功能等。Apache Solr 4.0版的亮点：1. 重新设计了分布式索引，拥有NRT（near real-time）和NoSQL特性。2. 高可用性且无单点故障。3. 可与Apache Zookeeper集成，分布式协调和集群元数据和配 阅读全文

摘要：经过了三年的开发努力，Apache Lucene 4.0终于发布了。Apache Lucene是一个高性能，全功能的文本搜索引擎库，完全用Java编写的。这是一个技术适用于几乎任何需要全文搜索，特别是跨平台的应用程序。Apache Lucene 4.0版的亮点：1. 索引格式支持条目、邮件列表、数据库存储的字段、条目矢量等格式，通过编码器API实现了可插拔。可以选择或自定义索引格式。2. 矢量空间模型的相似度解耦（TF-IDF）。有附加模型（如BM25）、随机偏离、语言模型、基于信息的模型等。3. IndexWriter支持并行写磁盘，适用于应用程序使用多线程建立索引的场景。4. 每个文档的归 阅读全文

摘要：用R读取PDF并进行数据挖掘，例子如下：# here is a pdf for mining url <- "http://www.noisyroom.net/blog/RomneySpeech072912.pdf" dest <- tempfile(fileext = ".pdf") download.file(url, dest, mode = "wb") # set path to pdftotxt.exe and convert pdf to text exe <- "C:\\Program Fil 阅读全文

摘要：1. 用grid包，下面展示其用法。library(grid)dat <- data.frame(x = rep(seq(0, 0.8, 1/5), 5), y = rep(seq(0, 0.8, 1/5), each = 5), val = rnorm(25, 20, 5))# making relative values (%) to be used for color-gradiation in plotdat$rel <- 100 * dat$val / max(dat$val)# creating grey-tone... 阅读全文

摘要：1.安装rgl包、evd包和MASS包：> install.packages("rgl")Installing package(s) into ‘D:/program/R/library’(as ‘lib’ is unspecified)试开URL’http://cran.dataguru.cn/bin/windows/contrib/2.15/rgl_0.92.892.zip'Content type 'application/zip' length 1937097 bytes (1.8 Mb)打开了URLdownloaded 1.8 Mbp 阅读全文

摘要：MySQL存储过程使用表名做参数原创文章，chszs版权所有！如要转发，请联系chszs！盗贴行为将受起诉！MySQL存储过程使用表名做参数动态创建表的例子。一同学向我请教在MySQL的存储过程中，如何使用表名做参数动态创建表。这个问题在MySQL 5.0以前非常麻烦，但是在MySQL 5.0.13版之后，由于引入了PREPARE语句，一切变得简单了。此问题在网上搜索的帖子一般都是错误的！例子如下（已验证）：DROP PROCEDURE IF EXISTS `newtable`;CREATE PROCEDURE `newtable`(IN tname varchar(64))BEGINSET 阅读全文

摘要：章一 导论由于人们认知能力的有限性，海量信息在给人们带来方便的同时也带来了一大堆的问题。第一是信息超载，难以消化；第二是有效信息难以提取，真假信息难以辨识；第三是信息安全难以保证，有意或无意的行为经常会威胁到信息的安全；第四是信息形式不一致，既有结构化的信息，也有非结构化的信息，难以统一处理。普通的数据库系统虽然可以高效地实现数据的录入、查询、统计和维护等功能，并可以对数据做一些简单分析处理，却无法挖掘和提供数据背后隐含的、人们真正需要的有价值的知识。数据挖掘以一种全新的概念改变着人类加工和利用信息的方式，使人们从单纯的信息收集、存储、整理、利用、变无序信息为有序信息，向信息整合、信息创新、信 阅读全文