随笔分类 -  数据挖掘

数据清洗
摘要：个人已将图书和个人笔记上传至CSDN资源 地址：https://download.csdn.net/download/qq_37865996/10518179 《干净的数据——数据清洗入门与实践》 数据科学过程：识别问题->数据收集与存储->数据清洗->数据分析和机器学习->数据展现和可视化实现-> 阅读全文
posted @ 2018-07-04 09:39 WittPeng 阅读(2490) 评论(0) 推荐(0)
三种信息抽取工具的使用
摘要：请见http://wittpeng.sxl.cn/blog/ebb82874a49?categoryId=30285 阅读全文
posted @ 2018-07-04 09:31 WittPeng 阅读(889) 评论(0) 推荐(0)
信息抽取工具的学习和使用
摘要：参考官方文档：http://ltp.readthedocs.io/zh_CN/latest/index.html 参考博客：https://www.cnblogs.com/Denise-hzf/p/6612886.html 简介：哈工大语言技术平台Language Technology Platfo 阅读全文
posted @ 2018-06-01 23:26 WittPeng
语义抽取 学习与实践
摘要：信息抽取介绍 信息抽取的主要功能是从文本中抽取出特定的事实信息，这些文本可以是结构化、半结构化或非结构化的数据。通常信息抽取利用机器学习、自然语言处理等方法从上述文本中抽取出特定的信息后，保存到结构化的数据库当中，一边用户查询和使用。路线分为两条： 1.基于KDD和数据挖掘的方法，主要从结构化、半结 阅读全文
posted @ 2018-05-26 23:00 WittPeng
机器学习实践(2)决策树的使用
摘要：决策树 决策树可以看成一个if-then规则的集合： 由决策树的根结点(root node)到叶结点(leaf node)的每一条路径构建一条规则；路径上内部结点的特征对应着规则的条件，而叶结点的类对应着规则的结论。决策树的路径或其对应的if-then规则集合具有一个重要的性质：互斥并且完备。这就是 阅读全文
posted @ 2018-05-18 16:45 WittPeng
《数据挖掘导论》研读(6)
摘要：神经网络技术 神经网络概述 1.神经网络模型 单层神经网络有一个输入层和一个输出层组成；多层神经层由一个输入层、一个输出层和一个或多个隐藏层组成。 2.神经网络的输入和输出数据格式 神经网络的输入向量数据必须是数值类型，且必须落在[0,1]闭区间。常见的数据归一化方法：（1）十进制缩放 （2）Min 阅读全文
posted @ 2018-05-14 22:51 WittPeng
《数据挖掘导论》研读(3)
摘要：数据库中的知识发现 一、知识发现的基本过程 KDD过程 1.经典KDD处理模型又称阶梯处理模型，步骤： 2.CRISP-DM过程模型 3.联机KDD模型OLAM 知识发现软件 KDD参与者 业务分析人员、数据分析人员、数据管理人员 二、KDD过程模型的应用 商业理解 任务——确定商业目标 任务——评 阅读全文
posted @ 2018-05-14 17:28 WittPeng
《数据挖掘导论》研读(2)
摘要：基本数据挖掘技术 决策树 从数据产生决策树的机器学习技术称为决策树学习，是一种有指导学习模型，其中C4.5算法是面向非商业用途分类决策树的经典和常用算法。 决策树算法的一般过程 以C4.5为基础，决策树算法的一般过程如下: 使用在CSDN下载的bank.arff为例，进行使用： 可知，实例个数为60 阅读全文
posted @ 2018-05-10 21:28 WittPeng 阅读(351) 评论(0) 推荐(0)
《机器学习理论、方法及应用》研读(6-13)
摘要：6.基于动态回归网络的强化学习控制 7.基于自适应FRBF网络的强化学习 8.基于支持向量机的强化学习 9.基于高斯过程分类器的强化学习 10.基于图上测地高斯基函数的策略迭代强化学习 11.多目标优化问题的差分进化-分布估计算法 12.基于细菌觅食行为的分布估计算法在预测控制中的应用 13.一种多 阅读全文
posted @ 2018-05-07 23:14 WittPeng
《机器学习理论、方法及应用》研读(5)
摘要：给予强化学习的自适应PID控制 阅读全文
posted @ 2018-05-06 22:02 WittPeng 阅读(159) 评论(0) 推荐(0)
《机器学习理论、方法及应用》研读(4)
摘要：自适应T-S型模糊径向基函数网络 阅读全文
posted @ 2018-05-06 21:58 WittPeng 阅读(233) 评论(0) 推荐(0)
《机器学习理论、方法及应用》研读（3）
摘要：基于径向基函数网络的机械手迭代学习控制 阅读全文
posted @ 2018-05-06 14:20 WittPeng 阅读(178) 评论(0) 推荐(0)
《数据挖掘导论》研读(1)
摘要：认识数据挖掘 数据挖掘的定义 数据挖掘是利用一种或多种计算机学习技术，从数据中自动分析并提取信息的过程。 数据挖掘的目的是寻找和发现数据中潜在的有价值的信息、知识、规律、联系和模式。 机器学习 概念学习 传统角度：所有概念都有明确的定义 概率角度：对个别样本实例进行概括性描述，这些概括性说明构成了概 阅读全文
posted @ 2018-05-05 14:26 WittPeng 阅读(320) 评论(0) 推荐(0)
《机器学习理论、方法及应用》研读(2)
摘要：基于时间差分的神经网络预测控制 方法的提出 基于时间差分的Elman网络预测控制 Elman网络预测模型 反馈校正模型 参考轨迹 滚动优化算法 仿真研究 预测仿真 跟踪仿真 阅读全文
posted @ 2018-05-05 14:22 WittPeng 阅读(214) 评论(0) 推荐(0)
《机器学习理论、方法及应用》研读(1)
摘要：第一章 机器学习概述 机器学习的概念 学习：可以从不同角度对学习给出解释，但是都包含了知识获取和能力改善这两个主要方面。因此给学习如下一般的解释：学习是一个有特定目的的知识获取和能力增长过程，其内在行为是获得知识、积累经验发现规律等，其外部表现是改进性能、适应环境、实现自我完善等。 机器学习：机器学 阅读全文
posted @ 2018-05-04 18:48 WittPeng 阅读(265) 评论(0) 推荐(0)
Python3爬虫(3)_urllib.error
摘要：注：参照https://blog.csdn.net/c406495762/article/details/59488464 Learn_ERROR: urllib.error可以接收有urllib.request产生的异常。urllib.error有两个方法，URLError和HTTPError。如 阅读全文
posted @ 2018-04-26 09:05 WittPeng 阅读(1113) 评论(0) 推荐(0)
Python3爬虫(2)_利用urllib.urlopen发送数据获得反馈信息
摘要：一、urlopen的url参数 Agent url不仅可以是一个字符串，例如:https://baike.baidu.com/。url也可以是一个Request对象，这就需要我们先定义一个Request对象，然后将这个Request对象作为urlopen的参数使用， 代码: 运行之后，结果就不做展示 阅读全文
posted @ 2018-04-26 08:44 WittPeng 阅读(1417) 评论(0) 推荐(0)
Python3爬虫(1)_使用Urllib进行网络爬取
摘要：网络爬虫 又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 （参考百度百科，详细请见https://baike.baidu.com/item/网络爬虫/51 阅读全文
posted @ 2018-04-25 21:39 WittPeng 阅读(1328) 评论(0) 推荐(0)
信息收集（1）
摘要：信息收集： 根据确定的数据分析对象抽象出在数据分析中所需要的特征信息，然后选择合适的信息收集方法，将收集到的信息存入数据库。对于海量数据，选择一个合适的数据存储和管理的数据仓库是至关重要的。 信息采集方式： 阅读全文
posted @ 2018-04-24 19:46 WittPeng 阅读(206) 评论(0) 推荐(0)