10 2018 档案

mongoDB学习笔记(2)
摘要：一、删数据库 1.语法 MongoDB 删除数据库的语法格式如下： 删除当前数据库，默认为 test，你可以使用 db 命令查看当前数据库名。 2.实例 以下实例我们删除了数据库 runoob。 首先，查看所有数据库： 接下来我们切换到数据库 runoob： 执行删除命令： 最后，我们再通过 sho 阅读全文
posted @ 2018-10-28 19:37 stone1234567890 阅读(134) 评论(0) 推荐(0)
sparkStreaming复习笔记(1)
摘要：一、SparkStreaming 1.sparkcore模块的扩展，具有可扩展，高吞吐量，容错机制，针对实时数据流处理，数据可以来自于kafka,flume以及tcp套接字，可以使用更加复杂的函数来进行处理 如map reduce 和filter。数据可以推送到hdfs,mysql，针对数据流可以应 阅读全文
posted @ 2018-10-28 19:36 stone1234567890 阅读(225) 评论(0) 推荐(0)
mongoDB关系型数据库的对比
摘要：一、基本操作 1.mongoDB和关系型数据库对比 对比项 mongoDB mysql oracle 表 集合list 二维表 表的一行数据 文档document 一条记录 表字段 键key 字段field 字段值 值value 值value 主外键 无 PK,FK 灵活度扩展性 极高 差 (1)关 阅读全文
posted @ 2018-10-28 16:45 stone1234567890 阅读(3730) 评论(0) 推荐(0)
分布式爬虫(5)：微博数据爬取
摘要：一、使用Selenium+Phantoms来抓取数据 1.登录：最重要的是设置User-Agent，否则无法转跳链接 2.输入用户名和密码： (1)为了与微博内容交互，需要用到javascript 相关的javascript代码： document.getElementById('loginname 阅读全文
posted @ 2018-10-27 15:51 stone1234567890 阅读(807) 评论(0) 推荐(0)
分布式爬虫(3)
摘要：一、CSS定位器 1.什么是CSS (1)CSS=Cascading Style Sheets (2)样式定义如何显示HTML元素 (3)想想为什么不直接使用属性设置元素 (4)CSS与JS 2.CSS基础语法 (1)CSS规则：选择器，以及一条或者多条的声明 selector {declarati 阅读全文
posted @ 2018-10-26 23:23 stone1234567890 阅读(284) 评论(0) 推荐(0)
分布式爬虫(4)
摘要：一、CSS定位器 1.什么是CSS (1)CSS=Cascading Style Sheets (2)样式定义如何显示HTML元素 (3)想想为什么不直接使用属性设置元素 (4)CSS与JS 2.CSS基础语法 (1)CSS规则：选择器，以及一条或者多条的声明 selector {declarati 阅读全文
posted @ 2018-10-26 23:23 stone1234567890 阅读(343) 评论(0) 推荐(0)
分布式爬虫(2)
摘要：一、什么是爬虫 1、HTTP简介 (1)HTTP=Hyper text Transfer Protocol (2)URI=Uniform Resource Identifier (3)URL=Uniform Resource Locator (4)URI和URL的区别：URI强调的是资源，而URL强 阅读全文
posted @ 2018-10-25 20:08 stone1234567890 阅读(180) 评论(0) 推荐(0)
CentOS安装Python3.x
摘要：安装python3.6可能使用的依赖# yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel 下载python3.6编译安装到python官网下载https://www.pyt 阅读全文
posted @ 2018-10-25 15:20 stone1234567890 阅读(146) 评论(0) 推荐(0)
spark复习笔记(3)：使用spark实现单词统计
摘要：wordcount是spark入门级的demo，不难但是很有趣。接下来我用命令行、scala、Java和python这三种语言来实现单词统计。 一、使用命令行实现单词的统计 1.首先touch一个a.txt文本文件 2.加载文本：产生弹性分布式数据集，用sc.textFile()加载文本文件到内存中 阅读全文
posted @ 2018-10-25 10:43 stone1234567890 阅读(1846) 评论(0) 推荐(0)
《快学scala》读书笔记(2)
摘要：第二章 控制结构和函数 1.条件表达式 (1)scala中if/else表达式有值，这个值就是跟在if或者else之后的表达式的值。如： if (x > 0) 1 else -1 这个表达式的值是1或者-1，具体是哪个值取决于x的值。 可以将这个if/else表达式的值赋给变量: val s = i 阅读全文
posted @ 2018-10-22 08:23 stone1234567890 阅读(141) 评论(0) 推荐(0)
《快学scala》读书笔记(1)
摘要：第一章 基础 1.安装scala解释器 (1)scala-2.12.1.msi (2)配置环境变量：SCALA_HOME = D:\Program Files\scala Path= %SCALA_HOME%\bin;%SCALA_HOME%\jre\bin; ClassPath =.;%SCALA 阅读全文
posted @ 2018-10-21 20:53 stone1234567890 阅读(313) 评论(0) 推荐(0)
spark复习笔记(2)
摘要：之前工作的时候经常用，隔了段时间，现在学校要用学的东西也忘了，翻翻书谢谢博客吧。 1.什么是spark? Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目 阅读全文
posted @ 2018-10-21 16:15 stone1234567890 阅读(254) 评论(0) 推荐(0)
python学习笔记(7)文件的访问与函数式编程
摘要：一、文件读写的3中方法 1.直接读入 读取文件的3种方法： read()将文本文件的所有行读取到一个字符串中去。 readline()是一行一行的读取 readlines()是将文本文件的所有行读取到一个list中去，文本文件的每一行都是一个list的一个元素。优点：readline()可以在读取的 阅读全文
posted @ 2018-10-18 15:16 stone1234567890 阅读(325) 评论(0) 推荐(0)
分布式爬虫(1)
摘要：一、环境搭建 1.python 2.7 2.pip ，并设置pip源 (1)配置pip conf ，自动设置源 #mkdir ~/.pip #vim ~/.pip/pip.conf [gloabal] index-url=https://pypi.tuna.tsinghua.edu.cn/simpl 阅读全文
posted @ 2018-10-18 07:33 stone1234567890 阅读(253) 评论(0) 推荐(0)
python学习笔记(7): 面向对象
摘要：一、类和实例 1.类(Class)：用来具有相同属性和方法的对象的集合。它定义了该集合汇总的每个对象共有的属性和方法，对象是类的实例。 2.类变量：类变量在整个实例化的对象中是公用的。类变量定义在类中，且定义在函数体外。类变量通常不作为实例变量使用。 3.实例变量：定义在方法中的变量，只作用于当前实 阅读全文
posted @ 2018-10-17 18:57 stone1234567890 阅读(222) 评论(0) 推荐(0)
python学习笔记(7)容器以及容器的访问使用
摘要：一、容器 1.list列表 序列是python中最基本的数据结构，序列中的每个元素都分配一个数字，它的位置或索引，第一个索引是0，第二个索引是1，以此类推 类表的数据项不需要具有相同的数据类型 list创建 添加元素(list only):append,extends 删除元素(list only) 阅读全文
posted @ 2018-10-16 19:24 stone1234567890 阅读(751) 评论(0) 推荐(0)
python学习笔记(6)关键字与循环控制
摘要：一、变量和类型 1.基本变量类型 (1)整数 (2)浮点数 (3)字符串 (4)布尔值 (5)空值 (6)函数 (7)模块 (8)类型 (9)自定义类型 <class 'int'> <class 'float'> <class 'float'> <class 'str'> <class 'bool' 阅读全文
posted @ 2018-10-15 19:57 stone1234567890 阅读(372) 评论(0) 推荐(0)
python学习笔记(5)
摘要：第七章 模式匹配和正则表达式 1.不用正则表达式来查找文本模式 2.用正则表达式查找文本模式 (1)正则表达式，简称为regex，是文本模式的描述方法。如\d是一个正则表达式，表示的是一位数字的字符，即任何0-9之间的数字。python使用正则表达式\d\d\d-\d\d\d-\d\d\d\d，来匹 阅读全文
posted @ 2018-10-14 10:45 stone1234567890 阅读(362) 评论(0) 推荐(0)
python学习笔记(4)
摘要：第六章 字符串操作 1.字符串处理 (1)字符串字 面量 python中输入字符串：以单引号开始和结束 (2)双引号：字符串可以用双引号开始和结束，就像单引号一样，使用双引号的好处就是在字符串中可以使用单引号。但是如果字符串中既需要使用单引号又要用到双引号，那就要用到转义字符了 单引号转义字符：\' 阅读全文
posted @ 2018-10-14 08:26 stone1234567890 阅读(202) 评论(0) 推荐(0)
python学习笔记(3)
摘要：每日一博 《python编程快速上手》第 第三章:函数 1. 第一行是一个def语句，定义了一个名为hello()的函数。def之后的代码块是函数体，这段代码在调用的时候才会执行，而不是在第一次定义的时候执行。函数之后的语句行就是进行函数的调用。在代码中，函数调用就是函数名跟上括号名，也许在括号名之 阅读全文
posted @ 2018-10-12 19:12 stone1234567890 阅读(571) 评论(0) 推荐(0)
python学习笔记(2)
摘要：这段时间学习遇到了一些问题，所以决定还是看一下书，第一本书《Python编程快速上手 让繁琐工作自动化》 第一章：Python基础 1.数学操作符，优先级从高到底 **(指数) >%(取模/取余数) >//(取整/商数取整) >/(除法) >*(乘法) >-(减法) >+(加法) 2.整形、浮点型和 阅读全文
posted @ 2018-10-11 17:40 stone1234567890 阅读(463) 评论(0) 推荐(0)
数据分析工具pandas
摘要：数据分析工具pandas一、什么是Pandas 1.Pandas是一个强大的分析结构化数据的工具集 2.基础是Numpy,提供了高性能的矩阵运算 3.应用，数据挖掘，数据分析。如学生成绩分析、股票数据分析等 4.提供数据清洗等功能二、pamdas的数据结构 [第一种数据结构]1.Series 类似于 阅读全文
posted @ 2018-10-11 14:20 stone1234567890 阅读(581) 评论(0) 推荐(0)
python学习笔记(1)
摘要：环境部署 一、安装Anaconda 1.Anaconda是python的一个科学计算发行版，内置了数百个python经常会使用的库，也包括了机器学习或者数据挖掘的库，如Scikit-learn，Numpy，Scipy和pandas等，其中有一些可能有一些TensorFlow依赖库 2.Anacond 阅读全文
posted @ 2018-10-09 14:06 stone1234567890 阅读(588) 评论(0) 推荐(0)
python学习笔记(3)
摘要：学习目录 1.常用格式的本地数据读写 2.SQL常用语法讲解 3.Python的数据库基本操作 4.数据库多表连接的用法详解 5.实战案例：欧洲职业足球数据库分析一、常用的数据分析文件格式：txt，csv，json,xml,xsl,xslx,HDF。其他可以转换成以上格式的数据文件：如GIS的.db 阅读全文
posted @ 2018-10-05 18:43 stone1234567890 阅读(149) 评论(0) 推荐(0)
python学习笔记(2)：科学计算及数据可视化入门
摘要：一、NumPy 1.NumPy:Numberical Python 2.高性能科学计算和数据分析的基础包 3.ndarray,多维数组(矩阵)，具有矢量运算的能力，快速、节省空间 (1)ndarray，N维数组对象(矩阵) (2)所有元素必须是相同类型 (3)ndim属性，维度个数 (4)shape 阅读全文
posted @ 2018-10-02 21:59 stone1234567890 阅读(719) 评论(0) 推荐(0)