大数据开发程序猿

摘要： idea的pom.xml文件配置 阅读全文

摘要： 在windows上实现wordcount单词统计 一、编写scala程序，引入spark类库，完成wordcount 1.sparkcontextAPI sparkcontext是spark功能的主要入口点，代表着到spark集群的连接，可用于在这些集群上创建RDD(弹性分布式数据集)，累加器和广播 阅读全文

摘要： 一、删数据库 1.语法 MongoDB 删除数据库的语法格式如下： 删除当前数据库，默认为 test，你可以使用 db 命令查看当前数据库名。 2.实例 以下实例我们删除了数据库 runoob。 首先，查看所有数据库： 接下来我们切换到数据库 runoob： 执行删除命令： 最后，我们再通过 sho 阅读全文

摘要： 一、SparkStreaming 1.sparkcore模块的扩展，具有可扩展，高吞吐量，容错机制，针对实时数据流处理，数据可以来自于kafka,flume以及tcp套接字，可以使用更加复杂的函数来进行处理 如map reduce 和filter。数据可以推送到hdfs,mysql，针对数据流可以应 阅读全文

摘要： 一、基本操作 1.mongoDB和关系型数据库对比 对比项 mongoDB mysql oracle 表 集合list 二维表 表的一行数据 文档document 一条记录 表字段 键key 字段field 字段值 值value 值value 主外键 无 PK,FK 灵活度扩展性 极高 差 (1)关 阅读全文

摘要： 一、使用Selenium+Phantoms来抓取数据 1.登录：最重要的是设置User-Agent，否则无法转跳链接 2.输入用户名和密码： (1)为了与微博内容交互，需要用到javascript 相关的javascript代码： document.getElementById('loginname 阅读全文

摘要： 一、CSS定位器 1.什么是CSS (1)CSS=Cascading Style Sheets (2)样式定义如何显示HTML元素 (3)想想为什么不直接使用属性设置元素 (4)CSS与JS 2.CSS基础语法 (1)CSS规则：选择器，以及一条或者多条的声明 selector {declarati 阅读全文

摘要： 一、CSS定位器 1.什么是CSS (1)CSS=Cascading Style Sheets (2)样式定义如何显示HTML元素 (3)想想为什么不直接使用属性设置元素 (4)CSS与JS 2.CSS基础语法 (1)CSS规则：选择器，以及一条或者多条的声明 selector {declarati 阅读全文

摘要： 一、什么是爬虫 1、HTTP简介 (1)HTTP=Hyper text Transfer Protocol (2)URI=Uniform Resource Identifier (3)URL=Uniform Resource Locator (4)URI和URL的区别：URI强调的是资源，而URL强 阅读全文

摘要： 安装python3.6可能使用的依赖# yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel 下载python3.6编译安装到python官网下载https://www.pyt 阅读全文