大数据 - 随笔分类 - 我是一个粉刷匠^~^

摘要：https://blog.csdn.net/cafuc46wingw/article/details/45482385 阅读全文

posted @ 2019-09-03 14:31 我是一个粉刷匠^~^ 阅读(141) 评论(0) 推荐(0)

摘要：scala> import spark.implicits._ scala> val sentenceData = spark.createDataFrame(Seq( | (0, "I heard about Spark and I love Spark"), | (0, "I wish Java 阅读全文

posted @ 2019-04-09 22:31 我是一个粉刷匠^~^ 阅读(369) 评论(0) 推荐(0)

java调用python

只有注册用户登录后才能阅读该文。

posted @ 2019-04-02 16:40 我是一个粉刷匠^~^ 阅读(3) 评论(0) 推荐(0)

文本查重以及写入到pdf中

只有注册用户登录后才能阅读该文。

posted @ 2019-04-01 21:15 我是一个粉刷匠^~^

python 中mysql数据库的读写

摘要：1.读取数据库 2.写入数据库阅读全文

posted @ 2019-04-01 19:03 我是一个粉刷匠^~^ 阅读(1032) 评论(0) 推荐(0)

提取关键字和摘要

摘要：这个提取关键字和摘要的代码是我网上借鉴别人的。提取关键字的过程是先切词，然后统计各个词语的频率。取出频率高于某一个数值的词语组成关键词。阅读全文

posted @ 2019-04-01 19:01 我是一个粉刷匠^~^ 阅读(1) 评论(0) 推荐(0)

读文档，写入数据库

摘要：先把word文档修改后缀改成.txt。然后观察每条数据的特征。用条件判断每条数据，然后写入数据库。阅读全文

posted @ 2019-04-01 18:54 我是一个粉刷匠^~^ 阅读(1) 评论(0) 推荐(0)

spark SQL编程

摘要：1.编程实现将 RDD 转换为 DataFrame源文件内容如下（包含 id,name,age）：请将数据复制保存到 Linux 系统中，命名为 employee.txt，实现从 RDD 转换得到DataFrame，并按“id:1,name:Ella,age:36”的格式打印出 DataFrame 阅读全文

posted @ 2019-03-26 22:28 我是一个粉刷匠^~^ 阅读(1984) 评论(0) 推荐(1)

启动Kafka

摘要：启动zookeeper 使用命令查看zookeeper是否启动成功：启动kafka Brokerr 使用命令查看kafka Broker是否启动更成功在kafka中创建topic 'test' bin/kafka-topics.sh --create --zookeeper localhost: 阅读全文

posted @ 2019-02-14 12:01 我是一个粉刷匠^~^ 阅读(1041) 评论(0) 推荐(0)

利用Flume将本地文件数据中收集到HDFS

摘要：1. 创建文件放入一个txt文件然后查看hdfs上的文件夹不知道为什么并没有出现本地的文件也不报错后来发现，没有在logs文件夹下面，在newlogs文件夹下面阅读全文

posted @ 2019-02-13 11:13 我是一个粉刷匠^~^ 阅读(676) 评论(0) 推荐(0)

安装并配置hive

摘要：教程：http://www.bubuko.com/infodetail-2523113.html 安装好mysql，然后进入mysql: 创建hive用户：给hive用户赋权：创建hive数据库，再将该数据库的全部权限赋值给hive用户启动hive 解决方法：两个log4j冲突了，使用hado 阅读全文

posted @ 2019-01-31 22:19 我是一个粉刷匠^~^ 阅读(235) 评论(0) 推荐(0)

信息领域热词分析系统--详细设计说明书

摘要：文档编号：文档编号： 1 引言 1.1 编写目的编写详细设计的目的是：在概要设计的基础上，完成系统划分模块及明确模块之间的关系，同时给出相应的用户界面设计。 1.2 适用对象及范围本设计说明书适用于参加本项目的所有管理人员、开发人员和维护人员。包括：项目经理、系统分析员、高级程序员、代码程序员阅读全文

posted @ 2019-01-20 12:29 我是一个粉刷匠^~^ 阅读(1241) 评论(0) 推荐(0)

信息领域热词分析系统--词云

摘要：词云搜索 typeIndex=null; ... 阅读全文

posted @ 2019-01-20 12:16 我是一个粉刷匠^~^ 阅读(718) 评论(0) 推荐(0)

信息领域热词分析系统--python统计

摘要：统计词语出现的频率，并且按从高到低的顺序报错在文件中阅读全文

posted @ 2019-01-20 12:11 我是一个粉刷匠^~^ 阅读(451) 评论(0) 推荐(0)

信息领域热词分析系统--python过滤

摘要：利用python过滤去没用的词语，过滤的词语存储在停用文件中。阅读全文

posted @ 2019-01-20 12:08 我是一个粉刷匠^~^ 阅读(600) 评论(0) 推荐(0)

信息领域热词分析系统--python切词

摘要：利用python将标题切割成词语阅读全文

posted @ 2019-01-20 12:06 我是一个粉刷匠^~^ 阅读(1039) 评论(0) 推荐(0)

linux中mysql,mongodb,redis,hbase数据库操作

摘要：1.实验内容与完成情况：（实验具体步骤和实验截图说明）（一） MySQL 数据库操作学生表 Student Name English Math Computer zhangsan 69 86 77 lisi 55 100 88 根据上面给出的 Student 表，在 MySQL 数据库中完成如下操作：（1）在 My... 阅读全文

posted @ 2019-01-20 11:59 我是一个粉刷匠^~^ 阅读(2928) 评论(0) 推荐(1)

hbase数据库操作

摘要：.实验内容与完成情况：（实验具体步骤和实验截图说明）（一）编程实现以下指定功能，并用 Hadoop 提供的 HBase Shell 命令完成相同任务：（1）列出 HBase 所有的表的相关信息，例如表名；列出所有数据表：列出表的结构查询表是否存在查询表是否可用 packagecn.wl.edu.hbase; import java.io.IOException; pub... 阅读全文

posted @ 2019-01-20 11:13 我是一个粉刷匠^~^ 阅读(4549) 评论(0) 推荐(0)

hdfs基本操作

摘要：（一）编程实现以下功能，并利用 Hadoop 提供的 Shell 命令完成相同任务：（1）向 HDFS 中上传任意文本文件，如果指定的文件在 HDFS 中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件；上传文件追加文件覆盖文件编程： package org.apache.hadoop.examples; import java.io.FileI... 阅读全文

posted @ 2019-01-20 10:54 我是一个粉刷匠^~^ 阅读(1829) 评论(0) 推荐(0)

mapreduce排序

摘要：源代码：排序结果：阅读全文

posted @ 2018-11-18 17:03 我是一个粉刷匠^~^ 阅读(226) 评论(0) 推荐(0)

呵呵^~^

随笔分类 - 大数据

公告