摘要:一、文本的预处理 文本转数字列表 TensorFlow的Keras库有文本预处理功能。Tokenizer是一个用于向量化文本,或将文本转换为序列(即单词在字典中的下标构成的列表,从1算起)的类。如下面示例的: ['ha ha gua angry','howa ha gua excited naive 阅读全文
posted @ 2021-03-31 11:23 林丽 阅读(36) 评论(0) 推荐(0) 编辑
摘要:#1.数据导入hive表 导入opt目录下用户收视信息表.csv到hive的UserViewInfo表 建表sql命令 **注意如果是分号隔开,不能直接输入,要用转义字符** ``` create table UserViewInfo( TVID bigint, count_date string, 阅读全文
posted @ 2020-10-12 16:00 林丽 阅读(157) 评论(0) 推荐(1) 编辑
摘要:#1.虚拟机安装 1.下载VMware Workstation安装,下一步下一步安装 2.进入虚拟系统,上下左右键,skip跳过--》英文--》本地存储--》yes,格式化--》主机名:ry_master-->上海时区--》设置密码--》USE ALL SPACE-->写数据到磁盘--》minima 阅读全文
posted @ 2020-09-25 15:42 林丽 阅读(76) 评论(0) 推荐(0) 编辑
摘要:#1.配置Zookeeper 先Zookeeper配置 在要设置为zookeeper的各个节点 1.上传zookeeper-3.4.6.tar.gz安装包到slave1节点的/opt目录下 2.解压 tar -zxf /opt/zookeeper-3.4.6.tar.gz -C /usr/local 阅读全文
posted @ 2020-09-18 15:54 林丽 阅读(93) 评论(0) 推荐(1) 编辑
摘要:#1.centos7 安装mysql mysql安装 1.由于CentOS 的yum源中没有mysql,需要到mysql的官网下载yum repo配置文件。下载命令:wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noar 阅读全文
posted @ 2020-09-18 15:53 林丽 阅读(88) 评论(0) 推荐(1) 编辑
摘要:#1.scala在linux的配置 上传scala-2.11.5.tgz 到opt目录下,解压缩: tar -zxvf scala-2.11.5.tgz -C /usr/local/ 1.cd /usr/local/scala-2.11.5 2.vi /etc/profile 3.最后一行编辑 ex 阅读全文
posted @ 2020-09-18 09:54 林丽 阅读(211) 评论(0) 推荐(1) 编辑
摘要:#1.安装Eclipse EE版本 #2.配置Eclipse 配置Eclipse 将插件hadoop-eclipse-plugin-2.6.0jar拷贝到Eclipse安装目录下的dropins目录 启动Eclipse,增加Map/Reduce功能区 增加Hadoop集群的连接 导入MapReduc 阅读全文
posted @ 2020-09-14 23:51 林丽 阅读(161) 评论(0) 推荐(1) 编辑
摘要:#1.申请2-3台腾讯云服务器 安全组编辑规则,允许ALL。这样hadoop集群服务器才能访问。 #2.安装JDK服务器 jdk配置 **master,slave机器都要装jdk** -(1)上传JDK安装包到虚拟机/opt目录 -(2)进入/opt目录,执行命令“rpm -ivh jdk-8u15 阅读全文
posted @ 2020-09-10 15:33 林丽 阅读(190) 评论(0) 推荐(1) 编辑
摘要:这个作业属于哪个班级 数据结构--网络2011/2012 这个作业的地址 DS博客作业05--查找 这个作业的目标 学习查找的相关结构 姓名 ##0.PTA得分截图 查找题目集总得分,请截图,截图中必须有自己名字。题目至少完成总题数的2/3,否则本次作业最高分5分。没有全部做完扣1分。 #1.本周学 阅读全文
posted @ 2020-05-12 23:43 林丽 阅读(352) 评论(0) 推荐(0) 编辑
摘要:| 这个作业属于哪个班级 | 数据结构--网络2011/2012 | | | | | | 这个作业的地址 | DS博客作业04--图| | 这个作业的目标 | 学习图结构设计及相关算法 | | 姓名 | | ##0.PTA得分截图 图题目集总得分,请截图,截图中必须有自己名字。题目至少完成2/3,否 阅读全文
posted @ 2020-04-21 10:26 林丽 阅读(662) 评论(0) 推荐(0) 编辑