摘要: #1.安装djiango 先安装python解释器,注意勾选加入环境变量的配置 打开命令行, pip install django 找到django的安装目录:C:\Users\Administrator\AppData\Roaming\Python\Python38\Scripts;配置为环境变量 阅读全文
posted @ 2022-08-11 15:31 林老师dsc 阅读(532) 评论(0) 推荐(0) 编辑
摘要: #1.word2vec相关概念 单词转成词向量表示,便于神经网路模型的训练。单词转成数值表示后,更便于对单词做翻译、相似度计算、查找等。 Word2vec 本质上是一种降维操作——把词语从 one-hot encoder 形式的表示降维到 词向量 形式的表示。如: 公 [ 0.5 0.125 0.5 阅读全文
posted @ 2021-08-03 23:47 林老师dsc 阅读(341) 评论(0) 推荐(0) 编辑
摘要: 一、文本的预处理 文本转数字列表 TensorFlow的Keras库有文本预处理功能。Tokenizer是一个用于向量化文本,或将文本转换为序列(即单词在字典中的下标构成的列表,从1算起)的类。如下面示例的: ['ha ha gua angry','howa ha gua excited naive 阅读全文
posted @ 2021-03-31 11:23 林老师dsc 阅读(187) 评论(0) 推荐(0) 编辑
摘要: #1.数据导入hive表 导入opt目录下用户收视信息表.csv到hive的UserViewInfo表 建表sql命令 **注意如果是分号隔开,不能直接输入,要用转义字符** ``` create table UserViewInfo( TVID bigint, count_date string, 阅读全文
posted @ 2020-10-12 16:00 林老师dsc 阅读(546) 评论(0) 推荐(1) 编辑
摘要: #1.虚拟机安装 1.下载VMware Workstation安装,下一步下一步安装 2.进入虚拟系统,上下左右键,skip跳过--》英文--》本地存储--》yes,格式化--》主机名:ry_master-->上海时区--》设置密码--》USE ALL SPACE-->写数据到磁盘--》minima 阅读全文
posted @ 2020-09-25 15:42 林老师dsc 阅读(151) 评论(0) 推荐(0) 编辑
摘要: #1.配置Zookeeper 先Zookeeper配置 在要设置为zookeeper的各个节点 1.上传zookeeper-3.4.6.tar.gz安装包到slave1节点的/opt目录下 2.解压 tar -zxf /opt/zookeeper-3.4.6.tar.gz -C /usr/local 阅读全文
posted @ 2020-09-18 15:54 林老师dsc 阅读(160) 评论(0) 推荐(1) 编辑
摘要: #1.centos7 安装mysql mysql安装 1.由于CentOS 的yum源中没有mysql,需要到mysql的官网下载yum repo配置文件。下载命令:wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noar 阅读全文
posted @ 2020-09-18 15:53 林老师dsc 阅读(221) 评论(0) 推荐(1) 编辑
摘要: #1.scala在linux的配置 上传scala-2.11.5.tgz 到opt目录下,解压缩: tar -zxvf scala-2.11.5.tgz -C /usr/local/ 1.cd /usr/local/scala-2.11.5 2.vi /etc/profile 3.最后一行编辑 ex 阅读全文
posted @ 2020-09-18 09:54 林老师dsc 阅读(553) 评论(0) 推荐(1) 编辑
摘要: #1.安装Eclipse EE版本 #2.配置Eclipse 配置Eclipse 将插件hadoop-eclipse-plugin-2.6.0jar拷贝到Eclipse安装目录下的dropins目录 启动Eclipse,增加Map/Reduce功能区 增加Hadoop集群的连接 导入MapReduc 阅读全文
posted @ 2020-09-14 23:51 林老师dsc 阅读(371) 评论(0) 推荐(1) 编辑
摘要: #1.申请2-3台腾讯云服务器 安全组编辑规则,允许ALL。这样hadoop集群服务器才能访问。 #2.安装JDK服务器 jdk配置 **master,slave机器都要装jdk** -(1)上传JDK安装包到虚拟机/opt目录 -(2)进入/opt目录,执行命令“rpm -ivh jdk-8u15 阅读全文
posted @ 2020-09-10 15:33 林老师dsc 阅读(426) 评论(0) 推荐(1) 编辑