大数据 - 随笔分类 - 201812

neo4j导入关系csv文件建立知识图谱

摘要：1. 启动 neo4j start 出现neo4j 不是内部或外部命令的问题解决方法：neo4j.bat不是内部或外部命令，也不是可运行的程序_neo4j.bat' 不是内部或外部命令,也不是可运行的程序或批处理文件。-CSDN博客我按照他的方法添加了一个用户变量就解决了。启动后，浏览器打开阅读全文

posted @ 2024-06-06 18:13 201812 阅读(401) 评论(0) 推荐(0)

neo4j下载安装

摘要：一、下载安装Neo4j JDK已下载好官网：Neo4j Deployment Center - Graph Database & Analytics 然后选择自己需要的的版本进行下载安装打开系统变量，新建系统变量点击Path，新建，输入 %NEO4J_HOME%\bin 测试是否设置成功，打阅读全文

posted @ 2024-06-04 18:38 201812 阅读(1278) 评论(1) 推荐(0)

实验2-鸢尾花实验

摘要：jupyter notebook下运行打开jupyter source activate myenv jupyter notebook --ip 0.0.0.0 --allow-root 将代码文件放入虚拟机中，然后用jupyter打开运行即可在pycharm运行 # 使用无监督聚类 k-mea 阅读全文

posted @ 2024-05-09 20:55 201812 阅读(95) 评论(0) 推荐(0)

实验1-波士顿房价预测

摘要：实验1-波士顿房价预测 1 from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge, LogisticRegression # from sklearn.datasets import load_boston fr 阅读全文

posted @ 2024-04-25 23:48 201812 阅读(57) 评论(0) 推荐(0)

大数据实验（MapReduce编程2）

摘要：代码参考： MapReduce实验 - CodeDancing - 博客园 (cnblogs.com) 编程实现总代码：编译工具：IDEA 说明： 1.完成不同的任务的时候，需要修改cmd的值 2.conf.set("fs.default.name","hdfs://node1:8020");换上阅读全文

posted @ 2023-12-05 19:04 201812 阅读(71) 评论(0) 推荐(0)

大数据实验(Mysql、hbase、redis、MongoDBjava客户端连接)

摘要：1.MySQL 启动：虚拟机输入mysql -u root -p 输入密码: hadoop（黑马的mysql密码是hadoop） pom.xml需要引入mysql <properties> <maven.compiler.source>8</maven.compiler.source> <maven 阅读全文

posted @ 2023-11-28 19:51 201812 阅读(173) 评论(0) 推荐(0)

大数据实验（HBase基础操作）

摘要：（一）Hadoop提供的HBase Shell命令完成任务要想将这些编码显示为中文，我们需要在get命令后添加一个属性：{FORMATTER => 'toString'} （1）列出hbase所有表信息（2）打印表的所有数据（3）添加、删除指定列族或列（4）清空指定表的数据(先禁用表在清空) 阅读全文

posted @ 2023-11-23 20:07 201812 阅读(90) 评论(0) 推荐(0)

大数据应用技术作业链接

摘要：NoSQL--MongoDB教程：https://dblab.xmu.edu.cn/blog/3980/ MapReduce词频统计：https://dblab.xmu.edu.cn/blog/2481/ HiveQL实现WordCount：https://dblab.xmu.edu.cn/blog 阅读全文

posted @ 2023-10-24 16:29 201812 阅读(19) 评论(0) 推荐(0)

hive大数据测试（时间数据清洗UDF打包到hive中调用自定义函数，hive表数据导出到本机）

摘要：1.数据清洗 pom依赖： <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <project.build.sourceEnco 阅读全文

posted @ 2023-10-13 20:33 201812 阅读(92) 评论(0) 推荐(0)

Hive学习4（ETL）

摘要：etl数据清洗：案例一需求1：对字段为空的不合法数据进行过滤 Where过滤需求2：通过时间字段构建天和小时字段 Substr函数需求3：从GPS的经纬度中提取经度和维度 Split函数需求4：将ETL以后的结果保存到一张新的Hive表中 Create table …… as select 阅读全文

posted @ 2023-09-26 21:47 201812 阅读(75) 评论(0) 推荐(0)

Exception in thread "main" org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)

摘要：我报错的原因很简单mapper的interface和xml文件名字不相同导致我的问题以及对应的解决 1.查看mapper的接口和xml文件名字是否相同更多解决办法：【报错解决】org.apache.ibatis.binding.BindingException: Invalid bound s 阅读全文

posted @ 2023-09-24 21:38 201812 阅读(157) 评论(0) 推荐(0)

Hive学习3（数据库操作DML、join、hive函数）

摘要：1.对数据库操作数据定义语言 (Data Definition Language, DDL)，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括database、table等。 DDL核心语法由CREATE、ALTER与DROP三个所组成。DDL并不涉及表内阅读全文

posted @ 2023-09-23 19:57 201812 阅读(37) 评论(0) 推荐(0)

Hive学习2（hive部署启动，DataGrip连接hiveserver2）

摘要：1.Hive部署： hive部署：09-Apache hive安装部署--与Hadoop整合、MySQL安装_哔哩哔哩_bilibili 10-Apache hive安装部署--配置文件修改编辑_哔哩哔哩_bilibili 2.Hive启动 hadoop启动后。 node1上： nohup /exp 阅读全文

posted @ 2023-09-23 16:59 201812 阅读(223) 评论(0) 推荐(0)

Hive学习1（数据仓库及Hive基础学习）

摘要：1.数据仓库 1.1什么是数据仓库数据仓库（Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。数据仓库本身并不“生产”任何数据，其数据来源于不同外部系统；同时数据仓库自身也不“消费”任何的数据，其结果开放给各个外部应用使用；数据仓库是为了分析数据的。关系型阅读全文

posted @ 2023-09-23 09:21 201812 阅读(67) 评论(0) 推荐(0)

HBase13(项目03phoenix视图JDBC开发）

摘要：1.phoenix视图建立当创建视图后，就可以使用SQL查询视图，和操作Table一样。 1.视图如何映射到HBase的表？视图的名字必须是：命名空间.表名 2.视图中的列如何映射到HBase的列族和列？列名必须是：列族.列名 3.视图中的类如何映射到HBase的ROWKEY？指定某个列为p 阅读全文

posted @ 2023-09-22 13:52 201812 阅读(54) 评论(0) 推荐(0)

HBase学习12（项目02数据随机生成后写入Hbase里面）

摘要：26~29 1.已完成创建hbase_shell目录用于存放hbase shell 脚本命名空间：MOMO_CHAT 表名：MSG 预分区6个，压缩方式'GZ' HBase学习11（项目01分析及准备） - 201812 - 博客园 (cnblogs.com) 2.导入pom依赖 <reposi 阅读全文

posted @ 2023-09-22 13:51 201812 阅读(49) 评论(0) 推荐(0)

HBase学习11（项目01分析及准备）

摘要：海量数据 1.准备在idea中创建项目，然后创建脚本包hbase_shell。添加文件说明readme.md，写入相关项目结构说明。通过复制hbase_shell文件目录，在VSCode中打开进行对脚本文件的编写。在VSCode中编写方便。 2.创建名称空间namespace 当表的数量比较阅读全文

posted @ 2023-09-22 13:48 201812 阅读(46) 评论(0) 推荐(0)

HBase（扫描HBase表的数据转化为对应的类Java代码）

摘要：Msg实体类 package com.xxxx.test01; public class Msg { private String name; private String bumen; private String address; private String diyu; private Str 阅读全文

posted @ 2023-09-21 16:19 201812 阅读(89) 评论(0) 推荐(0)

重定向和请求转发

摘要：servlet中请求转发（forword）与重定向（sendredirect） - 断弯刀 - 博客园 (cnblogs.com) 请求转发前后用的同一个request故可以传递一些session数据，地址栏不会发生变化，在jps页面也可以获取，而重定向不可以。 servlet传数据到jsp接受用请阅读全文

posted @ 2023-09-21 13:59 201812 阅读(14) 评论(0) 推荐(0)

java.lang.ClassNotFoundException

摘要：报错java.lang.ClassNotFoundException：XXXXXXXXXXX在过去的一个多星期中经常出现，我是一点头绪都没有，第一次学习这种hbase+idea连接，然后又连接phoenix等出现了各种各样的错误，各种各样的java.lang.ClassNotFoundExcept 阅读全文

posted @ 2023-09-21 02:16 201812 阅读(109) 评论(0) 推荐(0)

随笔分类 - 大数据