随笔分类 - 日常
摘要：打开pycharm里面的json文件之后， 想要将其标准化，就直接使用快捷键： Ctrl+Alt+L即可； 效果如图所示： 意满离~~
阅读全文
摘要：dump dump是将json数据写进文件 dumps dumps是将字典类型的数据转换为字符串 如果不能区分好这两个函数，就很容易犯这个错误： TypeError: init() got an unexpected keyword argument 'fp' （别问我为啥知道奥~）
阅读全文
摘要：1、分析题目--同样是对页面的部分数据进行分析 2、编写url、user-agent等必要条件 参数params内容在负载里面就能看到啦！ 3、将得到的list_data写成json数据 4、查看执行结果 成功！
阅读全文
摘要：1、分析题目 我们想要分析的是，在我们输入文本框数据之后，刷新显现出来的数据文本，而不是上一篇的整个页面的数据，所以，我们在查看后台运行情况时，不必查看全部： 只需要查看其中的XHR部分即可： 2、找到部分页面数据对应的包 找了半天，可算是找到对应的上的了： （标头、负载、响应是否对应）； 3、然后
阅读全文
摘要：打开Pycharm 1、获取到网页的url 想要的是信息采集，query后面的参数留下，其余参数舍去： 也可以写为： 2、将url携带的参数封装到字典中（也就是对url携带参数的处理） 并将参数获取实现动态化： 3、发起请求--get 4、保存request.get内容 5、设置请求载体的身份标识-
阅读全文
摘要：1、新建一个名为file1.txt的txt文件存储数据 2、在sss数据库中新创建一个名为docs的表 create table if not exists docs(line string); 3、将file1.txt的数据导入到新创建的docs表中 load data local inpath
阅读全文
摘要：问题描述 今天再次打开虚拟机（之前交完作业之后，就不敢再打开了，害怕看到报错信息），打开hive之后，启用hive命令时，发现了这个问题； 问题解决 经查阅资料发现，原来是因为我再使用hive命令之前，没有开启metastore服务和hiveserver2服务，先开启了这两个服务，再进入hive里面
阅读全文
摘要：1、获取知乎网的url 2、检查后台--获取header信息 3、获取json数据 4、输出数据
阅读全文
摘要：发现一个问题，要是想要把网站中的数据提取出来之后， 变成json数据格式存储起来，就需要先把想要查看的关键信息用dict类型封装起来，然后才能转换成格式正确的json文件； 就比如这样： 妥妥的json数据格式欸！！！ 一个简单实例：
阅读全文
摘要：1、导入相关依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>had
阅读全文
摘要：前提是配置好hadoop的相关环境 1、分析网页，确定采集的数据 我们需要获取到该网页的如下几个信息： 请求信息： url——网站页面地址 设置这个请求的请求头： headers——（user-agent/referer/origin/cookie） 设置这个请求的传递数据： data——（firs
阅读全文
摘要：问题描述 具体来说，就是，连接上数据库之后，发现查询的sql语句能够正常在控制台输出数据，但是将sql语句的查询结果放到list里面， 在控制台输出的list=[null]； 真的崩溃了！！！ 之前从来没有遇到过这种情况； 尝试了网上的各种方法，也都解决不了，麻木ing~ 求解！
阅读全文
摘要：问题描述 不小心按到了这里： 导入依赖的文件这里就全面爆红了！！ 本来都要配置完成了，出现这个误操作，真的很崩心态！ 问题解决 这么操作： 文件目录-->Views-->Tool Windows-->Ant; 就能够打开Ant的相关界面； 然后右键选中想要操作的文件，选择Remove，就能解决啦！
阅读全文
摘要：问题描述 我是属于那种习惯了使用其他框架之后，且，好久没有写过javaweb了，就忘记了jsp/html前端界面通过WebServlet注解跳转到servlet的方法，就这么一个破问题！！！ 坑了我一下午！！ 问题解决 起初我还以为是servlet-api的依赖没有导入进去，发现早就在pom.xml
阅读全文
摘要：问题描述 我在执行增删改查时，查询完美，但是另外三个就比较让人无语了， 这里的m值=1（为后台控制台输出看到），界面也能够正常跳转，但是数据不发生任何改变； 问题解决 经过查阅资料发现，原来在hbase数据库里面，我们还需要在对数据表进行改变的同时，还需要加上这么一条语句，放在： int m=psm
阅读全文
摘要：1、首先要保证自己的phoenix已经下载，且能够正常运行 所谓正常运行，即能够正常地使用增删改查的相关操作，而不产生错误，比如不允许啥啥的情况； 2、注意phoenix的命令格式(需要保证表中必须有primary key) 增加/修改（在phoenix里面，这两种情况被合并了，若是primary
阅读全文
摘要：1、到zookeeper目录下 里面的conf目录下，有zkCli.sh文件，启动； 2、操作 ls / deleteall /hbase ls / 删除成功之后，使用quit退出命令； 3、重启hbase之后，启动phoenix(phoenix的bin目录下) sqlline.py 卡住问题解决！
阅读全文
摘要：1、下载hbase对应版本的安装包 之后将其上传到/export/server的目录下面； 2、使用解压命令对其进行解压 tar -zxvf phoenix-hbase-2.4-5.1.3-bin.tar.gz 3、将解压后的文件里面的所有的jar包复制到node1，node2，node3的lib目
阅读全文
摘要：问题描述 输入hadoop version命令显示JAVA_HOME没有配置，但是本机的jdk配置正常！ 问题解决 编辑hadoop/etc/hadoop目录下的hadoop-env.cmd文件： 将JAVA_HOME的值换成本机的绝对路径； 保存退出，再次尝试：
阅读全文
摘要：1、下载对应的hadoop的压缩包和winutils包 并将下载好的包解压到自己对应的目录下面； 2、添加环境变量 在系统变量那里新增hadoop的本机路径： 在系统变量的Path里面新增： (C:\Program Files\NVIDIA Corporation\Nsight Compute 20
阅读全文
浙公网安备 33010602011771号