上一页 1 ··· 42 43 44 45 46 47 48 49 50 ··· 75 下一页
2021年1月18日
[大数据-数据集成] Apache Sqoop安装与运用
摘要： 1 文由 项目使用场景：OLTP Oracle 数据导入到 OLAP HIVE 2 Sqoop简述 Apache Sqoop(TM) 是一款开源的ETL工具，设计用于在 Apache Hadoop和结构化数据存储（如传统的关系数据库）之间高效传输批量数据，其可以将一个关系型数据库（例如 ： MySQ 阅读全文
posted @ 2021-01-18 20:28 千千寰宇 阅读(1230) 评论(2) 推荐(1)
[大数据] Hadoop常用命令合集
摘要： hadoop 查看hadoop版本 # hadoop version SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/sdp/2.6.0.0-1245/hadoop- 阅读全文
posted @ 2021-01-18 20:01 千千寰宇 阅读(204) 评论(0) 推荐(0)
[Windows]解决：windows连接远程桌面-出现身份验证错误，要求的函数不受支持（ CredSSP加密数据库修正）[转载]
摘要： 文由 需要在本地Windows系统电脑通过远程桌面(mstsc)另一台Windows服务器，将其内的数据拷贝过来。但却发生了这样的异常 解决方案 step1 Win+R step2 打开注册表: gpedit.msc step3 找到【CredSSP加密数据库修正】注册表的操作路径：计算机配置>>管 阅读全文
posted @ 2021-01-18 16:22 千千寰宇 阅读(688) 评论(0) 推荐(0)
2021年1月12日
[数据仓库] 数仓概念合集[转载]
摘要： 虽然作为数据分析或者商业分析师并不需要去做数据仓库，但在企业实际工作中，或多或少，还是需要接触或对接数仓部门，如提出需求、了解相关表的字段含义等，所以今天我们就简单说下数据分析师需要了解的 数据仓库基础知识。 1 维度建模理论与数仓分层思想 参考文献: 维度建模理论与数仓分层思想 - CSDN 1. 阅读全文
posted @ 2021-01-12 00:26 千千寰宇 阅读(645) 评论(0) 推荐(0)
2021年1月10日
[数据库] ORALCE之导入/导出数据
摘要： ORACLE数据导入/导出 工具介绍:EXP/IMP | EXPDP/IMPDP EXP和IMP是客户端工具程序，它们既可以在客户端使用，也可以在服务端使用。 EXPDP和IMPDP是服务端的工具程序，他们只能在ORACLE服务端使用，不能在客户端使用。 IMP只适用于EXP导出的文件，不适用于EX 阅读全文
posted @ 2021-01-10 22:39 千千寰宇 阅读(188) 评论(0) 推荐(0)
2021年1月9日
[Windows]BAT脚本自定义函数
摘要： 1 helloworld @echo off call :helloworld helloworld goto :EOF :helloworld setlocal echo %1 endlocal&goto :EOF 2 比较日期的自定义函数 @echo off @rem case1 @rem ca 阅读全文
posted @ 2021-01-09 18:14 千千寰宇 阅读(5197) 评论(0) 推荐(0)
2021年1月8日
[Linux]Linux执行sh脚本时，出现$‘\r‘: command not found（未找到命令）"错误的解决方案
摘要： 1 文由 为什么要把这么一个看似很简单的问题，还要以【转载】的方式专门用博客写出来？ 主要是在编写crontab的自动化定时脚本的过程中，发现是这个错导致的自动化脚本频繁执行异常时，已经花了好几个小时了，故欲以此博文长个记性！ 2021-01-08 执行1个自己编的定时脚本时，发现老报这个错： 20 阅读全文
posted @ 2021-01-08 23:26 千千寰宇 阅读(3434) 评论(1) 推荐(0)
[操作系统/网络]Windows安装Openssh(scp / ssh等)
摘要： 1 文由 由于项目有这么一个数据同步需求： 【业务建设系统方】在Linux上将Oracle的全量数据(.dmp文件)定时推送到**【大数据平台建设方】**中的一台Linux服务器上； 然后，**【大数据平台建设方】**再将dmp文件(通过sshpass和openssh的ssh/scp制作定时传输脚本 阅读全文
posted @ 2021-01-08 17:24 千千寰宇 阅读(7837) 评论(0) 推荐(1)
[Linux/CentOS]通过yum获取rpm安装包
摘要： 1 yum获取rpm安装包 有时候你需要一个软件包在离线linux系统上安装，如果自己找软件包麻烦，可以linux yum下载需要的软件包. 准备工作是找一台能够联网的linux，并准备好了yum及yum源，一般我们用我们的vmware linux虚拟机就可以了。 方式1：yum自带工具(目前自测不 阅读全文
posted @ 2021-01-08 13:34 千千寰宇 阅读(2635) 评论(0) 推荐(0)
2021年1月4日
[WEB]对于"Refused to execute script from 'http://xx.xx.xx/yy/zz.js' because its MIME type ('') is not executable, and strict MIME type checking is enabled."问题的解决办法
摘要： 1 文由 阶段一：对WEB服务器HTTP通信的header设置了安全头(X-Content-Options:nosniff) 两个月前协助交付侧大哥处理、修复一个三级等保项目的第三方安全公司释出的安全漏洞，其中有1个低危漏洞(如下图示)涉及到对HTTP的header设置安全头(X-Frame-Opt 阅读全文
posted @ 2021-01-04 22:58 千千寰宇 阅读(11797) 评论(0) 推荐(0)
2020年12月27日
[大数据]Hadoop HDFS文件系统命令集
摘要： 基本格式: hadoop fs -cmd [args] 1 Query 显示命令的帮助信息 # hadoop fs -help [cmd] 查看hadoop/hdfs的用户 # hdfs dfs -ls /user 更改hdfs的目录权限: hdfs dfs -chwon sdc /user/sdc 阅读全文
posted @ 2020-12-27 14:51 千千寰宇 阅读(683) 评论(0) 推荐(0)
2020年12月26日
[数据库] Oracle之数据迁移至HIVE（待续）
摘要： step1 导出csv数据，并 call sql_to_csv('select * from BE_JJZKJCQKTJ', 'OUT_PATH', 'DA.BE_JJZKJCQKTJ.csv'); // or python step2 删表，重新创表 或 清空表 sshpass -p 'hello 阅读全文
posted @ 2020-12-26 21:15 千千寰宇 阅读(664) 评论(0) 推荐(0)
2020年12月17日
[Java EE]解决浏览器跨域问题
摘要： 1 解决浏览器跨域问题的方案 方式1: 浏览器(chrome)中取消跨域限制 step1 浏览器 chrome://flags step2 搜索:same step3 将搜索结果中的3个插件[SameSite by default cookies / Enable removing SameSite 阅读全文
posted @ 2020-12-17 20:25 千千寰宇 阅读(219) 评论(0) 推荐(0)
2020年12月13日
[Linux]Xmanager+Xshell远程管理桌面版CentOS物理服务器的桌面版CentOS虚拟机
摘要： 1 需求/背景 在项目现场有这么一个情况，有1台Gnome版的CentOS的物理服务器，其内运行了2台通过vmware安装的Gnome桌面版的CentOS的虚拟服务器。 按照常规做法是： 将唯一的1台显示器的HDMI接口插到物理服务器上，再将键盘和鼠标亦插上物理服务器；然后，通过桌面版CentOS的 阅读全文
posted @ 2020-12-13 00:37 千千寰宇 阅读(826) 评论(0) 推荐(0)
2020年11月13日
[缓存] 缓存技术初探
摘要： # 1 背景 使用场景：计算或检索一个值的代价很高，并且对同样的输入需要不止一次获取值的时候，就应当考虑使用缓存。 高并发下，为提高 频繁 查询 大量 可能常用的 数据库数据的 查询效率。 大部分情况下，单机用**Google Guava(Cache/LoadCache) / ehcache**，分 阅读全文
posted @ 2020-11-13 01:38 千千寰宇 阅读(236) 评论(0) 推荐(0)
上一页 1 ··· 42 43 44 45 46 47 48 49 50 ··· 75 下一页