摘要：
当SSH 升级过程中 经常遇到 root登录不上去，因为 PermitRootLogin yes 为改 等原因 在升级之前先开启telnet服务 centos6.x 的 安装步骤 yum -y install telnet-server 或 用rpm -ivh安装 telnet-server-0.1 阅读全文
随笔档案-2018年03月
Hadoop 2.7.5命令 （1）
2018-03-20 14:49 by staryea-bigdata, 904 阅读, 收藏,
摘要：
概述： 文件系统（FS）shell包含各种类似shell的命令，可直接与Hadoop分布式文件系统（HDFS）以及Hadoop支持的其他文件系统（如Local FS，HFTP FS，S3 FS等）交互。FS外壳的调用方式如下： hadoop fs <args> hadoop fs <args> 所有 阅读全文
Hadoop的Archive归档命令使用指南
2018-03-19 16:49 by staryea-bigdata, 10082 阅读, 收藏,
摘要：
hadoop不适合小文件的存储，小文件本省就占用了很多的metadata，就会造成namenode越来越大。Hadoop Archives的出现视为了缓解大量小文件消耗namenode内存的问题。 采用ARCHIVE 不会减少 文件存储大小，只会压缩NAMENODE 的空间使用 Hadoop档案指南 阅读全文
Apache Hadoop 发展史
2018-03-19 14:21 by staryea-bigdata, 1226 阅读, 收藏,
摘要：
以下内容从Apache Hadoop官网翻译出来 官网地址 http://hadoop.apache.org/ 什么是Apache Hadoop？ 推荐使用 2.7.1 、2.7.3 Apache™Hadoop®项目为可靠的，可扩展的分布式计算开发开源软件。 Apache Hadoop软件库是一个框 阅读全文
HDFS配额管理（实战）
2018-03-15 15:20 by staryea-bigdata, 3827 阅读, 收藏,
摘要：
概述： Hadoop分布式文件系统(HDFS)允许管理员为使用的名称和单独目录使用的空间数量设置配额。名称配额和空间配额是独立运作的，但这两类配额的管理和实施是密切相关的。 Name Quotas： 名称配额对根目录下的树的文件和目录的数量进行严格的限制。 如果超出配额，文件和目录创建失败。配额不变 阅读全文
hive数据库的哪些函数操作是否走MR
2018-03-14 22:22 by staryea-bigdata, 2283 阅读, 收藏,
摘要：
平时我们用的HIVE 我们都知道 select * from table_name 不走MR 直接走HTTP hive 0.10.0为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by这样的，都不走map/reduce，直接读取hdfs文件进行filter过滤 阅读全文
oracle 裸设备划分 --centos6.5
2018-03-14 17:41 by staryea-bigdata, 1165 阅读, 收藏,
摘要：
主题思想：物理卷PV－>卷组VG－>逻辑卷LV（类型：raw）－>添加表空间 操作过程 vg_orcl 8g 一：划分 二：创建裸设备 方法1：目前最常用的方法 #cd /etc/udev/rules.d #配置裸设备的目录 vi 60-raw.rules 红色的是新增的 [root@cdn3 ru 阅读全文
redis3.0.7集群部署手册
2018-03-13 12:12 by staryea-bigdata, 687 阅读, 收藏,
摘要：
1.用root登录主机2.将redis-3.0.7.tar.gz传送到主机3.将rubygems-update-2.5.2.gem，redis-3.0.0.gem传送到主机4.解压redis-3.0.7.tar.gz5.make , make test, make MALLOC=libc , mak 阅读全文
Ambari大数据的管理利器
2018-03-08 13:11 by staryea-bigdata, 1421 阅读, 收藏,
摘要：
概述 一个完全开源的管理平台，用于供应，管理，监控和保护Apache Hadoop集群。Apache Ambari客户管理和操作Hadoop集群 Apache Ambari作为Hortonworks数据平台的一部分，允许企业规划，安装和安全配置HDP，无论群集的规模如何，都可以更轻松地提供持续的群集 阅读全文
Oracle闪回恢复
2018-03-07 16:54 by staryea-bigdata, 11203 阅读, 收藏,
摘要：
Oracle的闪回功能包括 1.闪回数据库(前提 归档模式下 启用闪回数据库) mount 下 alter database archivelog; alter database flashback on ;2.闪回回收站3.闪回表4.闪回查询 4.1 闪回查询表 SCN 时间 timestamp 阅读全文
Oracle数据文件丢失，数据库如何打开或恢复
2018-03-07 16:39 by staryea-bigdata, 3602 阅读, 收藏,
摘要：
（一）如果没有备份只能是删除这个数据文件了，会导致相应的数据丢失。SQL>startup mount--ARCHIVELOG模式命令SQL>Alter database datafile 'file name' offline;--NOARCHIVELOG模式命令SQL>Alter database 阅读全文
Mysql 忘记管理员密码更改
2018-03-07 12:53 by staryea-bigdata, 297 阅读, 收藏,
摘要：
对管理员设置密码 第一种方式： #mysqladmin -u root password 'new-password'; #mysqladmin -u root -h localhost password 'new-password'; mysql的选项可以不带空格，有时候带空格是错 第二种方式： 阅读全文
Mysql遇到 is marked as crashed and should be repaired 问题解决方法
2018-03-07 12:51 by staryea-bigdata, 309 阅读, 收藏,
摘要：
遇到 找到mysql的安装目录的bin/myisamchk工具，在命令行中输入： myisamchk -c -r /var/lib/mysql/ambari/alert_current.MYI 问题解决！ 阅读全文
centos7.2 配置内网ntp服务器进行时间同步
2018-03-07 10:40 by staryea-bigdata, 4495 阅读, 收藏,
摘要：
（一）修改/etc/ntp.conf 配置文件，注意红色部分，其他部分不需要改 #################################################################### # For more information about this file, s 阅读全文
linux 添加ftp用户与登录配置详解
2018-03-07 10:17 by staryea-bigdata, 70250 阅读, 收藏,
摘要：
不同类Unix有一定区别 版本不同也有些区别 在linux主机上如何添加ftp用户 （一）修改配置文件 vi /etc/vsftpd/vsftpd.conf 在96行,97,98行 96 chroot_local_user=YES --改为YES chroot_local_user=YES将所有用户 阅读全文
CentOS 静态IP分配，提示Error, some other host already uses address解决办法
2018-03-07 09:17 by staryea-bigdata, 4804 阅读, 收藏,
摘要：
（一）第一 修改 ifup-eth vi /etc/sysconfig/network-scripts/ifup-eth #if ! /sbin/arping -q -c 2 -w 3 -D -I ${REALDEVICE} ${ipaddr[$idx]} ; then #net_log $"Err 阅读全文
Oracle删除控制文件恢复
2018-03-07 09:11 by staryea-bigdata, 1874 阅读, 收藏,
摘要：
控制文件被删除后，系统崩溃，下面介绍下如何恢复控制文件 SQL> conn / as sysdbaConnected to an idle instance.SQL> startup nomount;ORA-27102: out of memoryLinux Error: 12: Cannot al 阅读全文
kerberos下JAVA代码操作hbase的方式（客户端方式，应用程序方式）
2018-03-07 09:07 by staryea-bigdata, 3392 阅读, 收藏,
摘要：
（一）如果部署JAVA 代码的主机用户获取了kerberos权限情况下 假设主机名是：client su - client 登录主机后 kinit -kt /keytab的路径/client.keytab client@STARYEA.COM 编写的java代码入下： public static v 阅读全文
hive java编写udf函数
2018-03-06 16:26 by staryea-bigdata, 2906 阅读, 收藏,
摘要：
(一）创建JAVA 代码--例子 package hiveOpt; import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text; public class splitMax extends UDF { publ 阅读全文
完全卸载hadoop安装的组件(hdp版本）
2018-03-06 15:09 by staryea-bigdata, 6211 阅读, 收藏,
摘要：
yum remove -y hadoop_* zookeeper* ranger* hbase_* ranger* hbase_* ambari-* hadoop_* zookeeper_* hbase* range* pig* hive* tez* mysql-* bigtop-* tuned-* 阅读全文
Linux tar包安装Nginx-1.7.6 (yum方式安装依赖)
2018-03-06 15:01 by staryea-bigdata, 2418 阅读, 收藏,
摘要：
1.首先安装依赖包（依赖包有点多，我们采用yum的方式来安装） yum -y install zlib zlib-devel openssl openssl-devel pcre pcre-devel 2.将nginx-1.7.6.tar.gz上传到/usr/local/下 tar -zxvf ng 阅读全文
误操作导致 lvdisplay 命令不存在解决
2018-03-06 14:57 by staryea-bigdata, 1365 阅读, 收藏,
摘要：
1.lvdisplay 命令不存在 查看lvm2 包被卸载2.执行 yum install lvm2 命令 发现 yum 被锁 3.删除yum.lock 发现/ 目录只读4.mount -o remount,rw / 发现找不到 /dev/mapper/vg_deepqa_lv_root 解决方法： 阅读全文
hadoop新增kerberos租户
2018-03-06 14:41 by staryea-bigdata, 1431 阅读, 收藏,
摘要：
第一步 在kerberos服务器所在主机 通过kadmin.local,也可以通过kadmin 输入用户密码登录 kadmin.local: addprinc -randkey it1@STARYEA.COM --新建的普通用户 或用下面的命令行建立 产生随机密码 第二步 导出keytab文件 ka 阅读全文
ambari下 hive metastore 启动失败
2018-03-06 14:29 by staryea-bigdata, 1328 阅读, 收藏,
摘要：
由字符集引起的hive 元数据进程启动失败 解决方法新增 这2句话 reload(sys)sys.setdefaultencoding('utf8') 阅读全文
在hive下使用dual伪表
2018-03-06 14:27 by staryea-bigdata, 2196 阅读, 收藏,
摘要：
[hive@nn1 ~]$ touch dual.txt[hive@nn1 ~]$ echo 'X' >dual.txt hive> load data local inpath '/home/hive/dual.txt' overwrite into table dual;hive> select 阅读全文
mariadb 压缩包gz安装方式
2018-03-06 14:20 by staryea-bigdata, 3046 阅读, 收藏,
摘要：
1.解压安装包tar -zxvf mariadb-5.5.56-linux-x86_64.tar.gz 2.cd support-filescp my-small.cnf /etc/my.cnf 2.修改配置文件[mysqld]port = 3306basedir = /home/marridb/m 阅读全文
linux下 mysql5.7.20安装（精华）
2018-03-06 14:17 by staryea-bigdata, 2152 阅读, 收藏,
摘要：
在linux 系统中mysql配置文件的读取顺序为: /etc/my.cnf /etc/mysql/my.cnf /usr/local/mysql/etc/my.cnf ~/.my.cnf 第一步 创建mysql用户groupadd mysqluseradd -g mysql -d /home/my 阅读全文
在开启kerberos 后，hbase存在数据命名空间的问题(解决方案）
2018-03-06 14:10 by staryea-bigdata, 1114 阅读, 收藏,
摘要：
用hbase的超级用户 su - hbasekinit -kt /etc/security/keytabs/hbase.headless.keytab hbase-bigdata@STARYEA.COM 进入后创建命名空间或数据库hbase(main):005:0> create_namespace 阅读全文
LINUX下解决TIME_WAIT等网络问题
2018-03-06 14:04 by staryea-bigdata, 777 阅读, 收藏,
摘要：
修改配置文件 /etc/sysctl.conf net.ipv4.tcp_tw_reuse = 1net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_fin_timeout = 30net.ipv4.tcp_keepalive_time = 1200 net.ipv4.i 阅读全文
常用Oracle进程资源查询语句（运维必看）
2018-03-06 13:59 by staryea-bigdata, 3000 阅读, 收藏,
摘要：
（一）根据程序名称查找相关信息select A.process,B.spid,A.sid,A.serial#,A.sql_address,A.username,A.program,A.status,A.machine,A.terminal,A.osuser from v$session A, v$p 阅读全文
linux 下oracle 11g静默安装（完整版）
2018-03-06 13:51 by staryea-bigdata, 2440 阅读, 收藏,
摘要：
1.操作系统及Oracle版本Linux版本：CentOS release 6.5Oracle版本：Oracle Database 11g Release 2 (11.2.0.1.0) for Linux x86-64 (linux.x64_11gR2_database_1of2.zip、linux 阅读全文
centos下 kerberos安装手册
2018-03-06 13:45 by staryea-bigdata, 4846 阅读, 收藏,
摘要：
（一）yum方式安装 安装krb的server 步骤一：yum install krb5-server 安装krb 的客户端yum install krb5-workstation krb5-libs krb5-auth-dialog （二）修改配置 修改三个配置文件#第一个文件，修改[realms 阅读全文
mount挂接命令使用
2018-03-06 13:38 by staryea-bigdata, 418 阅读, 收藏,
摘要：
挂接 操作系统 1.-t vfstype 指定文件系统的类型，通常不必指定。mount 会自动选择正确的类型。常用类型有： 光盘或光盘镜像：iso9660 DOS fat16文件系统：msdos Windows 9x fat32文件系统：vfat Windows NT ntfs文件系统：ntfs M 阅读全文
linux下主机用户管理（完整详情）
2018-03-06 13:33 by staryea-bigdata, 1215 阅读, 收藏,
摘要：
(一） 创建新用户 useradd命令（也可以使用adduser）用来创建新的用户帐号，其命令格式如下： 表4—19 useradd命令常用选项 常用现象意 义 -d设置新用户的登陆目录 -e设置新用户的停止日期，日期格式为MM/DD/YY -f帐户过期几日后永久停权。当值为0时帐号则立刻被停权。而 阅读全文
openssh/openssl升级到7.4和1.0.2j 源码方式
2018-03-06 13:27 by staryea-bigdata, 727 阅读, 收藏,
摘要：
tar -xvf openssh-7.4p1.tar.gztar -xvf openssl-1.0.2j.tar.gz 升级 openssl 到1.0.2jcd openssl-1.0.2j./config --prefix=/usr --shared zlibmake && make instal 阅读全文
centos6.5下 hdp-2.4.2安装
2018-03-06 13:18 by staryea-bigdata, 464 阅读, 收藏,
摘要：
（1）准备工作 /usr/sbin/sestatus -v getenforce1、/usr/sbin/sestatus -v ##如果SELinux status参数为enabled即为开启状态SELinux status: enabled2、getenforce ##也可以用这个命令检查关闭SE 阅读全文
浙公网安备 33010602011771号