03 2018 档案
摘要：默认情况下，Docker守护进程会生成一个socket（/var/run/docker.sock）文件来进行本地进程通信，而不会监听任何端口，因此只能在本地使用docker客户端或者使用Docker API进行操作。 如果想在其他主机上操作Docker主机，就需要让Docker守护进程监听一个端口，
阅读全文
摘要：今天启动hbase shell，输入hbase命令时报错： ERROR [regionserver/regionserver1/172.18.0.61:16020] reggionserver.HRegionServer: Shutdown / close of WAL failed: org.ap
阅读全文
摘要：今天关闭HBase时，输入stop-hbase.sh一直处于等待状态 解决方法： 先输入：hbase-daemon.sh stop master 再输入：stop-hbase.sh就可以关闭HBase集群了。
阅读全文
HBase启动报错：ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
摘要：今天进入hbase shell中输入命令报错：ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet 原因是由于hadoop的安全模式打开了，解决方法： hdfs dfsad
阅读全文
摘要：解决方法：import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'输入1：显示所有信息 2：只显示warning和error 3：只显示error
阅读全文
摘要：1、设置jupyter notebook的密码： Jupyter-notebook password 2、查看jupyter notebook的token： Jupyter notebook list
阅读全文
摘要：执行命令：pip install --upgrade tensorflow 即可。
阅读全文
摘要：执行命令：pip install opencv-python即可
阅读全文
摘要：update-alternatives --install /usr/bin/python python /usr/bin/python2 100 update-alternatives --install /usr/bin/python python /usr/bin/python3 150 如果
阅读全文
摘要：1、使用pip安装Jupyter notebook： pip install jupyter notebook 2、创建Jupyter默认配置文件： jupyter notebook --generate-config 3、输入ipython，进入对话框： ipython 4、导入密码模块，设置密码
阅读全文
摘要：自己计算机里面共存了Python2和Python3，ipython作为试探性的REPL解释器使用的频率还是挺高的，分别在2和3下安装完ipython notebook后怎么分别使用这两种内核呢 按照默认的 jupyter notebook命令，只能运行一种内核，如Python2，想运行Python3
阅读全文
摘要：今天用pip安装skimage时报错： 这是因为网络的问题，需要使用国内的镜像源来加速,比如豆瓣源 命令改为： pip install scikit-image -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com 或者 p
阅读全文
摘要：虚拟机的显卡是虚拟的，不能使用CUDA（至少很难），搞了一天才晃过神来： lspci 查找目前主机的硬件配备 用 grep -i 进行大小写无关的搜索
阅读全文
摘要：方法一、通过 Dockerfile 构建 创建Dockerfile 首先，创建目录python,用于存放后面的相关东西。 myapp目录将映射为python容器配置的应用目录 进入创建的python目录，创建Dockerfile 通过Dockerfile创建一个镜像，替换成你自己的名字 创建完成后，
阅读全文
摘要：1，关于TensorFlow TensorFlow 随着AlphaGo的胜利也火了起来。 google又一次成为大家膜拜的大神了。google大神在引导这机器学习的方向。 同时docker 也是一个非常好的工具，大大的方便了开发环境的构建，之前需要配置安装。 看各种文档，现在只要一个 pull 一个
阅读全文
摘要：转载自：https://blog.csdn.net/refuil/article/details/52055104
阅读全文
摘要：1、talkingdata （数据平台） 2、明略数据（解决方案） 3、百融金服（金融大数据） 4、国双科技（营销大数据） 5、国信优易（媒体大数据） 6、百分点（营销大数据） 7、华院集团（解决方案） 8、个推（数据平台） 9、奥维云网（数据平台） 10、数梦工场（解决方案） 11、极光推送（营销
阅读全文
摘要：ORA-28000: the account is locked 第一步：使用PL/SQL，登录名为system,数据库名称不变，选择类型的时候把Normal修改为Sysdba;第二步：选择myjob,查看users;第三步：选择system,右击点击“编辑”；第四步：修改密码，把“帐户被锁住”的勾
阅读全文
摘要：一次连接数据库怎么也连接不上，查了多方面资料，终于找到答案，总结 首先应该保证数据库的服务启动 在myeclipse的数据库视图中点 右键->new 弹出database driver的窗口， Driver template选择oracle（thin driver）， Driver name 输入o
阅读全文
摘要：出现Cannot connect to the Docker daemon at unix:///var/run/docker.sock时，先用tail -5f /var/log/upstart/docker.log查看docker的日志，然后根据问题进行修改即可。
阅读全文
摘要：使用HiveServer2运行时，启动好HiveServer后运行 修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项 hadoop.proxyuser.root.hosts配置项名称中root部分为报错User:* 中的用户名部分 例如User: zhao
阅读全文
摘要：有时候，当我们使用“mysql”、“mysqladmin”、“mysqldump”等命令管理数据库时，服务器抛出类似如下错误： 一、错误现场还原：下面我们通过三种方式来连接，然后观察提示的错误信息： 1、直接使用“mysql”命令，不带主机名参数； 2、使用带了主机名“localhost”参数的“m
阅读全文
摘要：第一步： vim /etc/mysql/my.cnf找到bind-address = 127.0.0.1 注释掉这行，如：#bind-address = 127.0.0.1 或者改为： bind-address = 0.0.0.0 允许任意IP访问； 或者自己指定一个IP地址。 重启 MySQL：s
阅读全文
摘要：一直在尝试以官方CentOS镜像为基础，制作基于CentOS的MySQL镜像。但是制作后发现镜像大小已经超过1.5G，这对于一般的Docker镜像来说太臃肿了。Docker Hub官方提供的CentOS镜像才324MB。目前来说我还没有找到什么好的方法把我制作的镜像的体积减下来，所以就先使用官方的吧
阅读全文
摘要：Docker mysql 把数据存储在本地目录，很简单，只需要映射本地目录到容器即可 1、加上-v参数 还可以指定配置文件 这样，既可以修改配置文件，还能把数据存储在本地目录，一举两得，-v 参数可以多次使用，每次映射一个目录，通过这种方式，很容易进行配置。。
阅读全文
摘要：转载自：http://blog.csdn.net/Mungo/article/details/78521832?locationNum=9&fps=1 本文介绍如何使用docker迅速搭建MySQL的运行环境。 使用docker hub镜像 查找镜像 首先查找Docker Hub上的mysql镜像，
阅读全文
摘要：通过官方的文档可以看到运行MySQL容器的命令是： docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=mypwd -d mysql:tag 如：docker run --name mysqldb -e MYSQL_ROOT_PASSWORD=12
阅读全文
摘要：今天在进入hbase shell终端进行数据查询和添加时，发现输入的命令无法撤回，现将解决办法写下： 1.使用Ctrl + Backspace或Shift + Backspace组合键删除2.（SecureCRT）选项--会话选项--仿真--终端--选择Linux选项--会话选项--映射键--勾上：
阅读全文
摘要：今天在启动HBase时发现如下错误：/bin/java: No such file or directory6/bin/../bin/hbase: line 412: /usr/local/jdk1.8.0_152/bin/java，而在我的hbase-env.sh中又JAVA_HOME，路径也是正
阅读全文
摘要：一、安装和启动SSH协议 假设没有安装ssh和rsync，可以通过下面命令进行安装。 假设没有安装ssh和rsync，可以通过下面命令进行安装。 sudo apt-get install ssh 安装SSH协议 sudo apt-get install rsync service sshd rest
阅读全文
摘要：主从结构：HDFS、Yarn、HBase、storm、spark、zookeeper都存在单点故障问题 hadoop1.x没有解决方案 hadoop2.x利用zookeeper实现HA zookeeper是开源的分布式应用程序协调服务，是Google chubby的开源实现 zookeeper相当于
阅读全文
摘要：ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍Zo
阅读全文
摘要：转载自：https://www.cnblogs.com/S-tec-songjian/p/5740691.html Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YAR
阅读全文
摘要：一、HBase基本概念：列式数据库 在Hadoop生态体系结构中，HBase位于HDFS（Hadoop分布式文件系统）的上一层，不依赖于MapReduce，那么如果没有HBase这种Nosql数据库会有什么影响呢？传统的关系型数据库由于存储数据有限，且其分布式结构由于本身的特点导致节点数量最大不会超
阅读全文
摘要：一、背景： 随着互联网的发展、互联网用户的增加，互联网中的数据也急剧膨胀。每天产生的数据量数以万计，本地文件系统和单机CPU已无法满足存储和计算要求。Hadoop分布式文件系统(HDFS)是海量数据存储的重要技术，它将数据存储在多个从节点上，对这些节点的硬件资源进行统一管理与分配，并向客户端提供文件
阅读全文
摘要：Pig 一、Pig的介绍： Pig由Yahoo开发，主要应用于数据分析，Twitter公司大量使用Pig处理海量数据，Pig之所以是数据分析引擎，是因为Pig相当于一个翻译器，将PigLatin语句翻译成MapReduce程序（只有在执行dump和store命令时才会翻译成MapReduce程序），
阅读全文
摘要：一、Sqoop的简介： Sqoop是一个数据采集引擎/数据交换引擎，采集关系型数据库（RDBMS）中的数据，主要用于在RDBMS与HDFS/Hive/HBase之间进行数据传递，可以通过sqoop import命令将RDBMS中的数据导入到HDFS/Hive/HBase中，也可以通过sqoop ex
阅读全文
摘要：一、Flume的介绍： Flume由Cloudera公司开发，是一种提供高可用、高可靠、分布式海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于采集数据；同时，flume提供对数据进行简单处理，并写到各种数据接收方的能力，如果能用一句话概括Flume，那么Flume是
阅读全文
摘要：一、HDFS的由来： 本地系统：一个节点作为系统，以前数据是存放在本地文件系统上的，但本地文件系统存在两个问题：1、本地节点存储容量不够大；2、本地节点会坏，数据不够安全。这时，人们开始利用闲置的计算机组成了分布式系统，分布式系统是用计算机网络将多个节点联系起来组成一个逻辑上统一的系统。 分布式系统
阅读全文
摘要：一、spark SQL:类似于Hive，是一种数据分析引擎 什么是spark SQL？ spark SQL只能处理结构化数据 底层依赖RDD，把sql语句转换成一个个RDD，运行在不同的worker上 特点： 1、容易集成：SQL语句 2、对不同的数据源提供统一的访问方式：DataFrame 用Da
阅读全文
摘要：日常的大数据使用都是在服务器命令行中进行的，可视化功能仅仅依靠各个组件自带的web界面来实现，不同组件对应不同的端口号，如：HDFS(50070)，Yarn(8088),Hbase(16010)等等，而大数据的组件又有很多，为了解决某个问题，常常需要结合多个组件来使用，但是每个组件又有独立的web界
阅读全文
浙公网安备 33010602011771号