随笔分类 -  BigData

上一页 1 2 3 4 5 6 7 8 9 10 11 下一页
大数据基础之Kerberos（1）简介、安装、使用
摘要：kerberos5-1.17 官方：https://kerberos.org/ 一 简介 The Kerberos protocol is designed to provide reliable authentication over open and insecure networks wher 阅读全文
posted @ 2019-02-19 00:35 匠人先生 阅读(1283) 评论(0) 推荐(1)
大数据基础之Marathon（2）marathon-lb
摘要：marathon-lb 官方：https://github.com/mesosphere/marathon-lb 一 简介 Marathon load balancer (Marathon-LB) is a proxy server and load balancer for TCP, HTTP, 阅读全文
posted @ 2019-02-18 18:30 匠人先生 阅读(885) 评论(0) 推荐(1)
大叔经验分享（29）cdh5使用已存在的metastore数据库部署hive
摘要：cdh5.16.1使用的hive版本是hive-1.1.0+cdh5.16.1+1431，详见：https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_516. 阅读全文
posted @ 2019-02-17 12:56 匠人先生 阅读(1030) 评论(0) 推荐(1)
大数据基础之Mesos+Marathon+Docker部署nginx
摘要：一 安装 安装docker：https://www.cnblogs.com/barneywill/p/10343091.html安装mesos：https://www.cnblogs.com/barneywill/p/10324348.html安装marathon：https://www.cnblo 阅读全文
posted @ 2019-02-16 02:51 匠人先生 阅读(933) 评论(0) 推荐(1)
大数据基础之Marathon（1）简介、安装、使用
摘要：marathon 1.6.322 官方：https://mesosphere.github.io/marathon/ 一 简介 Marathon is a production-grade container orchestration platform for Mesosphere’s Datac 阅读全文
posted @ 2019-02-15 19:17 匠人先生 阅读(1500) 评论(0) 推荐(0)
大数据基础之CM5（Cloudera Manager）+CDH5离线安装
摘要：CM/CDH 5.16.1 CM官方：https://www.cloudera.com/products/product-components/cloudera-manager.html CDH官方：https://www.cloudera.com/products/open-source/apac 阅读全文
posted @ 2019-02-15 17:08 匠人先生 阅读(1730) 评论(0) 推荐(0)
运维基础之Docker（2）通过docker部署zookeeper nginx tomcat java redis kibana/elasticsearch/logstash mysql kafka mesos/marathon ftp git
摘要：通过docker可以从头开始构建集群，也可以将现有集群（配置以及数据）平滑的迁移到docker部署； 1 docker部署zookeeper # usermod -G docker zookeeper# mkdir /data# chown zookeeper.zookeeper /data# ec 阅读全文
posted @ 2019-02-14 16:00 匠人先生 阅读(654) 评论(0) 推荐(0)
大数据基础之ElasticSearch（3）升级
摘要：elasticsearch版本升级方案 常用的滚动升级过程（Rolling Upgrade）如下： $ curl -XPUT '$es_server:9200/_cluster/settings?pretty' -H 'Content-Type: application/json' -d '{"tr 阅读全文
posted @ 2019-02-14 01:45 匠人先生 阅读(458) 评论(0) 推荐(1)
运维基础之Docker（3）搭建私有仓库
摘要：下载并启动registry $ docker pull registry$ docker run --name my_registry -d -p 5000:5000 -v /var/lib/registry:/var/lib/registry registry 从官方仓库下载nginx并push到 阅读全文
posted @ 2019-02-13 01:56 匠人先生 阅读(375) 评论(0) 推荐(2)
大数据基础之Mesos（1）简介、安装、使用
摘要：Mesos 1.7.1 官方：http://mesos.apache.org/ 一 简介 Program against your datacenter like it’s a single pool of resources mesos使数据中心（庞大的服务器集群）看起来像是一个资源（CPU、内存 阅读全文
posted @ 2019-02-12 18:29 匠人先生 阅读(1322) 评论(0) 推荐(1)
运维基础之Docker（1）简介、安装、使用
摘要：docker 18.09 官方：https://docs.docker.com/ 一 简介 Docker is a platform for developers and sysadmins to develop, deploy, and run applications with containe 阅读全文
posted @ 2019-02-01 17:18 匠人先生 阅读(1203) 评论(0) 推荐(1)
大数据基础之Impala（2）实现细节
摘要：一 架构 Impala is a massively-parallel query execution engine, which runs on hundreds of machines in existing Hadoop clusters. It is decoupled from the u 阅读全文
posted @ 2019-01-30 17:38 匠人先生 阅读(2029) 评论(0) 推荐(1)
大数据基础之Ambari（5）通过Ambari部署Hue
摘要：ambari2.7.3（hdp3.1） 安装 hue4.2 ambari的hdp中原生不支持hue安装，下面介绍如何通过添加service的方式使ambari支持hue安装： 官方：http://gethue.com/ Hue is an open source Workbench for deve 阅读全文
posted @ 2019-01-29 12:01 匠人先生 阅读(3153) 评论(2) 推荐(0)
大叔经验分享（28）ELK分析nginx日志
摘要：提前安装好elk（elasticsearch、logstach、kibana） 一 启动logstash $LOGSTASH_HOME默认位于/usr/share/logstash或/opt/logstash 1 nginx日志使用默认格式 log_format main '$remote_addr 阅读全文
posted @ 2019-01-26 19:34 匠人先生 阅读(498) 评论(0) 推荐(1)
算法基础之Anaconda（1）简介、安装、使用
摘要：Anaconda 2 官方：https://www.anaconda.com/ 一 简介 The Most Popular Python Data Science Platform Anaconda® is a package manager, an environment manager, a P 阅读全文
posted @ 2019-01-26 18:23 匠人先生 阅读(618) 评论(0) 推荐(0)
大数据基础之Airflow（1）简介、安装、使用
摘要：airflow 1.10.0 官方：http://airflow.apache.org/ 一 简介 Airflow is a platform to programmatically author, schedule and monitor workflows. Use airflow to aut 阅读全文
posted @ 2019-01-26 17:26 匠人先生 阅读(4498) 评论(0) 推荐(0)
大叔问题定位分享（27）spark中rdd.cache
摘要：spark 2.1.1 spark应用中有一些task非常慢，持续10个小时，有一个task日志如下： 2019-01-24 21:38:56,024 [dispatcher-event-loop-22] INFO org.apache.spark.executor.CoarseGrainedExe 阅读全文
posted @ 2019-01-25 18:33 匠人先生 阅读(1721) 评论(0) 推荐(0)
大数据基础之Alluxio（1）简介、安装、使用
摘要：Alluxio 1.8.1 官方：http://www.alluxio.org/ 一 简介 Open Source Memory Speed Virtual Distributed StorageAlluxio, formerly Tachyon, enables any application t 阅读全文
posted @ 2019-01-23 15:08 匠人先生 阅读(4676) 评论(0) 推荐(0)
大数据基础之Flink（1）简介、安装、使用
摘要：Flink 1.7 官方：https://flink.apache.org/ 一 简介 Apache Flink is an open source platform for distributed stream and batch data processing. Flink’s core is 阅读全文
posted @ 2019-01-22 22:25 匠人先生 阅读(1489) 评论(0) 推荐(1)
大叔经验分享（26）hive通过外部表读写elasticsearch数据
摘要：hive通过外部表读写elasticsearch数据，和读写hbase数据差不多，差别是需要下载elasticsearch-hadoop-hive-6.6.2.jar，然后使用其中的EsStorageHandler； Connect the massive data storage and deep 阅读全文
posted @ 2019-01-21 20:54 匠人先生 阅读(3701) 评论(0) 推荐(1)

上一页 1 2 3 4 5 6 7 8 9 10 11 下一页