07 2020 档案

• docker 界面话管理工具Portainer
  摘要：1、环境：docker-desktop 2、docker已安装 3、安装Portainer ： 1、docker pull portainer/portainer2、docker run -d -p 19000:9000 -v //var/run/docker.sock:/var/run/docke 阅读全文
  posted @ 2020-07-30 11:51 bug_x 阅读(304) 评论(0) 推荐(0)
• 解决streamsets jdbc全量模式数据重复问题
  摘要：原文链接： https://anjia0532.github.io/2019/07/22/sdc-jdbc-full-mode/ 实际上在官方文档有讲 Full and Incremental Mode 主要看提示(Tip)部分，如果只想执行一次查询后就停止 pipeline，应该配置 origin 阅读全文
  posted @ 2020-07-29 00:20 bug_x 阅读(1244) 评论(0) 推荐(0)
• clickhouse 行列转换
  摘要：相关函数请参考官方网站：https://clickhouse.tech/docs/zh/sql-reference/functions/date-time-functions/行列转置一般由由行转为列，或者由列转为行。 CREATE TABLE datasets.t_city ( `province 阅读全文
  posted @ 2020-07-28 23:04 bug_x 阅读(9568) 评论(0) 推荐(0)
• clickHouse 常用命令
  摘要：客户端链接工具clickhouse-client -m -u root -p root --大小写敏感的CREATE TEMPORARY TABLE IF NOT EXISTS test.member_new_simple2 ENGINE = Memory AS SELECT ID,user_id, 阅读全文
  posted @ 2020-07-28 23:01 bug_x 阅读(7254) 评论(0) 推荐(0)
• mysqldump导出数据
  摘要：mysqldump可以选择使用多值插入打开或关闭。您可以根据自己的喜好执行以下任一操作： 每个值单独插入语句： mysqldump -t -h192.168.212.128 -P3306 --default-character-set=utf8 --skip-extended-insert -uro 阅读全文
  posted @ 2020-07-27 22:58 bug_x 阅读(306) 评论(0) 推荐(0)
• oracle 迁移到clickhouse 45亿条数据
  摘要：原文链接：http://www.520mwx.com/view/90469 45亿数据迁移记录 背景 数据库数据量日益增加，逐渐开始显得很是臃肿，日常查询统计的时候，仅仅是count(1) 查询下总数，耗费的时间也在500s左右，而且之前的orcle数据库，前期建立的时候，也未考虑太多，未进行索引， 阅读全文
  posted @ 2020-07-27 22:55 bug_x 阅读(4488) 评论(0) 推荐(0)
• clickHouse 导入/删除/更新数据
  摘要：1、 --导入数据： CREATE TABLE FactSaleOrders ENGINE = MergeTree ORDER BY OrderID AS SELECT * FROM mysql('10.42.134.136:4000', 'dbname', 'tableName', 'root', 阅读全文
  posted @ 2020-07-27 22:51 bug_x 阅读(8528) 评论(0) 推荐(1)
• clickhouse Mysql 数据类型对比
  摘要：ClickHouse MySQL Comment UInt8, UInt16, UInt32, UInt64 TINYINT UNSIGNED, SMALLINT UNSIGNED, INT UNSIGNED, BIGINT UNSIGNED Int8, Int16, Int32, Int64 TI 阅读全文
  posted @ 2020-07-27 22:39 bug_x 阅读(3958) 评论(0) 推荐(0)
• maven 的使用
  摘要：1、下载maven 包windows 并配置全局路径 http://maven.apache.org/download.cgi 2、在当前目录下创建pom.xml 执行命令： mvn dependency:copy-dependencies -DoutputDirectory=lib -Dinclu 阅读全文
  posted @ 2020-07-22 22:16 bug_x 阅读(112) 评论(0) 推荐(0)
• streamsets 同步Mysql 到clickhouse
  摘要：streamsets 官方：https://streamsets.com/ 1、docker安装 https://hub.docker.com/r/streamsets/datacollector docker run --restart on-failure -p 18630:18630 -d - 阅读全文
  posted @ 2020-07-22 16:38 bug_x 阅读(1898) 评论(0) 推荐(0)
• 025-大数据ETL工具之StreamSets安装及订阅mysql binlog
  摘要：025-大数据ETL工具之StreamSets安装及订阅mysql binlog 原文章来自：https://anjia0532.github.io/2019/06/10/cdh-streamsets/ 2019-06-10 这是坚持技术写作计划（含翻译）的第 25 篇，定个小目标 999，每周最少 阅读全文
  posted @ 2020-07-22 16:00 bug_x 阅读(1512) 评论(0) 推荐(0)
• clickhouse的可视化工具DEeaver
  摘要：1、DBeaver下载 DBeaver的官网 https://dbeaver.io/download/ 最新包2020-0722 链接: https://pan.baidu.com/s/1dg-RsQ8Y5gselaabgZs2Xw 提取码: 9sph 2、clickHouse 官方网站 https 阅读全文
  posted @ 2020-07-22 00:00 bug_x 阅读(4372) 评论(0) 推荐(0)