码农的日常

摘要： 在SpringMVC中用@RequestBody接收Json的问题，总是报415，经过一翻查找 前台js的post： 该有的都有 后台： 网上说需要加入 consumes = "application/json"，加了 还是一样报错，后面去掉后也没影响 springmvc的配置文件中有：<mvc:a 阅读全文

摘要： Elasticsearch默认提供的分词器，会把每个汉字分开，而不是我们想要的根据关键词来分词，我是中国人 不能简单的分成一个个字，我们更希望 “中国人”，“中国”，“我”这样的分词，这样我们就需要安装中文分词插件，ik就是实现这个功能的。 elasticsearch-analysis-ik 是一款 阅读全文

摘要： 在如何开发自己的搜索帝国之Elasticsearch中已经介绍安装好了ES，下面就Kibana对ES的查询监控作介绍，就是常提到的大数据日志处理组件ELK里的K。 什么是Kibana?现引用园友的一段对此的介绍，个人觉得比较全。 Kibana是一个针对Elasticsearch的开源分析及可视化平台 阅读全文

摘要： 搜索引擎是什么? 搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。 Elasticsearc 阅读全文

摘要： 一般在KafKa消费程序中消费可以设置多个主题，那在同一程序中需要向KafKa发送不同主题的消息，如异常需要发到异常主题，正常的发送到正常的主题，这时候就需要实例化多个主题，然后逐个发送。 在NET中用RdKafka组件来做消息处理，在Nuget中引用。 在程序中初始化Producer，并创建多个T 阅读全文

摘要： 在Net中VS2015用RdKafka组件开发消息发布和消费，引发下面的异常 RdKafka.Internal.LibRdKafka 的类型初始值设定项引发异常System.TypeInitializationException: “RdKafka.Internal.LibRdKafka”的类型初始 阅读全文

摘要： 前面介绍了sqoop1.4.6的 如何将mysql数据导入Hadoop之Sqoop安装，下面就介绍两者间的数据互通的简单使用命令。 显示mysql数据库的信息，一般sqoop安装测试用 显示数据库里所有表: mysql导入到hdfs中 sqoop ##sqoop命令import ##表示导入--co 阅读全文

摘要： Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库 阅读全文

摘要： 这里主要介绍几种常见的日志的source来源，包括监控文件型，监控文件内容增量，TCP和HTTP。 Spool类型 用于监控指定目录内数据变更，若有新文件，则将新文件内数据读取上传 在教你一步搭建Flume分布式日志系统最后有介绍此案例 Exec EXEC执行一个给定的命令获得输出的源,如果要使用t 阅读全文

摘要： 在前篇几十条业务线日志系统如何收集处理？中已经介绍了Flume的众多应用场景，那此篇中先介绍如何搭建单机版日志系统。 环境 CentOS7.0 Java1.8 下载 官网下载 http://flume.apache.org/download.html 当前最新版 apache-flume-1.7.0 阅读全文