NLP 自然语言处理实战
摘要：
自然语言处理 ( Natural Language Processing, NLP) 是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，用于分析理解机器与人之间的交互，常用的领域有：实体识别、文本纠错、情感分析、文本分类、关键词提取、自动摘要提取等方面。本文将从分词、词频、词向量等基础领域开始讲解自然语言处理的原理，讲解 One-Hot、TF-IDF、PageRank 等算法及 LDA、LDiA、LSA 等语义分析的原理。介绍 Word2vec、GloVe 、Embedding 等常用词嵌入及 NLTK、Jieba 等分词工具的应用。 阅读全文
自然语言处理 ( Natural Language Processing, NLP) 是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，用于分析理解机器与人之间的交互，常用的领域有：实体识别、文本纠错、情感分析、文本分类、关键词提取、自动摘要提取等方面。本文将从分词、词频、词向量等基础领域开始讲解自然语言处理的原理，讲解 One-Hot、TF-IDF、PageRank 等算法及 LDA、LDiA、LSA 等语义分析的原理。介绍 Word2vec、GloVe 、Embedding 等常用词嵌入及 NLTK、Jieba 等分词工具的应用。 阅读全文
posted @ 2022-03-28 14:43 风尘浪子 阅读(2289) 评论(0) 推荐(0) 编辑
卷积神经网络 CNN（Convolutional Neural Networks，ConvNet）是一种特殊的深度学习神经网络，近年来在物体识别、图像重绘、视频分析等多个层面得到了广泛的应用。本文将介绍 CNN 卷积神经网络的基本原理和基础概念，卷积层与池化层的作用，并以常用的 VGG16 为例子，介绍常用模型的使用方式。把中间激活层输出图，滤波器，热力图等进行可视化分析，让大家进一步了解 CNN 的结构特征。 
主要介绍 KMeans、GMM 、Agglomerative 、DBSCAN 等模型的使用，KMeans 是最常用最简单的模型，它尝试根据 n_clusters 设置找到代表数据区域的簇中心。而 GMM 可以看成是升级版的 KMeans ,它会改 KMeans 模型簇边界的计算方式，把圆形改成椭圆形，让数据边界更明显。Agglomerative 则更类似于树模型，使用近邻合并的模型，把相近的数据点合并为簇。DBSCAN 是更智能化的模型，通过数据点的聚集程度判断簇中心，在没有设置固定 n_clusters 的情况下分配出符合实际情况的簇。 
pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。本章将以实例方式介绍 panads 库的一些常用方法MultiIndex、 loc、iloc等，还会讲解DataFrame的插入 insert、排序 sort、链接 merge、统计describe 、分组 groupby 等方法，希望对大家的开发有所帮助。 
本文会对最常用到的几款消息队列框架 ActiveMQ、RabbitMQ、Kafka 进行分析对比。介绍 RabbitMQ 在 Spring 框架下的结构及实现原理，从Producer 端的事务、回调函数（ConfirmCallback / ReturnCallback）到 Consumer 端的 MessageListenerContainer 信息接收容器进行详细的分析。介绍 RabbitTemplate、SimpleMessageListenerContainer、DirectMessageListenerContainer 等常用类型 
HBase（Hadoop Database）是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，典型的 NoSQL（Not Only SQL）数据库。本文主要向各位介绍 HBase 的发展历史，基础结构与原理，应用的场景，对常用的 JAVA API 操作进行梳理，对RowKey的设计展开讨论。在最后一节还会详细讲述 HBase 与 MR 之间关系，通过实用例子介绍TableMapReduceUtil，TableMapper，TableReducer等工具类的使用方法。在现今大数据年代，了解NoSQL的开发可以说是技术人员入门的必修课程，希望本文对各位 
本章主要介绍 MapReduce 的开发原理及应用场景，让大家初步认识 MapReduce 的使用方式，讲解如何利用 Combine、Partitioner、WritableComparable、WritableComparator 等组件对数据进行排序筛选聚合分组的功能。利用例子模仿 SQL 关系数据库进行SELECT、WHERE、GROUP、JOIN 等操作，并对 GroupingComparator、SortComparator 等功能进行说明。对多数据集的连接查询进行分析，介绍如何通过 Map 端与 Reduce 端对多数据集连接进行处理。 
在这篇文章里将为大家介绍数字证书的生成使用过程，以及对数据进行加密、解密、签名、验签的使用方式。非对称加密的情况下，在企业需要获取客户端数据时，可以把公钥向客户端公开，数据进行加密后，就算加密数据被涉取，在没有私钥的情况，数据内容都不会被破解，确保了数据的安全性。这时，只要企业保证私钥的保密前提下，一个公钥可以向多个客户端进行公开用作数据传输加密。而数字签名的应用场景有点相反，数字签名是企业为客户端确认数据来源的准确性而提供的服务。一般应用于政府机关、行政部门、金融行业、资讯行业等企业的数据发布上。数据都是由企业通过私钥进行签名，只要客户端拥有对应的公钥， 
Service 服务是 Android 系统最常用的四大部件之一，Android 支持 Service 服务的原因主要目的有两个，一是简化后台任务的实现，二是实现在同一台设备当中跨进程的远程信息通信。Service 服务主要分为 Local Service 本地服务与 Remote Service 远程服务两种，本地服务只支持同一进程内的应用程序进行访问，远程服务可通过AIDL技术支持跨进程访问,服务可以通过Context.startService()和Context.bindService()进行启动 
Cordova（PhoneGap） 采用HTML5+JavaScript混合模式来开发移动手机APP技术，它利用了CordovaPlugin 插件化（模块化）技术，使用不同插件对不同HTML5页面进行分别处理。与此同时，系统也可以利用插件调用系统已有的地图、通信录、浏览器等多个API，与 HTML5 页面进行信息交换，真正实现HTML5与Android、iOS系统的无缝对接。CordovaInterface 接口默认是由 CordovaInterfaceImpl 类实现的，当中包括了一个Activity对象。当打开APP时 Cordova 会默认启动此 Activity 以承载 Cordova 核 
本文主要介绍注册表的概念与其相关根项的功能，以及浏览器如何通过连接调用自定义协议并与客户端进行数据通信。文中讲及如何通过C#程序、手动修改、安装项目等不同方式对注册表进行修改。其中通过安装项目对注册表进行修改的情况最为常见，在一般的应用程序中都会涉及。
当中最为实用的例子将介绍如何通过"安装项目"修改注册表建立自定义协议，在页面通过ajax方式发送路径请求，并在回调函数中调用自定义协议。
最后一节还将介绍如何调用自定义协议去保持数据的保密性。 
负载均衡是指通过对系统负载情况进行动态调整，把负荷分摊到多个操作节点上执行，以减少系统中因各个节点负载不均衡所造成的影响。在Windows Server 2008 R2当中，存在着 “网络负载平衡” 功能 (简称 NLB, Network Load Balancing)，它以TCP/IP 为基础的服务，一个群集最多支持32台服务器。它能把请求自动转发到 NLB 群集上对各台服务器，实现管道化式管理，允许向 NLB 群集同时发送多个请求。支持多地址多端口管理，每台服务器可以绑定多个虚拟式 IP，每个虚拟 IP 可建立多个开放式端口。支持故障快速恢复功能，当服务器出现故障重 
Axis 全称 Apache EXtensible Interaction System , 它是一个 SOAP 引擎，提供创建 Web 服务的基本框架。Axis 1.x 是基于 JAX-RPC 而实现一个工具包，它可以使用 HTTP、JMS、SMTP 等多种传输方式支持 SOAP 。
Axis 2.x 是新一代的 Axis 引擎，它支持 JAX-WS、JAX-PRC 等 API，并且在Axis 1.x 的基础上增加了灵活数据绑定、异步调用等新增功能，可使用 SOAP 1.1 、SOAP 1.2 协议。在服务请求上，Axis 2.x 支持三种请求-响应模式：In-Only、Robust-In 