摘要:[toc] 一、人工神经网络 人工智能的主流研究方法是连接主义,通过人工构建神经网络的方式模拟人类智能。 人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型, 阅读全文
posted @ 2020-04-01 17:09 雪山飞猪 阅读 (151) 评论 (0) 编辑
摘要:[toc] 一、贝叶斯 简单地说,贝叶斯就是贝yes,见到贝克汉姆说了一句yes,研究的是这种概率事件。 开玩笑啦,贝叶斯原理是英国数学家托马斯·贝叶斯提出的,为了解决一个“逆概率”问题。 例如,一个男人发现了他老婆手机里有暧昧短信 ,计算他老婆出轨的概率。 现实生活中,我们很难知道事情的全貌,当不 阅读全文
posted @ 2020-03-30 15:21 雪山飞猪 阅读 (284) 评论 (2) 编辑
摘要:[toc] 一、什么是回归(Regression) 一说回归最先想到的是终结者那句:I'll be back regress,re表示back,gress等于go,数值 ,也就是 的意思 在数理统计中,回归是确定多种变量相互依赖的定量关系的方法 通俗理解:越来越接近期望值的过程,回归于事物的本质 二 阅读全文
posted @ 2020-03-29 17:50 雪山飞猪 阅读 (78) 评论 (0) 编辑
摘要:[toc] 一、机器学习是什么 机器学习是计算机基于数据构建 并运用模型对数据进行 的学科。 机器学习是专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。 机器学习是 的核心,从大量现象中提取反复出现的规律与模式,是使计算机具有智能的根本 阅读全文
posted @ 2020-03-28 13:17 雪山飞猪 阅读 (204) 评论 (2) 编辑
摘要:[toc] 一、人工智能是什么 1956年,一批有远见卓识的年轻科学家相聚在达特茅斯会议,提出了“人工智能”的概念,梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。 愿景是让具备抽象思考能力的程序解释合成的物质如何能够拥有人类心智。 理想的人工智能应该是具备抽象意义上的学 阅读全文
posted @ 2020-03-27 15:57 雪山飞猪 阅读 (244) 评论 (0) 编辑
摘要:[toc] 一、信息论 信息论处理的是客观世界中的不确定性。 通信的基本问题是在一点精确地或近似地复现在另一点所选取的消息。在生活中,信息的载体是消息。 不同的消息带来的信息在直观感觉上不是完全相同的,比如“马云获得奥赛健美冠军”比“施瓦辛格获得奥赛健美冠军”的信息要大得多。 因为前者是小概率事件, 阅读全文
posted @ 2020-03-26 21:52 雪山飞猪 阅读 (158) 评论 (0) 编辑
摘要:[toc] 前言 最优化理论研究的问题是判定给定目标函数的最大值(最小值)是否存在,并找到令目标函数取到最大值(最小值)的数值。 人工智能问题最后都会归结为一个优化问题的求解:在复杂环境与多体交互中做出最优决策。 最优化算法可能找到全局最小值,也可能找到局部最小值,理想情况下,最优化算法的目标就是找 阅读全文
posted @ 2020-03-25 15:50 雪山飞猪 阅读 (185) 评论 (2) 编辑
摘要:[toc] 一、线性代数 万事万物都可以被抽象成某些特征的组合,线性代数的本质是将具体事物抽象为数学对象,描述其静态和动态的特征。 常见概念 标量(scalar) 一个标量 a 可以是整数、实数或复数 向量(vector) 多个标量 a1,a2,⋯,an 按一定顺序组成一个序列。通常用一维数组表示, 阅读全文
posted @ 2020-03-24 11:45 雪山飞猪 阅读 (140) 评论 (0) 编辑
摘要:[toc] 前言 会打狗棒法的不一定是丐帮帮主,比如杨过。 不会打狗棒法的不一定就不能当丐帮帮主,比如乔峰。 架构设计不一定要有一个架构师的头衔,有架构师头衔的人不一定就懂架构,或者有机会真正参与架构设计。 对于程序员来说,即使没有架构师的title,我们也可以练好架构的功夫,只要武功高强,一样潇洒 阅读全文
posted @ 2020-03-23 10:54 雪山飞猪 阅读 (505) 评论 (6) 编辑
摘要:[toc] 一、什么是Logstash Logstash是一个日志收集器,可以理解为一个管道,或者中间件。 功能是从定义的输入源inputs读取信息,经过filters过滤器处理,输入到定义好的outputs输出源。 输入源可以是stdin、日志文件、数据库等,输出源可以是stdout、elesti 阅读全文
posted @ 2020-03-19 12:27 雪山飞猪 阅读 (347) 评论 (0) 编辑
摘要:[toc] 需求 添加open模块,路由规则和控制器能独立存放,最终可以通过 访问到 的控制器的方法 步骤 1.创建路由文件 routes文件夹创建open.php文件 代码如下 2.注册路由文件 将创建的open文件注册到App/Http/Providers/RouteServiceProvide 阅读全文
posted @ 2020-03-17 16:17 雪山飞猪 阅读 (40) 评论 (0) 编辑
摘要:[toc] 一、Kibana是什么 Kibana 是为 Elasticsearch设计的开源分析和可视化平台。你可以使用 Kibana 来搜索,查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化,以图表的形式展现出来。 使用前我们肯定需要先有Ela 阅读全文
posted @ 2020-03-16 13:25 雪山飞猪 阅读 (225) 评论 (0) 编辑
摘要:[toc] Lucene是目前最为流行的开源全文搜索引擎工具包,提供了完整的查询引擎和索引引擎,部分文本分析引擎。 我们平时使用kibana、阿里云的日志查询或者其他一些lucene二次开发的产品,几乎都支持lucene语法。 下面给大家演示各种查询方式,更多请参考 "Apache Lucene Q 阅读全文
posted @ 2020-03-16 06:57 雪山飞猪 阅读 (62) 评论 (0) 编辑
摘要:[toc] 前言 Elasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎,通过它我们可以构建出一个强大的全文搜索系统,解决诸如文章检索慢,商品检索慢、MySQL的like查询慢这样的问题。 Elasticsearch是基于hadoop创始人道哥的另一杰作Lucene实现的,速度非 阅读全文
posted @ 2020-03-15 15:00 雪山飞猪 阅读 (289) 评论 (0) 编辑
摘要:[toc] 前言 数据的搜索与查找是计算机软件的核心算法,对海量文档进行快速检索,主要使用的就是倒排索引技术。 可能有人会说,我们平时在MySQL已经可以直接使用like查询了,为啥还要认识叫倒排索引的东西? 我们用下面例子说明,假设有一本书,相应页码存储的文章内容如下 页码 | 内容 | | 1| 阅读全文
posted @ 2020-03-11 22:54 雪山飞猪 阅读 (244) 评论 (0) 编辑
摘要:[toc] 前言 这么多年,经历了这样的场景 大家都在说大数据,但说不出具体是什么 大家都在说微服务,但说不出具体是什么 大家都在说边缘计算,但说不出具体是什么 大家都在说架构,但说不出具体是什么 大家都在说AI,但说不出具体是什么 大家都在说中台,还是说不出具体是什么。 一个概念的出现背后其实是有 阅读全文
posted @ 2020-03-06 13:21 雪山飞猪 阅读 (729) 评论 (4) 编辑
摘要:[toc] 一、是什么Newman Newman就是纽曼手机这个经典牌子,哈哈,开玩笑啦。。。别当真,简单地说Newman就是命令行版的Postman,查看 "官网地址" 。 Newman可以使用Postman导出的collection文件直接在命令行运行,把Postman界面化运行的操作用命令行代 阅读全文
posted @ 2020-03-05 09:41 雪山飞猪 阅读 (342) 评论 (2) 编辑
摘要:[toc] 前言 什么是自动化测试 把人对软件的测试行为转化为由机器执行测试行为的一种实践。 例如GUI自动化测试,模拟人去操作软件界面,把人从简单重复的劳动中解放出来,如果不了解可以参考下这个例子: "Selenium实现微博自动化运营:关注、点赞、评论" 本质是用代码去测试另一段代码,属于一种软 阅读全文
posted @ 2020-03-04 18:50 雪山飞猪 阅读 (358) 评论 (4) 编辑
摘要:[toc] 一、gRPC是什么? gRPC,其实就是RPC框架的一种,前面带了一个g,代表是RPC中的大哥,龙头老大的意思,另外g也有global的意思,意思是全球化比较fashion,是一个高性能、开源和通用的 RPC 框架,面向服务端和移动端,基于 HTTP/2 设计。 RPC框架是什么? RP 阅读全文
posted @ 2020-03-02 12:06 雪山飞猪 阅读 (437) 评论 (0) 编辑
摘要:[toc] 一、需求 公司有一个比较坑爹的报销方案,需要根据一堆零碎的发票中,凑出一个目标金额,要求误差在1块钱以内。 例如:你有一堆发票[100, 101, 103, 105, 106, 132, 129, 292, 182, 188, 224.3, 40.5, 35.9, 32.5, 39, 1 阅读全文
posted @ 2020-02-28 23:53 雪山飞猪 阅读 (266) 评论 (0) 编辑
摘要:问题: 原因很明显,是因为go get是基于git的方式获取仓库的,然后默认用的是https的,被拒绝了,我们需要换成ssh的 解决 命令行替换 阅读全文
posted @ 2020-02-28 21:43 雪山飞猪 阅读 (62) 评论 (0) 编辑
摘要:[toc] 前言 我们平常玩游戏或者看电影的时候,会看到里面介绍各种人的能力指标,以百度百科提供的 "漫威人物能力数值" 为例,如下图 分别介绍了各个超级英雄的智力、力量、速度、耐力、能量发射、战斗技能。 但是吧,光是这样的表格,并不能很直观的看出英雄的能力,我们需要一个战斗力分布图。 话不多说,先 阅读全文
posted @ 2020-02-28 11:52 雪山飞猪 阅读 (762) 评论 (11) 编辑
摘要:[toc] 有时候我们需要直接将获取到的内容直接显示出来,如果再新建一个文件再打开未免太麻烦,jupyter提供了几种方式可以比较方便的渲染html 一、渲染文本 将htm网页内容到%%html后面,示例如下 二、渲染变量 例如我们经常通过requests抓取网页,可以直接渲染出抓取到的内容,例如通 阅读全文
posted @ 2020-02-27 17:53 雪山飞猪 阅读 (39) 评论 (0) 编辑
摘要:[toc] 查询背景 有一个表tmp_test_course大概有10万条记录,然后有个json字段叫outline,存了一对多关系(保存了多个编码,例如jy1577683381775) 我们需要在这10万条数据中检索特定类型的数据,目标总数据量: 条 SELECT COUNT( ) FROM tm 阅读全文
posted @ 2020-02-26 15:43 雪山飞猪 阅读 (614) 评论 (2) 编辑
摘要:[toc] 一、为什么要用全文索引 我们在用一个东西前,得知道为什么要用它,使用全文索引无非有以下原因 1. like查询太慢、json字段查询太慢(车太慢了) 2. 没时间引入ElasticSearch、Solr或者Sphinx这样的软件,或者根本就不会用(无法将五菱宏光换成兰博基尼,即使有兰博基 阅读全文
posted @ 2020-02-26 08:47 雪山飞猪 阅读 (310) 评论 (0) 编辑
摘要:[toc] 前言 Matplotlib是一个强大的可视化工具,是Python的绘图库,可与NumPy一起使用,提供了一种有效的MatLab开源替代方案,用来画图真的不要太香! 下面总结出常用的操作以及技巧,保证每个例子的代码都可以直接拿来运行。更多内容请查看 "官网" 一、如何添加标题 title 阅读全文
posted @ 2020-02-24 18:17 雪山飞猪 阅读 (246) 评论 (2) 编辑
摘要:[toc] 前言 Matplotlib的可以把很多张图画到一个显示界面,在作对比分析的时候非常有用。 对应的有plt的subplot和figure的add_subplo的方法,参数可以是一个三位数字(例如111),也可以是一个数组(例如[1,1,1]),3个数字分别代表 1. 子图总行数 2. 子图 阅读全文
posted @ 2020-02-23 23:14 雪山飞猪 阅读 (55) 评论 (0) 编辑
摘要:[toc] 一、不变的招式 虽然数据分析,数据挖掘,一说预测看起来高大上,但是其实是有套路的,预测的代码大致都长下面这个样子 套路说明: 1. 将已有的数据分成两部分,分别是训练集 (train_x,train_y)和测试集(test_x,test_y) 2. 每个集合都包含两部分数据,特征值x和结 阅读全文
posted @ 2020-02-17 17:53 雪山飞猪 阅读 (234) 评论 (0) 编辑
摘要:问题:matplotlib不能渲染中文 想设定为中文字体,网上搜索的方法几乎都是下面这样,已经把字体拷贝到了程序目录下了,然而并没有生效 解决 设置 和 下面是本人用的代码 阅读全文
posted @ 2020-02-16 17:02 雪山飞猪 阅读 (75) 评论 (0) 编辑
摘要:[toc] 前言 当我们想快速了解书籍、小说、电影剧本中的内容时,可以绘制 WordCloud 词云图,显示主要的关键词(高频词),可以非常直观地看到结果 核心代码 测试 ok,现在我们来传入一段文字,生成词云图片分析一下 运行结果如下 分析这张图片,不难看出:chenqionghe喜欢运动,有肌肉 阅读全文
posted @ 2020-02-15 17:53 雪山飞猪 阅读 (62) 评论 (0) 编辑
摘要:[toc] Selenium 是什么? Selenium是一个用于Web应用程序测试的工具,可以模拟真正的用户操作,支持多种浏览器,如Firefox,Safari,Google Chrome,Opera等。 Selenium 模拟的就是一个真实的用户的操作行为,我们完全不用担心 cookie 追踪和 阅读全文
posted @ 2020-02-15 12:49 雪山飞猪 阅读 (266) 评论 (0) 编辑
摘要:[toc] 算法分类 连接分析:PageRank 关联分析:Apriori 分类算法:C4.5,朴素贝叶斯,SVM,KNN,Adaboost,CART 聚类算法:K Means,EM 一、PageRank 当一篇论文被引用的次数越多,证明这篇论文的影响力越大。 一个网页的入链越多,入链越优质,网页的 阅读全文
posted @ 2020-02-12 23:55 雪山飞猪 阅读 (233) 评论 (0) 编辑
摘要:问题 mysql中的存的是Decimal类型,laravel取出来后却是string(换成float会解析为浮点型,但是不推荐,因为float本身就存在精度问题),如果每个查询数据库的地方都加个 明显反人类 解决:Eloquent指定$casts属性 比如有个字段叫money,数据库存的是decim 阅读全文
posted @ 2020-02-06 15:37 雪山飞猪 阅读 (50) 评论 (0) 编辑
摘要:以下默认所有的操作都先导入了numpy、pandas、matplotlib、seaborn "matplotlib官网" [toc] 一、折线图 折线图可以用来表示数据随着时间变化的趋势 Matplotlib Seaborn 二、直方图 直方图是比较常见的视图,它是把横坐标等分成了一定数量的小区间, 阅读全文
posted @ 2020-02-03 09:23 雪山飞猪 阅读 (302) 评论 (1) 编辑
摘要:[toc] 一、什么是商业智能 BI:Business Intelegence,商业智能,基于数据仓库,经过数据挖掘后,得到了商业价值的过程。例如利用数据预测用户购物行为属性商业智能 二、什么是数据仓库 DW:Data Warehouse,数据仓库,数据库的升级概念,一般量更庞大,将多个数据来源的数 阅读全文
posted @ 2020-02-02 16:53 雪山飞猪 阅读 (171) 评论 (0) 编辑
摘要:[toc] 一、时间序列是什么 时间序列在多个时间点观察或测量到的任何事物,很多都是固定频率出现 的,比如每15秒、每5分钟、每月。 padnas提供了一组标准的时间序列处理工具和数据算法,基本的时间序列类型是以时间戳为索引的Series。 当创建一个带有DatetimeIndex的Series时, 阅读全文
posted @ 2020-01-29 11:21 雪山飞猪 阅读 (145) 评论 (0) 编辑
摘要:[toc] 一、datetime生成 二、datetime转字符串 str 强转类型 strftime:根据传入格式 三、字符串转datetime strptime:解析已知格式的时间 dateutil.parse 可以解析几乎所有人类能够理解的日期表示形式 四、datetime时间差计算 time 阅读全文
posted @ 2020-01-27 00:02 雪山飞猪 阅读 (458) 评论 (0) 编辑
摘要:可以说merge包含了join操作,支持两个df间行方向或列方向的拼接操作,默认列拼接,取交集,而join只是简化了merge的行拼接的操作 示例 定义一个left的DataFrame 定义一个right的DataFrame 然后,我们使用merge通过索引合并这两个Dataframe,如下 然后, 阅读全文
posted @ 2020-01-23 22:07 雪山飞猪 阅读 (230) 评论 (0) 编辑
摘要:[toc] 什么是NumPy NumPy是Python科学计算的基础包,不仅是python中使用最多的第三方库,还是SciPy、Pandas等数据科学的基础库。所提供的结构比Python自身的更高级、更高效。 可以说,NumPy所提供的数据结果是Python数据分析的基础。 标准的Python用列表 阅读全文
posted @ 2020-01-21 17:49 雪山飞猪 阅读 (129) 评论 (0) 编辑
摘要:[toc] IPython是一个python的交互式shell,比python自带的shell好用得多,支持变量自动补全、自动缩进、直接运行shell命令、内置了许多很有用的功能和函数,让我们可以用更高的效率来使用python,同时也是利用Python进行科学计算和交互可视化的一个最佳的平台 一、显 阅读全文
posted @ 2020-01-21 11:29 雪山飞猪 阅读 (89) 评论 (0) 编辑