06 2015 档案

搜索广告与广告网络Demand技术-搜索广告
摘要：搜索广告搜索广告就是一个典型的Ad Network，但是搜索广告非常重要，它的收入非常高，所以它有其独特之处，复杂度也比展示广告要高。它与展示广告在点击率预测，检索部分差不多，它的特点：1.用户定向标签f(u)：远远弱于上下文影响，一般可以忽略，但是因为搜索广告中query的信息已经很强了，用que... 阅读全文
posted @ 2015-06-30 16:30 94julia 阅读(398) 评论(0) 推荐(0)
搜索广告与广告网络Demand技术-探索与利用
摘要：探索与利用(Explore and exploit)点击率预测中还有一个重要的问题，就是探索与利用，它在工程中解决的并不好，我这章把现在论文中的常见的几种方法介绍一下。探索与利用它是所有互联网应用都要面对的一个问题，形式化一些，可以解释为：整体的效果是无法通过采样得到的，因为观察到的数据只是投放过的... 阅读全文
posted @ 2015-06-30 16:29 94julia 阅读(455) 评论(0) 推荐(0)
竞价广告系统-动态特征
摘要：动态特征特征对点击率预测有多种选择的方法，我们现在有三个轴，有ad，user，context。User上有很多标签，cookie，age，gender是从定向信息中得到的，url上有一些域名和分析得到的topic，ad上有层次的category，advertiser，campaign，solutio... 阅读全文
posted @ 2015-06-30 16:26 94julia 阅读(952) 评论(0) 推荐(0)
竞价广告系统-逻辑回归优化方法-L-BFGS
摘要：逻辑回归优化方法-L-BFGS逻辑回归的优化方法是一个经典的问题，如果我们把它视为一个最大熵模型，那么我们知道最早的优化方法是IIS，这个方法就不细讲了，因为它速度很慢。后来发现在最优化领域中非常常用的l-BFGS方法对于Logistic Regression的收敛速度优化是不错的。l-BFGS方法... 阅读全文
posted @ 2015-06-30 16:25 94julia 阅读(1591) 评论(0) 推荐(0)
竞价广告系统-点击率预测和逻辑回归
摘要：点击率预测和逻辑回归点击率预测从广告索引中我们得到很多的广告候选，这些广告从逻辑上都满足广告主的定向条件，即广告主定向条件的DNF范式，在竞价广告系统中，我们要选择一个最优的方案，最优的广告投送出来，一般最优的广告是通过eCpm进行排序，用广义第二高价进行排序，进行收费的模式。在CPC环境中eCpm... 阅读全文
posted @ 2015-06-30 14:00 94julia 阅读(1876) 评论(0) 推荐(0)
竞价广告系统-ZooKeeper介绍
摘要：ZooKeeper介绍为了讲述的完整性，介绍一下ZooKeeper。ZooKeeper在Index和Ad Server里使用比较多，虽然它可能没有google的Chubby好，但它是开源的工具。举一个使用场景，比如我们有很多台Index，或者有很多台Ad Server，其中有一些机器崩溃了，或是有一... 阅读全文
posted @ 2015-06-30 13:53 94julia 阅读(466) 评论(0) 推荐(0)
竞价广告系统-流量预测
摘要：流量预测在前面合约式广告中提到过合约式广告中有三个基本技术，1.受众定向，2.点击预测，3.流量预测。在这三个技术基础上才可以做Online Allocation，本节主要介绍流量预测。在定向条件分的比较粗的情况下，流量预测是比较简单的，比如只对人群分了几十个类，那么只需要进行简单的统计就可以进行流... 阅读全文
posted @ 2015-06-30 13:50 94julia 阅读(1807) 评论(0) 推荐(2)
竞价广告系统-广告检索
摘要：广告检索在前面谈到合约式广告时没有讨论广告检索的问题，虽然合约式广告也有检索的问题，但合约式广告一般数量非常小，只有千的级别，不需要特别的检索技术。但在广告网络中，比如google的广告数在百万级别。广告的检索问题有其独特的地方，下面我们讨论两点。1.布尔表达式检索，2.长Query，它在上下文广告... 阅读全文
posted @ 2015-06-30 13:46 94julia 阅读(1420) 评论(0) 推荐(0)
竞价广告系统-广告网络
摘要：广告网络广告网络(Ad Network)在竞价机制下，主流的广告市场形态是广告网络，解释一下，广告网络在竞价机制下这个说法并不准确，因为广告网络是一个很庞杂的概念，有按CPD（按天付费）广告，还有合约式广告等等，我这里我们暂时只关注竞价机制下的广告网络。Wiki中对广告网络的定义，Connects ... 阅读全文
posted @ 2015-06-30 13:44 94julia 阅读(801) 评论(0) 推荐(0)
竞价广告系统-位置拍卖理论
摘要：位置拍卖理论竞价系统理论竞价广告是在线广告发展的一个里程碑，竞价广告不能认为是从合约式广告发展而来的，竞价广告的发展是独立的，它是在Targeting技术发展到一定程度后，必然的一个选择，比如Bluekai加工的标签非常细，非常多，它已经无法按标签分别签合约了，那么只能让广告主自己去选择标签购买，但... 阅读全文
posted @ 2015-06-30 12:08 94julia 阅读(1306) 评论(0) 推荐(0)
受众定向-数据加工和交易
摘要：数据加工和交易因为有受众定向，CTR会提高，那么就产生了市场价值，所以市场就产生了数据的加工和交易。一些公司有数据，但它们不一定能数据变现的能力，也不一定对数据变现的业务有接口，那么就会产生数据的交易。精准广告业务是什么？精准广告业务可以类比于提炼汽油的过程。炼油第一步是从油田中抽取原油，原油在炼油... 阅读全文
posted @ 2015-06-30 12:02 94julia 阅读(489) 评论(0) 推荐(0)
受众定向-Topic Model
摘要：注：这一节我忽略，如果今后有时候，我会整理一份Topic Model的资料来说明，因为原课程中面向的是可能本来就熟悉Topic Model的听众，讲这课只是举个例子，带大家复习一下，所以即使整理出来，意义也不大。最主要的一个原因是原PPT中没有Topic Model的公式，我认为离开了公式，真的无法... 阅读全文
posted @ 2015-06-30 12:00 94julia 阅读(303) 评论(0) 推荐(0)
受众定向-上下文定向
摘要：上下文定向它是f(c)的标签，它与行为定向相似，也是对用户打标签，但它所打的是一个即时标签，但实现它的系统，是不可能做到实时的，我称它为一个Near-line的系统，意思是接近实时的系统。要对上下文打标签，需要一个Key是URL，Value是特征的Cache。广告投放系统就通过URL从这个Cache... 阅读全文
posted @ 2015-06-30 11:58 94julia 阅读(870) 评论(0) 推荐(0)
受众定向-行为定向
摘要：行为定向行为定向（Behavioral Targeting）行为定向是前节所前到的f(u)的定向方式，它是对user打标签。用户的哪些行为可以对行为定向有贡献，业界也有一些讨论，我这里列出是的九种类型（按信息强度排序）：1. Transaction，交易行为，对效果广告来说它是最强的信号，这也就是淘... 阅读全文
posted @ 2015-06-30 11:49 94julia 阅读(1723) 评论(0) 推荐(0)
受众定向-受众定向概念
摘要：受众定向概念中国互联网用户桌面受众定向是指按人群来划分对广告的售卖和优化，它是在线广告中最核心的部分。受众定向是在线广告区别于线下广告最本质的部分。这是我前两天打开计算机后，离开之后，回来之后我把广告拉开后桌面的样子。可以看到广告已经完全占据了我的桌面。我举这个例子是想说：在中国无论广告还是内容都是... 阅读全文
posted @ 2015-06-30 11:46 94julia 阅读(2117) 评论(0) 推荐(0)
合约广告系统-Hadoop
摘要：HadoopHadoop概况Hadoop由Apache Software Foundation公司于2005年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由Google Lab开发的Map/Reduce和Google File System(GFS)的启发。Yahoo!是最主要... 阅读全文
posted @ 2015-06-30 11:33 94julia 阅读(640) 评论(0) 推荐(0)
合约广告系统-在线分配问题
摘要：在线分配（Online Allocation）问题在线分配问题前面提到过广告是三方博弈，用户，广告主，媒体之间的博弈，而推荐系统是用户与媒体的博弈。它们之间的区别其一是广告主通媒体reach用户是有量的需求的，推荐系统是自己把内容推给用户，不见得有明显的量的需求。广告的量的需求体现在两个方面，一种是... 阅读全文
posted @ 2015-06-30 11:10 94julia 阅读(2321) 评论(0) 推荐(0)
合约广告系统-合约广告系统
摘要：合约广告系统直接媒体购买合约广告英文是Agreement-based Advertising，它是一种基于合约(Agreement)的商业模式，大家会看到它与后面的Network和Exchange有相当大的不同，我们当前最主要的是把合约广告要解决的问题理解清楚，具体的技术可以再理解。传统的广告媒体购... 阅读全文
posted @ 2015-06-29 18:15 94julia 阅读(1631) 评论(0) 推荐(0)
合约广告系统-常用广告系统开源工具
摘要：常用广告系统开源工具常用广告系统开源工具是否可以用开源工具快速地搭建广告系统？可以肯定的说，基本是可以的。很多重要的模块，如上章所讲的architecture里的模块很多都可以借助开源工具实现。在实际的广告系统中我们会用到很多的开源工具。下面我将分别讲述几个开源开具。基本上所有的大的广告系统公司都要... 阅读全文
posted @ 2015-06-29 18:14 94julia 阅读(2334) 评论(0) 推荐(0)
广告基本知识-在线广告系统
摘要：在线广告系统下图是广告系统的一个概念图，请大家不要误解成是实际的架构图。搭建一个广告系统有以下几个重要组成部分：1.高并发的投送系统，即在线的AdServer，它通过请求中的user和context信息来决定展示哪些ads。它的特点是高并发，要做到10ms级别的实时决策，百亿次/天的广告投放系统。2... 阅读全文
posted @ 2015-06-29 18:12 94julia 阅读(747) 评论(0) 推荐(0)
广告基本知识-ROI分解
摘要：任何一个在线广告系统，都面临ROI的问题，对于Invest，我们先不考虑，因为对于流量有多种方式可以买回，也无法优化（当然在RTB的时候是可以优化的）。Return是主要优化的方向，Return=点击率*每次点击创造的价值。比如：点击率是10%，每次点击带来的收益是5元，则每次点击的收益是10% *... 阅读全文
posted @ 2015-06-29 18:09 94julia 阅读(560) 评论(0) 推荐(0)
广告基本知识-搜索，广告与推荐的比较
摘要：搜索，广告与推荐的比较搜索搜索广告显示广告推荐首要准则相关性投资回报率(ROI)用户兴趣其他需求各垂直领域独立定义质量，安全性(Safety)多样性(diversity),新鲜度(freshness)索引规模~十亿级~百万级--千万级~百万级~百万级--亿级个性化较少的个性化需求~亿级用户规模上的个... 阅读全文
posted @ 2015-06-29 18:07 94julia 阅读(795) 评论(0) 推荐(0)
广告基本知识-在线广告的核心计算问题和挑战
摘要：在线广告的核心计算问题和挑战广告中的计算问题可以概括为下面的公式（Find the best match between a given useru, in a given contextc, and a suitable ada）。下面公式中a表示Sponsor（advertiser），c表示媒体... 阅读全文
posted @ 2015-06-29 18:02 94julia 阅读(485) 评论(0) 推荐(0)
广告基本知识-在线广告的市场
摘要：在线广告的市场下图是几年前的图了，它放到今天已经有一些不准确了，所以在后面我们讨论商品形态和产品的时候，会对它有一些微调。图中清楚地揭示了广告发展的几个阶段，越靠左的部分越接近于需求方（demand），越靠右的部分越接近于供给方（supply）。需求方一般可以认为是广告主，但准确地讲，它还包括了代表... 阅读全文
posted @ 2015-06-29 18:00 94julia 阅读(478) 评论(0) 推荐(0)
广告基本知识-在线广告的特点
摘要：在线广告的特点在线广告的独特性技术和计算导向在线广告和线下广告产品运行的形态有很大不同，在线广告一直在被技术和产品驱动，与之相对的线下广告是被创意和客户关系驱动。数字媒体的特点使在线广告可以进行精细的受众定向，即对不同的用户推荐不同的广告。技术使得广告决策和交易朝着计算驱动的方向发展，计算已经成为广... 阅读全文
posted @ 2015-06-29 17:50 94julia 阅读(460) 评论(0) 推荐(0)
广告基本知识-广告与营销的区别
摘要：广告与营销的区别在介绍在线广告之前，我想再谈一下广告和销售的区别。因为在在线环境中，广告和销售的区别变的模糊起来。个人认为两者的区别是广告主要针对的是潜在用户，而销售是针对对商品有明确需求的人。以下的几种方式：硬广，SEM，导航网站，淘宝直通车，返利网。传统上认为是广告，而实质上又各有不同，上面的方... 阅读全文
posted @ 2015-06-29 17:46 94julia 阅读(866) 评论(0) 推荐(0)
广告基本知识-广告的有效性模型
摘要：广告的有效性模型下图是广告有效性模型。它基本可以既解释传统广告，又可以解释互联网广告。图中一共有六个阶段。第一个大阶段是选择，它可以分为两个子阶段，1.曝光（exposure），它是指广告是否被用户所看到，它是由广告位的天然属性所决定，无法通过算法的方式进行优化。因为广告位的原因，所以“任意广告位可... 阅读全文
posted @ 2015-06-29 17:29 94julia 阅读(1013) 评论(0) 推荐(0)
广告基本知识-广告的目的和效果
摘要：广告的目的和效果什么是广告？广告绝不仅仅是索引，检索，NoSql，分布式计算这些技术简单的融合，就可以构成一个广告系统，它有其商业上的一些独特地诉求和目的。举一例，广告和推荐系统是很相似的，但在广告系统中，在同一广告位，文字链广告点击率远高于图片广告，而在推荐系统中，相同的展示位置，文字推荐信息链接... 阅读全文
posted @ 2015-06-29 17:25 94julia 阅读(1677) 评论(0) 推荐(0)
海尔大数据精准营销平台(内部资料)
摘要：【编者按】海尔集团首席执行官张瑞敏近日在沃顿商学院全球论坛上发表演讲，以海尔自身的转型试错为样本，探讨互联网时代的商业模式创新。在瞬息万变的互联网时代，海尔经历了从组织、战略到薪酬体系的全方位变革。 阅读全文
posted @ 2015-06-16 17:40 94julia 阅读(771) 评论(0) 推荐(0)
人工智能搜索算法（深度优先、迭代加深、一致代价、A*搜索）
摘要：搜索算法问题求解一、需求分析分别用深度优先、迭代加深、一致代价、A*搜索算法得到从起始点Arad到目标点Bucharest的一条路径，即为罗马尼亚问题的一个解，在求解的过程中记录每种算法得到的解，即输出每种解得到的条路径。图一：罗马尼亚地图二、详细代码测试类：/**Main类，打印各个算法的结果* ... 阅读全文
posted @ 2015-06-16 15:06 94julia 阅读(6064) 评论(0) 推荐(0)