唐平中讲座笔记 Reinforcement mechanism design 20171107
渣排版预警，纯草稿。。。
唐平中。研究方向是经济学和ai方向，机制设计和拍卖设计。
内容：广告优化的方法论，自动优化。
【内容】
Basics on mechanism design and resrve pricing
Reinforcement mechanism design:
1.Reserve pricing in ad auctions (在广告拍卖中占到保留位，怎么算到最优)
2.Seller ranking in e-commerce.
【前言】
Auctions design and revenue optimization 拍卖设计
拍卖：
拍卖的设计涉及钱
谁能够拿到物品，每个人应该付多少钱。
目标是什么：
钱
例子：1个用户，1个广告主。
q=1 if sold, q=0 if reserve;
buyer（advertiser)：valuation x from Uniform [0,1]
假设所有信息大家都知道
buyer utility = x(q-t)
Auction = set a price p(in this case)
buyer decsion: buy if x>p
max(p(1-p)),solution: p = 0.5
可以推广到任何分布，改为f(p)*(f(1-p))即可
1个用户，n个广告主
1.first-price auction
known:Bayes equilibrium to bid (n-1) xi/n
Expected revenue:(n-1)/(n+1)
2.second price auction
known:Dominant strategy to bid truthfully
Expected revenue:(n-1)/(n+1)
结论:如果你不设保留价的话，那么你的期望收入和二价一样。无需证明（x
二价定律失效的例子：
毕加索的画卖给了王健林，2800万，但是王健林心理预期很高，但是他遇到了一些week buyer.所以付钱价格很低。
解决方案：设最小保留价格，比如我设4000万的门槛。
但这只是单次拍卖。
最优情况：
如果有1个物品，n个拍卖者
大家的xi都是uniform[0,1]
解决方案：second price auction with reserve 0.5
think of 0.5 as seller's bid, competitive for strong buyers
当大家的分布不一样的时候，查看07年诺贝尔论文。Myerson,1981,Nobel prize 2007
Myerson的问题：
没有按照bid排序，会影响公平性。
有不同的门槛。
Myerson may charge too much.可能会使得卖家流失。
(solution:objective: a revenue + b welfare + c clicks)(MSR论文) 平台+广告主+用户
雅虎:通过手动调整保留价，使得收入增加10%
High frequency mechanism design
区别：
1.高频的环境
2.Dynamic set of players
3.Rational,reflected in the data
4.Complicated,dynamic decision variables
工业界的现状：
gsp在工业界没有什么用，vcg也没什么用。
经常去调整广告的拍卖参数。
Ad hoc，Costly
能不能有一个算法来自动调整参数，使得能够得到很好的结果。
【主题】
Reinforcement mechanism design
这个不是机器学习，原因是：
我的方法是想得到更好的参数，使得广告收益更高。之前参数的data和我现在的data无关，所以这不是机器学习。
从一组参数很难预测出另外一套全新的参数的结果，有一些阶跃的东西，总之，这就不是一个machine learning
Dynamic GSP auctions
一堆关键字，平台会收到广告主的报价，然后我们能会回复kpis。
然后我们都会根据反应来修正自己的行为。
这实际上是一个Markov，每次的报价都depend on 昨天的bid distribution和 昨天的kpis
f(t+1) depend on f(t)
平台的参数制定，把整个广告主和自己的平台当作一个整体，action是每天调整参数，revenue就是每天赚得钱。
对于状态一，然后一堆bidder根据昨天的kpis和参数出了一次价格，然后可以推出新的状态。
每个关键字我们只看出价最高的bidder，不会让出价变动很大。
我们的bidder model使用rnn
输入：
kpis containing stats of several consecutive days
time-sepecific features.
输出：
bid distribution for the next time step（bid不容易预测的准，所以我们直接预估分布，而且头部buyers也是会变动）
结果的话，用rnn预估的结果和线上的结果确实比较符合。
效果比百度本身的预估好一倍。
解决刷单：
刷单方案：
1.建一个微信群，然后每个人给钱，寄空包裹，然后提高我的好评
2.把自己的价格压的非常低，使得自己的成交量上去。
导致使得一些不是优质的卖家，占据了优质流量，使得平台的转化量比较低。
淘宝本身的objective比较复杂。
解决方案，实际上是将差的卖家扔到下面去。
本质上是流量的分配。
总结：
。。。好像我们的广告系统的bid和推荐系统是分开的，所以这玩意儿好像我们根本没法用。
不过动态调整参数可以借鉴一下，可以试试greedy的方案。
