1. 背景

推荐系统通常分为两个阶段，即召回和排序阶段。在召回阶段会对用户和物品进行匹配，得到较小的一部分候选集进入到排序阶段。 在召回阶段，协同过滤方法是最常用来计算用户和物品相关性的方法。 在排序阶段，排序模型会对候选集的每个物品进行打分，然后选取得分最高的N个物品推荐给用户。 而打分最为常用的方式是预测用户对物品的点击率。 因此，点击率预估也受到了学术界和工业界众多研究者的关注。而本文也重点关注点击率预估问题。

1. 判断文件/文件夹是否存在

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

#shell判断文件,目录是否存在或者具有权限
folder="/var/www/"
file="/var/www/log"

# -x 参数判断 $folder 是否存在并且是否具有可执行权限
if [ ! -x "$folder"]; then
  mkdir "$folder"
fi

# -d 参数判断 $folder 是否存在
if [ ! -d "$folder"]; then
  mkdir "$folder"
fi

# -f 参数判断 $file 是否存在
if [ ! -f "$file" ]; then
  touch "$file"
fi

说到哈希算法，可能大部分人都会不自觉得想到 md 和 sha 系列，在这之前，我就是这样的，因为他们意味着流行安全和稳定。 但是，最近我知道了一款另类的流行的哈希函数，这款哈希函数广泛应用于分布式系统-Hadoop/Lucence等等， 原因就是因为它速度快而且散列效果好，这个哈希算法就是 MurmurHash。

1. HashEmbedding

paper: hash-embeddings-for-efficient-word-representations.pdf

1.1 简介

Hash Embedding可以看作是普通word embedding和通过随机hash函数得到的词嵌入的interposition(插补)。 在Hash Embedding中，每个token由k个d维embedding vectors和一个k维weight vector表示，token的最终d维表示是两者的乘积。

1. 保序回归的数学定义

定义：给定一个有限的实数集合 $Y=y_1, y_2, \cdots, y_n$ 代表观察到的响应，以及 $X = x_1, x_2, \cdots, x_n$ 代表未知的响应值，训练一个模型最小化下列方程：

Thrift最初由Facebook研发，主要用于各个服务之间的RPC通信，支持跨语言， 常用的语言比如C++, Java, Python, PHP, Ruby等语言都支持。 Thrift是一个典型的CS（客户端/服务端）结构，客户端和服务端可以使用不同的语言开发。 在推荐系统进行Serving的时候，用到这个进行快速的交互。

1. 前言

写这片post的目的是因为最近在实践中需要对不同的优化器进行调整， 突然发现自己对各种优化算法的了解都停留在一个相对比较浅的层面上， 虽然之前自己从各个渠道汇总整理了一份优化算法的总结性post——优化算法整理post, 但是都是浮于表面的总结，并没有沉淀下来成为自己的东西， 因此这篇post主要记录一下自己在看 Ad Click Prediction a View from the Trenches 这篇论文中得到和不理解的地方。

转载自python整数、字符串、字节串相互转换-Lixingcong的博客

导航

1. 问题

在推荐系统领域中，通常的做法是将UserProfile、UserBehaviors、CandidateItem、ContextFeatures分别通过Embedding之后，从高维稀疏特征转化为低维稠密特征， 然后通过神经网络对这些特征进行学习，输出对CandidateItem的CTR。通常的推荐系统神经网络模型结构如下图所示：

1. 环境

1. MacOs=10.15.2
2. python=3.7.6
3. tensorflow=1.15.0
4. tensorflow-serving-api=1.15.0
5. docker=19.03.5

2. tf-serving介绍

大家习惯使用TensorFlow进行模型的训练、验证和预测，但模型完善之后的生产上线流程就见仁见智了，针对这种情况Google提供了TensorFlow Servering，可以将训练好的模型直接上线并提供服务。