《 深入浅出Embedding 》Epub-Pdf-Mobi-Txt-Azw3 下载在线阅读

本书从技术和应用两个维度对Embedding进行了全面的讲解

内容简介

这是一本系统、全面、理论与实践相结合的Embedding技术指南，由资深的AI技术专家和高级数据科学家撰写，得到了黄铁军、韦青、张峥、周明等中国人工智能领域的领军人物的一致好评和推荐。
 在内容方面，本书理论与实操兼顾，一方面系统讲解了Embedding的基础、技术、原理、方法和性能优化，一方面详细列举和分析了Embedding在机器学习性能提升、中英文翻译、推荐系统等6个重要场景的应用实践；在写作方式上，秉承复杂问题简单化的原则，尽量避免复杂的数学公式，尽量采用可视化的表达方式，旨在降低本书的学习门槛，让读者能看得完、学得会。

epubooks.top站是一个下载优质电子书的网站，书籍种类非常多，每个类目下的书籍资源都非常丰富，支持kindle、epub、mobi、azw3、pdf格式下载。以及在线阅读-epub,kindle,mobi,azw3,pdf格式！

一個下載優質電子書的網站，書籍種類非常多，每個類目下的書籍資源都非常豐富，支持kindle、epub、mobi、azw3、pdf格式下載。以及在線閱讀-epub,kindle,mobi,azw3,pdf格式！

=======================================================

记得收藏本站哟！每天都会更新

资源收集不易，还请帮忙点一点，是我的动力谢谢！！！！！！！！！！

如果有什么书本站没有，你也可以在评论处留言。我会第一时间去的！

收藏本站每日更新更多书籍！

资源地址： Epub版-----网盘密码1122

  MOBI版-----网盘密码1122

            PDF版------网盘密码1122

                  TxT版------网盘密码1122

    azw3版------网盘密码1122

=======================================================

部分简介：

CBOW模型

在介绍word2vec原理之前，我们先看一个简单示例。示例展示了对一句话的两种预测方式：

假设：今天　下午　2点钟　搜索　引擎　组　开　组会。

方法1（根据上下文预测目标值）

对于每一个单词或词（统称为标识符），使用该标识符周围的标识符来预测当前标识符生成的概率。假设目标值为“2点钟”，我们可以使用“2点钟”的上文“今天、下午”和“2点钟”的下文“搜索、引擎、组”来生成或预测目标值。

方法2（由目标值预测上下文）

对于每一个标识符，使用该标识符本身来预测生成其他词汇的概率。如使用“2点钟”来预测其上下文“今天、下午、搜索、引擎、组”中的每个词。

两种预测方法的共同限制条件是，对于相同的输入，输出每个标识符的概率之和为1。

它们分别对应word2vec的两种模型，即CBOW模型（Continuous Bag-Of-Words Model）和Skip-Gram模型。根据上下文生成目标值（即方法1）时，使用CBOW模型；根据目标值生成上下文（即方法2）时，采用Skip-Gram模型。

CBOW模型包含三层：输入层、映射层和输出层。具体架构如图1-3所示。CBOW模型中的w（t）为目标词，在已知它的上下文w（t-2）、w（t-1）、w（t+1）、w（t+2）的前提下预测词w（t）出现的概率，即p（w/context（w））。目标函数为：

图1-3　CBOW模型

CBOW模型其实就是根据某个词前后的若干词来预测该词，也可以看成是多分类。最朴素的想法就是直接使用Softmax来分别计算每个词对应的归一化的概率。但对于动辄十几万词汇量的场景，使用Softmax计算量太大，此时可以使用一种称为二分类组合形式的Hierarchical Softmax（输出层为一棵二叉树）来优化。

1.2.3　Skip-Gram模型

Skip-Gram模型同样包含三层：输入层、映射层和输出层。具体架构如图1-4所示。Skip-Gram模型中的w（t）为输入词，在已知词w（t）的前提下预测词w（t）的上下文w（t-2）、w（t-1）、w（t+1）、w（t+2），条件概率写为p（context（w）/w）。目标函数为：

图1-4　Skip-Gram模型

我们通过一个简单的例子来说明Skip-Gram的基本思想。假设有一句话：

the quick brown fox jumped over the lazy dog

接下来，我们根据Skip-Gram模型的基本思想，按这条语句生成一个由序列（输入，输出）构成的数据集。那么，如何构成这样一个数据集呢？我们首先对一些单词以及它们的上下文环境建立一个数据集。可以以任何合理的方式定义“上下文”，这里是把目标单词的左右单词视作一个上下文，使用大小为1的窗口（即window_size=1）定义，也就是说，仅选输入词前后各1个词和输入词进行组合，就得到一个由（上下文，目标单词）组成的数据集，具体如表1-1所示。

表1-1　由Skip-Gram算法构成的训练数据集

1.2.4　可视化Skip-Gram模型实现过程

前面我们简单介绍了Skip-Gram的原理及架构，至于Skip-Gram如何把输入转换为词嵌入、其间有哪些关键点、面对大语料库可能出现哪些瓶颈等，并没有展开说明。而了解Skip-Gram的具体实现过程，有助于更好地了解word2vec以及其他预训练模型，如BLMo、BERT、ALBERT等。所以，本节将详细介绍Skip-Gram的实现过程，加深读者对其原理与实现的理解。对于CBOW模型，其实现机制与Skip-Gram模型类似，本书不再赘述，感兴趣的读者可以自行实践。

1. 预处理语料库

先来看下面的语料库：

text = "natural language processing and machine learning is fun and exciting"
corpus = [[word.lower() for word in text.split()]]

这个语料库就是一句话，共10个单词，其中and出现两次，共有9个不同单词。因单词较少，这里暂不设置停用词，而是根据空格对语料库进行分词，分词结果如下：

["natural", "language", "processing", "and", "machine", "learning", "is", "fun",
    "and", "exciting"]

2. Skip-Gram模型架构图

使用Skip-Gram模型，设置window-size=2，以目标词确定其上下文，即根据目标词预测其左边2个和右边2个单词。具体模型如图1-5所示。

图1-5　Skip-Gram模型架构图

在图1-5中，这里语料库只有9个单词，V-dim=9，N-dim=10（词嵌入维度），C=4（该值为2*window-size）。

如果用矩阵来表示图1-5，可写成如图1-6所示的形式。

图1-6　Skip-Gram模型的矩阵表示

注意

生产环境语料库一般比较大，涉及的单词成千上万。这里为便于说明，仅使用一句话作为语料。

在一些文献中，又将矩阵W V×N称为查找表（look up table）。2.1.1节介绍PyTorch的Embedding Layer时，会介绍查找表的相关内容。

3. 生成中心词及其上下文的数据集

根据语料库及window-size，生成中心词与预测上下文的数据集，如图1-7所示。