设某树的度为3，且度为3的结点数为4，度为1的结点数为9，没有度为2的结点。则该树中总的结点数为

（）类型的数据集不适合用深度学习？

深度学习的训练过程包括：自下而上的（）和自顶向下的（）。

对于Word2vec的2个基础算法，每次（）更新只能优化一个向量且softmax里的指数求和操作计算量太大，一般使用比较高效的（）算法。

Embedding编码有哪些特点？

One-hot独热编码有哪些特点？

神经元分为三种不同类型的层次：

BERT模型的主要创新点都在pre-train方法上，即用了（）和（）两种方法分别捕捉词语和句子级别的representation。

Transformer的提出解决了上面两个问题，首先它使用了Attention机制，将序列中的任意两个位置之间的距离缩小为一个（）；其次它不无需依次输入序列信息，因此具有更好的（），符合现有的GPU框架。

考虑到RNN（或者LSTM，GRU等）类模型只能从()依次计算或者从()依次计算，带来了一定的局限性

word2vec包含两个经典模型：()和()