以下哪项是主要用于自然语言处理的网络结构（）

循环神经网络RNN中，常用的激活函数是（）和（）。

常见的循环神经网络结构包括（）

与浅层神经网络相比，深度学习的不同在于（）和（）。

（）类型的数据集不适合用深度学习？

深度学习的训练过程包括：自下而上的（）和自顶向下的（）。

对于Word2vec的2个基础算法，每次（）更新只能优化一个向量且softmax里的指数求和操作计算量太大，一般使用比较高效的（）算法。

Embedding编码有哪些特点？

One-hot独热编码有哪些特点？

神经元分为三种不同类型的层次：

BERT模型的主要创新点都在pre-train方法上，即用了（）和（）两种方法分别捕捉词语和句子级别的representation。