gru神经网络
1. 卷积神经网络在做自然语言处理的时候需要注意什么
cnn做nlp的好像没什么吧，一般是rnn，gru和lstm研究的多
2. 目前主流的attention方法都有哪些
注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。人类的视觉注意力从注意力模型的命名方式看，很明显其借鉴了人类的注意力机制，因此，我们首先简单介绍人类视觉的选择性注意力机制。视觉注意力机制是人类视觉所特有的大脑信号处理机制。这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。然后Encoder-Decoder框架可以看作是一种深度学习领域的研究模式，应用场景异常广泛。图2是文本处理领域里常用的Encoder-Decoder框架最抽象的一种表示。Attention模型以机器翻译作为例子讲解最常见的Soft Attention模型的基本原理，之后抛离Encoder-Decoder框架抽象出了注意力机制的本质思想，然后简单介绍最近广为使用的Self Attention的基本思路。一般在自然语言处理应用里会把Attention模型看作是输出Target句子中某个单词和输入Source句子每个单词的对齐模型，这是非常有道理的。况且可视化地展示了Encoder-Decoder框架中加入Attention机制后，当用户用语音说句子 how much would a woodchuck chuck 时，输入部分的声音特征信号和输出字符之间的注意力分配概率分布情况，颜色越深代表分配到的注意力概率越高。在某些场景下，Attention机制起到了将输出字符和输入语音信号进行对齐的功能。
3. 人工智能技术能够解决商业问题的例子有哪些
人工智能技术可以解决的商业问题其实有很多的，比如有：
1、智能客服，智能客服主要的工作就是在人工换班或者是等待人太多的时候为客户解决问题的。
2、智能机器人，因为这种机器人是拥有简单的智力并且可以自己移动，所以这种机器人可以做的工作非常多，比如可以提醒我们做一些事情，可以帮助做一些家务等等。
3、智能机械，现在工厂中为了避免出现疲劳工作，进而发生事故的情况，会使用一些智能的机械来代替人工工作，不但可以长期的工作，不知疲劳，还可以保证合格率。
实际上，人工智能技术可以做的事情有很多，不过由于现在还有一些没有实现，所以在这里就不多介绍了，不过随着人工智能的慢慢发展，不断的研究，相信在以后会有更多的智能产品，来给人们的生活带来更多的体验。那下面就分享一些人工智能的知识，希望可以让大家更了解人工智能。
首先从自然语言处理原理到进阶实战的词向量与词嵌入方面来看TFIDF、Word2Vec算法、 Gensim模块、Skip-gram、TF代码实现Word2Vec算法项目、FastText、Word Embedding、深度学习用户画像项目。
然后从自然语言处理原理到进阶实战的循环神经网络原理与优化方面来看有Vanilla RNN、Basic RNN实现MNIST手写数字图片识别、LSTM长短时记忆、GRU与双向LSTM、电影评论情感分析案例、Seq2Seq、机器写唐诗案例、CNN+LSTM+CRF、POS tagging词性标注案例、 NER命名实体识别案例、 孪生网络、语义相似度分析案例。
最后从自然语言处理原理到进阶实战的Transformer和Bert方面来看有Attention注意力机制、Attention算法流程、Transformer、Self-Attention机制、Multi-Head Attention、Bert、Bert as service开源项目。
还有概率图模型算法的贝叶斯分类有朴素贝叶斯分类器、拉普拉斯估计代码实战垃圾邮件分类；HMM算法有马尔可夫过程、初始概率、转移概率、发射概率、 隐含马尔可夫模型原理、维特比算法；最大熵模型有熵、条件熵、相对熵、互信息、最大熵模型算法原理、有约束条件的函数最优化问题、最大熵和最大似然估计关系、IIS算法；CRF算法有条件随机场的性质条件随机场的判别函数条件随机场的学习条件随机场的推断CRF与HMM关系。
4. prelu和relu的区别和联系
ReLU， 当来输入x>0输出源为x，当x<0时为0
LReLU，当输入x>0输出为x，当x<0时为a*x；通常a由人工指定，所有channel使用相同的a，比较小，比如0.1
PReLU，当输入x>0输出为x，当x<0时为a*x；a由网络反馈时自动计算，每个channel使用不同的a。
他们都是激活函数，看上去PReLU优于LReLU优于ReLU，在保留有部分的<0信息又达到了激活函数的目的。
但是，它们在实际使用中，被数据证明，不会对你的结果产生任何影响，或者说影响已经小到你不需要去关心的地步。
你可以无脑的使用ReLU就OK啦。
5. 如何高效的学习 TensorFlow 代码
对于想要学习TensorFlow（以下简称TF）的人，根据目的不同，可以简单分为以下2类：
1. 研究学版者，仅仅需要TF这个平台实现权深度学习算法，无需了解太多底层原理
2. 好学的行业内人员（比如我⊙﹏⊙），不仅需要了解算法模型，同时还要熟悉TF平台的原理。在算子、通信、模型优化等方面进行平台的二次开发的人
6. 如何利用深度学习技术训练聊天机器人语言模型
用循环神经网络来完成，目前比较成功的是lstm跟gru，不过需要相当高的计算量。目前还有“注意力”方面的研究，也是可以提高些许能力。给你大概方向，具体知识自己补充。
7. 怎样使用PyTorch实现递归神经网络
1. 将单来词放入缓冲区。源
2. 从缓冲区的前部弹出「The」，将其推送（push）到堆栈上层，紧接着是「church」。
3. 弹出前 2 个堆栈值，应用于 Rece，然后将结果推送回堆栈。
4. 从缓冲区弹出「has」，然后推送到堆栈，然后是「cracks」，然后是「in」，然后是「the」，然后是「ceiling」。
5. 重复四次：弹出 2 个堆栈值，应用于 Rece，然后推送结果。
6. 从缓冲区弹出「.」，然后推送到堆栈上层。
7. 重复两次：弹出 2 个堆栈值，应用于 Rece，然后推送结果。
8. 弹出剩余的堆栈值，并将其作为句子编码返回。
8. 俄罗斯黑客破解神秘文件，美国人在隐瞒什么
世界未解之谜，俄罗斯的黑客说是发现了外星人的秘密，关于这个话题真的是内已经很多年了容，有些人认为是美国人早就知道这么回事，只是一直不告诉大家罢了。那美国到底在隐藏什么呢？
许多国家也是在努力的研究这个问题，想要找到有关他们的痕迹。
重要的是要知道您的用户中有多少百分比容易遭受社会工程攻击。对于客户和非客户等，安全专家建议使用其免费的网络钓鱼安全测试来了解贵公司用户的网络钓鱼倾向百分比，同时技术人员应掌握黑客攻防技术，这样才是一个合格网络安全工程师。
9. LSTM神经网络输入输出究竟是怎样的
关于如何输入的问题，LSTM是一个序列模型，对于输入数据也是一个序列，版LSTM每个时间步权处理的是序列中一个时刻的输入，比如你当前输入是一个汉字“我”，因为模型只能接受的是数值向量，因此需要embedding，“我”就需要变成了一个向量，假如是[0.1,0.8,3.2,4.3]（通过wordembedding技术获得），这里向量维度是4，那么就需要4个神经元去接收向量中的每个元素，而这四个神经元就构成了当前时刻的LSTMUnit，其他时刻也是这样，从而完成输入。因此就可以知道输入层神经元（LSTMunit中神经元数）的个数等于词向量的size。
10. gru-190gy如何设置
方法/步骤
RNN回顾
先简单回顾一下RNN隐层神经元计算公式为：
