gru神經網路

1. 卷積神經網路在做自然語言處理的時候需要注意什麼

cnn做nlp的好像沒什麼吧，一般是rnn，gru和lstm研究的多

2. 目前主流的attention方法都有哪些

注意力模型最近幾年在深度學習各個領域被廣泛使用，無論是圖像處理、語音識別還是自然語言處理的各種不同類型的任務中，都很容易遇到注意力模型的身影。所以，了解注意力機制的工作原理對於關注深度學習技術發展的技術人員來說有很大的必要。人類的視覺注意力從注意力模型的命名方式看，很明顯其借鑒了人類的注意力機制，因此，我們首先簡單介紹人類視覺的選擇性注意力機制。視覺注意力機制是人類視覺所特有的大腦信號處理機制。這是人類利用有限的注意力資源從大量信息中快速篩選出高價值信息的手段，是人類在長期進化中形成的一種生存機制，人類視覺注意力機制極大地提高了視覺信息處理的效率與准確性。然後Encoder-Decoder框架可以看作是一種深度學習領域的研究模式，應用場景異常廣泛。圖2是文本處理領域里常用的Encoder-Decoder框架最抽象的一種表示。Attention模型以機器翻譯作為例子講解最常見的Soft Attention模型的基本原理，之後拋離Encoder-Decoder框架抽象出了注意力機制的本質思想，然後簡單介紹最近廣為使用的Self Attention的基本思路。一般在自然語言處理應用里會把Attention模型看作是輸出Target句子中某個單詞和輸入Source句子每個單詞的對齊模型，這是非常有道理的。況且可視化地展示了Encoder-Decoder框架中加入Attention機制後，當用戶用語音說句子 how much would a woodchuck chuck 時，輸入部分的聲音特徵信號和輸出字元之間的注意力分配概率分布情況，顏色越深代表分配到的注意力概率越高。在某些場景下，Attention機制起到了將輸出字元和輸入語音信號進行對齊的功能。

3. 人工智慧技術能夠解決商業問題的例子有哪些

人工智慧技術可以解決的商業問題其實有很多的，比如有：
1、智能客服，智能客服主要的工作就是在人工換班或者是等待人太多的時候為客戶解決問題的。
2、智能機器人，因為這種機器人是擁有簡單的智力並且可以自己移動，所以這種機器人可以做的工作非常多，比如可以提醒我們做一些事情，可以幫助做一些家務等等。
3、智能機械，現在工廠中為了避免出現疲勞工作，進而發生事故的情況，會使用一些智能的機械來代替人工工作，不但可以長期的工作，不知疲勞，還可以保證合格率。
實際上，人工智慧技術可以做的事情有很多，不過由於現在還有一些沒有實現，所以在這里就不多介紹了，不過隨著人工智慧的慢慢發展，不斷的研究，相信在以後會有更多的智能產品，來給人們的生活帶來更多的體驗。那下面就分享一些人工智慧的知識，希望可以讓大家更了解人工智慧。
首先從自然語言處理原理到進階實戰的詞向量與詞嵌入方面來看TFIDF、Word2Vec演算法、 Gensim模塊、Skip-gram、TF代碼實現Word2Vec演算法項目、FastText、Word Embedding、深度學慣用戶畫像項目。
然後從自然語言處理原理到進階實戰的循環神經網路原理與優化方面來看有Vanilla RNN、Basic RNN實現MNIST手寫數字圖片識別、LSTM長短時記憶、GRU與雙向LSTM、電影評論情感分析案例、Seq2Seq、機器寫唐詩案例、CNN+LSTM+CRF、POS tagging詞性標注案例、 NER命名實體識別案例、 孿生網路、語義相似度分析案例。
最後從自然語言處理原理到進階實戰的Transformer和Bert方面來看有Attention注意力機制、Attention演算法流程、Transformer、Self-Attention機制、Multi-Head Attention、Bert、Bert as service開源項目。
還有概率圖模型演算法的貝葉斯分類有樸素貝葉斯分類器、拉普拉斯估計代碼實戰垃圾郵件分類；HMM演算法有馬爾可夫過程、初始概率、轉移概率、發射概率、 隱含馬爾可夫模型原理、維特比演算法；最大熵模型有熵、條件熵、相對熵、互信息、最大熵模型演算法原理、有約束條件的函數最優化問題、最大熵和最大似然估計關系、IIS演算法；CRF演算法有條件隨機場的性質條件隨機場的判別函數條件隨機場的學習條件隨機場的推斷CRF與HMM關系。

4. prelu和relu的區別和聯系

ReLU， 當來輸入x>0輸出源為x，當x<0時為0
LReLU，當輸入x>0輸出為x，當x<0時為a*x；通常a由人工指定，所有channel使用相同的a，比較小，比如0.1
PReLU，當輸入x>0輸出為x，當x<0時為a*x；a由網路反饋時自動計算，每個channel使用不同的a。
他們都是激活函數，看上去PReLU優於LReLU優於ReLU，在保留有部分的<0信息又達到了激活函數的目的。
但是，它們在實際使用中，被數據證明，不會對你的結果產生任何影響，或者說影響已經小到你不需要去關心的地步。
你可以無腦的使用ReLU就OK啦。

5. 如何高效的學習 TensorFlow 代碼

對於想要學習TensorFlow（以下簡稱TF）的人，根據目的不同，可以簡單分為以下2類：
1. 研究學版者，僅僅需要TF這個平台實現權深度學習演算法，無需了解太多底層原理
2. 好學的行業內人員（比如我⊙﹏⊙），不僅需要了解演算法模型，同時還要熟悉TF平台的原理。在運算元、通信、模型優化等方面進行平台的二次開發的人

6. 如何利用深度學習技術訓練聊天機器人語言模型

用循環神經網路來完成，目前比較成功的是lstm跟gru，不過需要相當高的計算量。目前還有「注意力」方面的研究，也是可以提高些許能力。給你大概方向，具體知識自己補充。

7. 怎樣使用PyTorch實現遞歸神經網路

1. 將單來詞放入緩沖區。源
2. 從緩沖區的前部彈出「The」，將其推送（push）到堆棧上層，緊接著是「church」。
3. 彈出前 2 個堆棧值，應用於 Rece，然後將結果推送回堆棧。
4. 從緩沖區彈出「has」，然後推送到堆棧，然後是「cracks」，然後是「in」，然後是「the」，然後是「ceiling」。
5. 重復四次：彈出 2 個堆棧值，應用於 Rece，然後推送結果。
6. 從緩沖區彈出「.」，然後推送到堆棧上層。
7. 重復兩次：彈出 2 個堆棧值，應用於 Rece，然後推送結果。
8. 彈出剩餘的堆棧值，並將其作為句子編碼返回。

8. 俄羅斯黑客破解神秘文件，美國人在隱瞞什麼

世界未解之謎，俄羅斯的黑客說是發現了外星人的秘密，關於這個話題真的是內已經很多年了容，有些人認為是美國人早就知道這么回事，只是一直不告訴大家罷了。那美國到底在隱藏什麼呢？

許多國家也是在努力的研究這個問題，想要找到有關他們的痕跡。

重要的是要知道您的用戶中有多少百分比容易遭受社會工程攻擊。對於客戶和非客戶等，安全專家建議使用其免費的網路釣魚安全測試來了解貴公司用戶的網路釣魚傾向百分比，同時技術人員應掌握黑客攻防技術，這樣才是一個合格網路安全工程師。

9. LSTM神經網路輸入輸出究竟是怎樣的

關於如何輸入的問題，LSTM是一個序列模型，對於輸入數據也是一個序列，版LSTM每個時間步權處理的是序列中一個時刻的輸入，比如你當前輸入是一個漢字「我」，因為模型只能接受的是數值向量，因此需要embedding，「我」就需要變成了一個向量，假如是[0.1,0.8,3.2,4.3]（通過wordembedding技術獲得），這里向量維度是4，那麼就需要4個神經元去接收向量中的每個元素，而這四個神經元就構成了當前時刻的LSTMUnit，其他時刻也是這樣，從而完成輸入。因此就可以知道輸入層神經元（LSTMunit中神經元數）的個數等於詞向量的size。

10. gru-190gy如何設置

方法/步驟

• RNN回顧

  先簡單回顧一下RNN隱層神經元計算公式為：