卷積神經網路模型
Ⅰ 形色app用的卷積神經網路的什麼模型
CNN卷積神經網路抄是一種深度模型。它其實老早就已經可以成功訓練並且應用了（最近可能deep learning太火了，CNNs也往這裡面靠。雖然CNNs也屬於多層神經網路架構，但把它置身於DL家族，還是有不少人保留自己的理解的）。
它在原始的輸入中應用可訓練的濾波器trainable filters和局部鄰域池化操作local neighborhood pooling operations，得到一個分級的且逐漸復雜的特徵表示。有實踐表示，如果採用合適的規則化項來訓練，它可以達到非常好的效果。CNN還讓人青睞的一點就是它會對例如姿勢、光照和復雜背景存在不變性。
Ⅱ 卷積神經網路的學習率怎麼計算出來的
學習率實際和信號分析里的時間常數是一樣的，學習率越小 學習會越精細，但同時學習速度也會降低，因為現實中很多模型都是非線性的，猶如一條曲線，梯度下降採用很多小直線迭代去逼近非線性的曲線，如果每一步跨度太大（學習率）就會失去很多曲線的扭曲信息，局部直線化過嚴重，跨度太小你要到達曲線的盡頭就需要很多很多步，這就需要更多的樣本，所以這個也要考慮實際問題再來決定學習率的。
Ⅲ 卷積神經網路 多少隱含層效果最好
卷積神來經網路有以下幾源種應用可供研究： 1、基於卷積網路的形狀識別 物體的形狀是人的視覺系統分析和識別物體的基礎，幾何形狀是物體的本質特徵的表現，並具有平移、縮放和旋轉不變等特點，所以在模式識別領域，對於形狀的分析和識別具有十分重要的意義，而二維圖像作為三維圖像的特例以及組成部分，因此二維圖像的識別是三維圖像識別的基礎。 2、基於卷積網路的人臉檢測 卷積神經網路與傳統的人臉檢測方法不同，它是通過直接作用於輸入樣本，用樣本來訓練網路並最終實現檢測任務的。它是非參數型的人臉檢測方法，可以省去傳統方法中建模、參數估計以及參數檢驗、重建模型等的一系列復雜過程。本文針對圖像中任意大小、位置、姿勢、方向、膚色、面部表情和光照條件的人臉。 3、文字識別系統 在經典的模式識別中，一般是事先提取特徵。提取諸多特徵後，要對這些特徵進行相關性分析，找到最能代表字元的特徵，去掉對分類無關和自相關的特徵。然而，這些特徵的提取太過依賴人的經驗和主觀意識，提取到的特徵法乏瘁何誆蠱搭坍但開的不同對分類性能影響很大，甚至提取的特徵的順序也會影響最後的分類性能。同時，圖像預處理的好壞也會影響到提取的特徵。
Ⅳ 如何用visio畫卷積神經網路圖。圖形類似下圖所示
大概試了一下用visio繪制這個圖，除了最左面的變形圖片外其餘基本可以實現（那個圖可以考慮用專其它圖像處理軟屬件比如Photoshop生成後插入visio），visio中主要用到的圖形可以在更多形狀-常規-具有透視效果的塊中找到塊圖形，拖入繪圖區後拉動透視角度調節的小紅點進行調整直到合適為止，其餘的塊可以按住ctrl+滑鼠左鍵進行拉動復制，然後再進行大小、位置仔細調整就可以了，大致繪出圖形示例如下圖所示：
Ⅳ 怎樣用python構建一個卷積神經網路模型
上周末利用python簡單實現了一個卷積神經網路，只包含一個卷積層和一個maxpooling層，pooling層後面的多層神經網路採用了softmax形式的輸出。實驗輸入仍然採用MNIST圖像使用10個feature map時，卷積和pooling的結果分別如下所示。
部分源碼如下：
[python]view plain
#coding=utf-8
'''''
Createdon2014年11月30日
@author:Wangliaofan
'''
importnumpy
importstruct
importmatplotlib.pyplotasplt
importmath
importrandom
import
#test
defsigmoid(inX):
if1.0+numpy.exp(-inX)==0.0:
return999999999.999999999
return1.0/(1.0+numpy.exp(-inX))
defdifsigmoid(inX):
returnsigmoid(inX)*(1.0-sigmoid(inX))
deftangenth(inX):
return(1.0*math.exp(inX)-1.0*math.exp(-inX))/(1.0*math.exp(inX)+1.0*math.exp(-inX))
defcnn_conv(in_image,filter_map,B,type_func='sigmoid'):
#in_image[num,featuremap,row,col]=>in_image[Irow,Icol]
#featuresmap[kfilter,row,col]
#type_func['sigmoid','tangenth']
#out_feature[kfilter,Irow-row+1,Icol-col+1]
shape_image=numpy.shape(in_image)#[row,col]
#print"shape_image",shape_image
shape_filter=numpy.shape(filter_map)#[kfilter,row,col]
ifshape_filter[1]>shape_image[0]orshape_filter[2]>shape_image[1]:
raiseException
shape_out=(shape_filter[0],shape_image[0]-shape_filter[1]+1,shape_image[1]-shape_filter[2]+1)
out_feature=numpy.zeros(shape_out)
k,m,n=numpy.shape(out_feature)
fork_idxinrange(0,k):
#rotate180tocalculateconv
c_filter=numpy.rot90(filter_map[k_idx,:,:],2)
forr_idxinrange(0,m):
forc_idxinrange(0,n):
#conv_temp=numpy.zeros((shape_filter[1],shape_filter[2]))
conv_temp=numpy.dot(in_image[r_idx:r_idx+shape_filter[1],c_idx:c_idx+shape_filter[2]],c_filter)
sum_temp=numpy.sum(conv_temp)
iftype_func=='sigmoid':
out_feature[k_idx,r_idx,c_idx]=sigmoid(sum_temp+B[k_idx])
eliftype_func=='tangenth':
out_feature[k_idx,r_idx,c_idx]=tangenth(sum_temp+B[k_idx])
else:
raiseException
returnout_feature
defcnn_maxpooling(out_feature,pooling_size=2,type_pooling="max"):
k,row,col=numpy.shape(out_feature)
max_index_Matirx=numpy.zeros((k,row,col))
out_row=int(numpy.floor(row/pooling_size))
out_col=int(numpy.floor(col/pooling_size))
out_pooling=numpy.zeros((k,out_row,out_col))
fork_idxinrange(0,k):
forr_idxinrange(0,out_row):
forc_idxinrange(0,out_col):
temp_matrix=out_feature[k_idx,pooling_size*r_idx:pooling_size*r_idx+pooling_size,pooling_size*c_idx:pooling_size*c_idx+pooling_size]
out_pooling[k_idx,r_idx,c_idx]=numpy.amax(temp_matrix)
max_index=numpy.argmax(temp_matrix)
#printmax_index
#printmax_index/pooling_size,max_index%pooling_size
max_index_Matirx[k_idx,pooling_size*r_idx+max_index/pooling_size,pooling_size*c_idx+max_index%pooling_size]=1
returnout_pooling,max_index_Matirx
defpoolwithfunc(in_pooling,W,B,type_func='sigmoid'):
k,row,col=numpy.shape(in_pooling)
out_pooling=numpy.zeros((k,row,col))
fork_idxinrange(0,k):
forr_idxinrange(0,row):
forc_idxinrange(0,col):
out_pooling[k_idx,r_idx,c_idx]=sigmoid(W[k_idx]*in_pooling[k_idx,r_idx,c_idx]+B[k_idx])
returnout_pooling
#out_featureistheoutputofconv
defbackErrorfromPoolToConv(theta,max_index_Matirx,out_feature,pooling_size=2):
k1,row,col=numpy.shape(out_feature)
error_conv=numpy.zeros((k1,row,col))
k2,theta_row,theta_col=numpy.shape(theta)
ifk1!=k2:
raiseException
foridx_kinrange(0,k1):
foridx_rowinrange(0,row):
foridx_colinrange(0,col):
error_conv[idx_k,idx_row,idx_col]=
max_index_Matirx[idx_k,idx_row,idx_col]*
float(theta[idx_k,idx_row/pooling_size,idx_col/pooling_size])*
difsigmoid(out_feature[idx_k,idx_row,idx_col])
returnerror_conv
defbackErrorfromConvToInput(theta,inputImage):
k1,row,col=numpy.shape(theta)
#print"theta",k1,row,col
i_row,i_col=numpy.shape(inputImage)
ifrow>i_roworcol>i_col:
raiseException
filter_row=i_row-row+1
filter_col=i_col-col+1
detaW=numpy.zeros((k1,filter_row,filter_col))
#thesamewithconvvalidinmatlab
fork_idxinrange(0,k1):
foridx_rowinrange(0,filter_row):
foridx_colinrange(0,filter_col):
subInputMatrix=inputImage[idx_row:idx_row+row,idx_col:idx_col+col]
#print"subInputMatrix",numpy.shape(subInputMatrix)
#rotatetheta180
#printnumpy.shape(theta)
theta_rotate=numpy.rot90(theta[k_idx,:,:],2)
#print"theta_rotate",theta_rotate
dotMatrix=numpy.dot(subInputMatrix,theta_rotate)
detaW[k_idx,idx_row,idx_col]=numpy.sum(dotMatrix)
detaB=numpy.zeros((k1,1))
fork_idxinrange(0,k1):
detaB[k_idx]=numpy.sum(theta[k_idx,:,:])
returndetaW,detaB
defloadMNISTimage(absFilePathandName,datanum=60000):
images=open(absFilePathandName,'rb')
buf=images.read()
index=0
magic,numImages,numRows,numColumns=struct.unpack_from('>IIII',buf,index)
printmagic,numImages,numRows,numColumns
index+=struct.calcsize('>IIII')
ifmagic!=2051:
raiseException
datasize=int(784*datanum)
datablock=">"+str(datasize)+"B"
#nextmatrix=struct.unpack_from('>47040000B',buf,index)
nextmatrix=struct.unpack_from(datablock,buf,index)
nextmatrix=numpy.array(nextmatrix)/255.0
#nextmatrix=nextmatrix.reshape(numImages,numRows,numColumns)
#nextmatrix=nextmatrix.reshape(datanum,1,numRows*numColumns)
nextmatrix=nextmatrix.reshape(datanum,1,numRows,numColumns)
returnnextmatrix,numImages
defloadMNISTlabels(absFilePathandName,datanum=60000):
labels=open(absFilePathandName,'rb')
buf=labels.read()
index=0
magic,numLabels=struct.unpack_from('>II',buf,index)
printmagic,numLabels
index+=struct.calcsize('>II')
ifmagic!=2049:
raiseException
datablock=">"+str(datanum)+"B"
#nextmatrix=struct.unpack_from('>60000B',buf,index)
nextmatrix=struct.unpack_from(datablock,buf,index)
nextmatrix=numpy.array(nextmatrix)
returnnextmatrix,numLabels
defsimpleCNN(numofFilter,filter_size,pooling_size=2,maxIter=1000,imageNum=500):
decayRate=0.01
MNISTimage,num1=loadMNISTimage("F:\train-images-idx3-ubyte",imageNum)
printnum1
row,col=numpy.shape(MNISTimage[0,0,:,:])
out_Di=numofFilter*((row-filter_size+1)/pooling_size)*((col-filter_size+1)/pooling_size)
MLP=BMNN2.MuiltilayerANN(1,[128],out_Di,10,maxIter)
MLP.setTrainDataNum(imageNum)
MLP.loadtrainlabel("F:\train-labels-idx1-ubyte")
MLP.initialweights()
#MLP.printWeightMatrix()
rng=numpy.random.RandomState(23455)
W_shp=(numofFilter,filter_size,filter_size)
W_bound=numpy.sqrt(numofFilter*filter_size*filter_size)
W_k=rng.uniform(low=-1.0/W_bound,high=1.0/W_bound,size=W_shp)
B_shp=(numofFilter,)
B=numpy.asarray(rng.uniform(low=-.5,high=.5,size=B_shp))
cIter=0
whilecIter<maxIter:
cIter+=1
ImageNum=random.randint(0,imageNum-1)
conv_out_map=cnn_conv(MNISTimage[ImageNum,0,:,:],W_k,B,"sigmoid")
out_pooling,max_index_Matrix=cnn_maxpooling(conv_out_map,2,"max")
pool_shape=numpy.shape(out_pooling)
MLP_input=out_pooling.reshape(1,1,out_Di)
#printnumpy.shape(MLP_input)
DetaW,DetaB,temperror=MLP.backwardPropogation(MLP_input,ImageNum)
ifcIter%50==0:
printcIter,"Temperror:",temperror
#printnumpy.shape(MLP.Theta[MLP.Nl-2])
#printnumpy.shape(MLP.Ztemp[0])
#printnumpy.shape(MLP.weightMatrix[0])
theta_pool=MLP.Theta[MLP.Nl-2]*MLP.weightMatrix[0].transpose()
#printnumpy.shape(theta_pool)
#print"theta_pool",theta_pool
temp=numpy.zeros((1,1,out_Di))
temp[0,:,:]=theta_pool
back_theta_pool=temp.reshape(pool_shape)
#print"back_theta_pool",numpy.shape(back_theta_pool)
#print"back_theta_pool",back_theta_pool
error_conv=backErrorfromPoolToConv(back_theta_pool,max_index_Matrix,conv_out_map,2)
#print"error_conv",numpy.shape(error_conv)
#printerror_conv
conv_DetaW,conv_DetaB=backErrorfromConvToInput(error_conv,MNISTimage[ImageNum,0,:,:])
#print"W_k",W_k
#print"conv_DetaW",conv_DetaW
Ⅵ cnn卷積神經網路用什麼語言來寫pascial
200+
這個是hinton matlab代碼的C++改寫版. convnetjs - Star,SAE，首選的肯定是LIBSVM這個庫;RBM#47. DeepLearn Toolbox - Star，包括了CNN;C++SVM方面,Java。
2。
下面主要一些DeepLearning的GitHub項目吧;SdA#47:2200+
實現了卷積神經網路，還實現了Rasmussen的共軛梯度Conjugate Gradient演算法,DBN,C/CRBM/CDBN#47：Python。
3,CAE等主流模型，實現的模型有DBN#47，可以用來做分類，語言是Python;LR等，從演算法與實現上都比較全:800+
實現了深度學習網路. rbm-mnist - Star，應該是應用最廣的機器學習庫了，強化學習等. Deep Learning(yusugomo) - Star,Scala:1000+
Matlab實現中最熱的庫存，提供了5種語言的實現。
5;dA#47:500+
這是同名書的配套代碼。
4. Neural-Networks-And-Deep-Learning - Star！
1，回歸
Ⅶ 前饋神經網路、BP神經網路、卷積神經網路的區別與聯系
一、計算方法不同
1、前饋神經網路：一種最簡單的神經網路，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層．各層間沒有反饋。
2、BP神經網路：是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路。
3、卷積神經網路：包含卷積計算且具有深度結構的前饋神經網路。
二、用途不同
1、前饋神經網路：主要應用包括感知器網路、BP網路和RBF網路。
2、BP神經網路：
（1）函數逼近：用輸入向量和相應的輸出向量訓練一個網路逼近一個函數；
（2）模式識別：用一個待定的輸出向量將它與輸入向量聯系起來；
（3）分類：把輸入向量所定義的合適方式進行分類；
（4）數據壓縮：減少輸出向量維數以便於傳輸或存儲。
3、卷積神經網路：可應用於圖像識別、物體識別等計算機視覺、自然語言處理、物理學和遙感科學等領域。
聯系：
BP神經網路和卷積神經網路都屬於前饋神經網路，三者都屬於人工神經網路。因此，三者原理和結構相同。
三、作用不同
1、前饋神經網路：結構簡單，應用廣泛，能夠以任意精度逼近任意連續函數及平方可積函數．而且可以精確實現任意有限訓練樣本集。
2、BP神經網路：具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。
3、卷積神經網路：具有表徵學習能力，能夠按其階層結構對輸入信息進行平移不變分類。
(7)卷積神經網路模型擴展閱讀：
1、BP神經網路優劣勢
BP神經網路無論在網路理論還是在性能方面已比較成熟。其突出優點就是具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。但是BP神經網路也存在以下的一些主要缺陷。
①學習速度慢，即使是一個簡單的問題，一般也需要幾百次甚至上千次的學習才能收斂。
②容易陷入局部極小值。
③網路層數、神經元個數的選擇沒有相應的理論指導。
④網路推廣能力有限。
2、人工神經網路的特點和優越性，主要表現在以下三個方面
①具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、效益預測，其應用前途是很遠大的。
②具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。
③具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。
Ⅷ 卷積神經網路的模型問題
怎麼又是你.....
網路自然是搭建起來的啊，比如CNN，一層一層地建，如果你是用別人已經建內好的網路，比如最簡容單的LeNet-5，那麼Tensorflow中會直接提供你一個Net；
但是如果你是自定義網路類型，那麼需要繼承nn.Noles，然後重新定義網路結構，封裝成一個Net，
總結起來，模型是很多數學公式搭在一起，然鵝，數學公式是封裝好的，可以相互交流哈