Keras Dense Layer는 언제 입력을 평면화합니까?

Keras Dense Layer 출력 형태 수수께끼

Keras에서 Dense 레이어는 내적을 적용하기 전에 입력을 평면화하는 방법으로 오랫동안 문서화되어 왔습니다. 커널. 그러나 최근의 행동은 그렇지 않다는 것을 시사합니다.

문제:

아래 테스트 코드에 설명된 것처럼 Dense 레이어의 출력은 입력 텐서의 마지막 축을 유지합니다.

input1 = layers.Input((2,3))
output = layers.Dense(4)(input1)
print(output)

출력:

<tf.Tensor 'dense_2/add:0' shape=(?, 2, 4) dtype=float32>

답변:

문서와 달리 Dense 레이어는 입력을 평면화하지 않습니다. 대신 마지막 축을 따라 독립적으로 작업을 적용합니다. 따라서 (n_dim1, n_dim2, ..., n_dimk) 형태의 입력이 주어지면 출력 형태는 (n_dim1, n_dim2, ..., m)이 됩니다. 여기서 m은 Dense 레이어의 단위 수입니다.

의미:

이 동작은 TimeDistributed(Dense(...)) 및 Dense(...) 기능을 동등하게 만듭니다. 또한 가중치가 마지막 축에서 공유되므로 입력 모양(n_dim1, n_dim2, ..., n_dimk)을 갖는 Dense 레이어에는 m * n_dimk m(단위당 바이어스 매개변수)의 훈련 가능한 매개변수만 있습니다.

시각적 일러스트레이션:

[다차원 입력에 Dense 레이어가 적용된 신경망 이미지]

이 그림은 Dense 레이어의 작업이 독립적으로 적용되는 방식을 보여줍니다. 입력 텐서의 마지막 축을 따라.

위 내용은 Keras Dense Layer는 언제 입력을 평면화합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!