Neural Networks and Multi-Layer Perceptron 개념 간단 정리

뉴럴 네트워크란?

인간 혹은 포유류의 뇌(신경망)를 모방하고자 하는 시스템, 그러나 애매하게 모방된 컴퓨팅 시스템

​

왜 애매? 인간의 뇌는 역전파(백프로파게이션)가 이뤄지지 않는다.

ex) 비행기 : 새를 모방해서 날수있는 것을 만들어보자! -> 그러나 우리가 아는 비행기는 새와 모습이 많이 다르다.. -> 꼭 하늘을 날고자해서 새처럼 만들 필요는 없다.

​

그러면 어떻게 뉴럴 네트워크를 정의할까?

function approximators(=함수를 근사하는 모델, Input이 있으면 그에 맞는 Output을 주는 것!)

​

동작방식

행렬 곱과 비선형 연산의 반복

​

1. 가장 간단한 뉴럴 네트워크 : Linear nerual network (선형 회귀)

입력이 1차원, 출력이 1차원일 때 입출력을 연결하는 모델

​

- 데이터 : 1차원 x 또는 y

- 모델 : 데이터에 기울기를 곱하고 bias를 더하는 것

- Loss function : MSE

​

- 목적 : 경사하강법을 이용하여 두개의 파라미터의 적절한 값을 구함(=loss가 최소가 되는)

loss가 아니라 reward function을 사용한다면 경사상승법을 이용

​

- 두개의 파라미터 : 기울기(w), 절편(b)

​

※ 그러나 세상은 단순히 선형으로만 이루어져 있지 않다!

​

- multi dimension에서의 선형회귀는 행렬을 이용한다 = 기울기가 행렬

​

- linear neural networks를 여러 layer로 쌓고 싶다면, 단순히 여러 행렬 곱으로 표현하는 것이 아니라, 중간에 nonlinear transform(활성화 함수)이 필요하다.

-> 선형연산의 반복은 layer를 쌓지못하고 단층이 되기 때문

​

활성화 함수에는 ReLU, Sigmoid, Hyperbolic Tangent 가 있다!

​

2. Multi-Layer Perceptron

- 입력층과 하나 이상의 히든 레이어 그리고 출력층을 가지는 구조를 MLP라고 한다.

3층짜리 MLP

​

- 각각의 층들을 합치지 않고 쌓기 위해서 활성화함수를 이용해야하므로, linear와 nonlinear의 교차가 이루어진다.

​

- Loss function

회귀문제 - MSE

분류문제 - CrossEntropy

확률문제 - MLE (=MSE)