[쉬운 딥러닝 책] 4장 2절 : 활성화 함수(Activation Function) - 렐루 함수 등

《쉬운 딥러닝》과 함께 공부해요 : )

  [이론적 배경 1] 통계와 머신러닝

  [이론적 배경 2] 뇌세포를 모방한 기계, 퍼셉트론

  [이론적 배경 3] 활성화 함수

  [이론적 배경 4] 인공신경망과 딥러닝

---

★이 글은 《쉬운 딥러닝》을 발췌하여 작성되었습니다

---

4. 활성화 함수(Activation Function)

 

뉴런은 0 또는 1 두 가지 값만 출력할 수 있는 기계입니다. 퍼셉트론은 뉴런을 모방하기 위해 만들어진 기계입니다. 따라서 조금 더 뉴런을 그럴싸하게 모사하기 위하여 퍼셉트론의 출력값을 뉴런의 출력값과 유사하게 다듬어주려는 시도가 있습니다.

 

이를 위한 도구를 활성화 함수라고 부릅니다. 활성화 함수는 함수입니다. 숫자를 입력받아, 다른 숫자를 출력합니다. 인간의 뉴런은 작은 값을 입력받았을 때 0을 출력하고, 입력값이 적당히 커지면 1을 출력합니다. 활성화 함수 또한 유사한 형태입니다. 작은 숫자를 입력받으면 0에 가까운 숫자를 출력하고, 어느 정도 큰 숫자를 입력받으면 1에 가까운 숫자를 출력합니다.

 

이런 접근은 앞서 살펴본 그림의 ‘함수’의 형태를 조작하는 것으로 시도됩니다. 자주 사용되는 대표적인 활성화 함수 몇 가지만 살펴보겠습니다. 아래 4가지 정도의 활성화 함수만 알고 있으면 간단한 딥러닝 예제를 수행하는 데에는 무리가 없습니다.

 

(1) 시그모이드 함수(Sigmoid function)

 

시그모이드 함수는 입력값을 0부터 1 사이의 값으로 다듬어주는 함수입니다. 입력값이 크면 클수록 1에 가까운 값이 출력되고, 입력값이 작으면 작을수록 0에 가까운 값이 출력됩니다. 0에 가까운 값과 1에 가까운 값을 출력할 수 있다는 점에서 “신경 활동을 모방한다.”라는 철학에 부합합니다. 실제 딥러닝에서는 출력값의 범위를 0과 1 사잇값으로 한정할 수 있다는 점에서 널리 활용됩니다.

 

 

(2) 하이퍼볼릭 탄젠트 함수(tanh, hyperbolic tangent function)

 

하이퍼볼릭 탄젠트는 입력값을 -1부터 1 사잇값으로 다듬어주는 함수입니다. 하이퍼볼릭 탄젠트는 원점을 기준으로 대칭이며, 입력값이 작으면 작을수록 -1에 가까운 값을 출력하고 입력값이 크면 클수록 1에 가까운 값을 출력합니다. 뉴런의 on-off 작동을 모사할 수 있다는 점에서 애용되곤 합니다만, 최근 음수값을 사용하지 않으려는 추세가 등장하면서 선호도가 낮아진 함수입니다.

 

 

(3) 렐루(ReLU, Rectified Linear Unit)

 

렐루는 0보다 작은 값은 0으로 만들어버리고, 0보다 큰 값은 그대로 출력하는 함수입니다. 단일 뉴런보다는 여러 개의 뉴런으로 구성된 신경 다발의 정보전달 형상에 가깝습니다. 렐루는 뉴런의 활동을 모사하기보다는 기울기 소실 문제(vanishing gradient problem) 1) 라는 딥러닝의 고질적 문제를 해결하기 위한 방법으로 조명받으며 각광받게 되었습니다. 딥러닝 모델을 만들 때, 어떤 활성화 함수를 적용하면 좋을지 잘 모르겠으면 일단 렐루를 적용하면 됩니다. 대부분의 경우 높은 성능을 보입니다.

 

 

(4) 리키 렐루(Leaky ReLU)

 

리키 렐루는 렐루 함수와 달리 0보다 작은 값도 버리지 않습니다. 단, 원본 그대로 출력하는 것이 아니라 약간 더 작은 값을 출력합니다. 여기에 무슨 큰 의미가 있겠나 싶지만, 몇몇 적용사례에서 렐루에 비해 월등한 성능을 보이기도 합니다.

 

 

 

 

★이 글은 《쉬운 딥러닝》을 발췌하여 작성되었습니다

알라딘 : https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=269891239

쉬운 딥러닝

---

《쉬운 딥러닝》과 함께 공부해요 : )

  [이론적 배경 1] 통계와 머신러닝

  [이론적 배경 2] 뇌세포를 모방한 기계, 퍼셉트론

  [이론적 배경 3] 활성화 함수

  [이론적 배경 4] 인공신경망과 딥러닝