[딥러닝] AI Winter과 Propagation 역전파

 

 

 

0. 딥러닝의 탄생 배경 

 

딥러닝 연구자들의 궁극적인 꿈은 생각하는 기계를 만드는 것이었습니다. 그러다 보니 자연스럽게 뇌를 공부하게 되었습니다. 

 

뇌에는 뉴런이라는 유닛이 단순 동작하면서도 굉장히 복잡한 기능을 수행할 수 있게 됩니다. 어떻게 이런 간단한 유닛이 복잡하게 연결되어 여러 가지 시너지를 만들 수 있었던 것일까요?

 

뉴런에는 값에 대한 '역치'라는 것이 있습니다. 뉴런에 입력되는 값이 역치 즉 기준치 이상이면 활성화되지만 낮다면 활성화되지 않습니다. 이런 모습을 본 딴 것이 바로 activation functions, 한글로 활성함수입니다. 

 

뉴런에 입력되는 인풋을 x라고 표현한다면 뉴런 내의 weight가 x에 곱해진 값과 bias라는 편향이 더해져 결과 output y를 만듭니다. 이 아웃풋 y가 역치 이상일 때 활성화되는 것입니다. 

 

 

 

1. 초기 딥러닝 

초기 딥러닝 시대에서는 이런 뉴런의 모습을 본따 선을 꼬아 만든 하드웨어를 만든 적이 있습니다. 각 하드웨어에 연결된 선에는 weight 값을 다이얼을 돌려 바꾸면서 출력 값을 변환할 수 있었습니다. 이렇게 하드웨어가 나타나자, 많은 관심을 끌었고 너도나도 호황된 약속을 하기 시작했습니다. 

 

58년 기사를 보면 

https://www.nytimes.com/1958/07/08/archives/new-navy-device-learns-by-doing-psychologist-shows-embryo-of.html

NEW NAVY DEVICE LEARNS BY DOING; Psychologist Shows Embryo of Computer Designed to Read and Grow Wiser (Published 1958)

 

 

 

The Navy revealed the embryo of an electronic computer today that it expects will be able to walk, talk, see, write, reproduce itself and be conscious of its existence.

그들은 혼자서 걷고 말하고 보고 쓰고 생성하는 컴퓨터를 공개했다

 

 

 

이런 호황된 말로 선전했지만 곧 관심은 거품 꺼지듯이 사그러들었다고 합니다. 

 

 

 

 

 

 

2. 딥러닝 겨울과 Backpropagation의 등장

사실 초기 딥러닝에는 큰 문제가 있었는데 바로 XOR 문제였습니다. 

 

단순한 AND/OR 문제는 덧셈 곱셈 등으로 해결할 수 있었지만, XOR 문제는 해결이 불가능했었습니다. 한 학자가 Perceptions 라는 저널에서 발표하길 퍼셉트론이 XOR과 같은 비선형적으로 분리할 수 없는 함수를 해결할 수 없다는 것을 보여주었습니다.

 

따라서 이 학자의 발언으로 딥러닝 시대는 또 한번 크게 위축된 시기가 찾아왔었습니다. 이를 영어로 "AI winter"라고도 부릅니다. 

 

 

 

그러다 80년대, 한 사람이 'Backpropagation'을 발표하면서 문제가 해결됩니다. Backpropagation 또는 역전파는 다층 퍼셉트론(MLP)에서 가중치를 효율적으로 훈련시키는 방법을 의미합니다. 다층 퍼셉트론은 입력층과 출력층 사이에 적어도 하나의 은닉층을 갖는 신경망으로, XOR과 같은 비선형 함수를 학습할 수 있게 해줍니다. 실질적으로 네트워크가 오류를 '학습'하게 하여 이를 계층을 통해 역으로 전파하게 합니다.
 

 

 

또 다른 사람은 재밌는 사실을 발견하기도 했습니다. 바로 고양이가 그림을 볼 때 특정 뉴턴만 활성화된다는 사실입니다. 이는 한 가지 일을 할 때 필요한 신경망이 일부일수 있다는 점을 시사했고 이런 사실은 이후 convolutional neural network처럼 학습을 모두 확인하는 것이 아니라 부분을 잘라서 보고 나중에 합치는 방식으로 이어지기도 했습니다.

 

 

 

 

 

3. Real Deep learning 

이후에도 꾸준히 딥러닝은 발전했습니다. 역전파는 10개 이상의 레이어가 쌓이면 학습이 어려웠습니다. 이를 해결하기 위해 이후 dropout이나 residual learning 이 등장하기도 했습니다. 데이터셋의 중요성을 시사하는 이미지넷 데이터셋이 등장하기도 했고 긴 문장을 읽을 수 있는 트랜스포머 모델이 나타나기도 했습니다. 

 

 

현재 게임부터 알파고 등 모두 딥러닝을 사용하고 있습니다. 유튜브의 자동완성 자막, SNS 플랫폼의 키워드 추천, 넷플릭스와 아마존 등의 콘텐츠 추천 등도 모두 인공지능을 잘 도입해서 성공한 사례라고 해도 무방합니다. 우리는 현재 지금 인공지능을 공부해야 합니다. 우리 일생활에 밀접한 관련이 있으며, 어떤 산업의 핵심 툴이기도 합니다. 툴이 많이 공개되어 있고 파이썬 등 학습을 충분히 한다면 개인도 활용하여 비즈니스나 연구를 할 수 있습니다.