신경망과 퍼셉트론

교재 12장. 가장 단순한 뉴런 퍼셉트론부터, 그 한계(XOR 문제)와 돌파구인 다층 퍼셉트론·오차 역전파까지.

1. 퍼셉트론 — 인공 뉴런 한 개

입력에 가중치를 곱해 더하고(가중합), 활성화 함수(계단)를 씌워 0/1 을 출력합니다.

• : 가중치(입력의 중요도), : 편향(임계 조절)
• 가중합이 0 이상이면 발화(1), 아니면 0

1.1 행렬 표현

여러 뉴런·입력을 한 번에:

신경망 계산이 행렬 곱으로 표현되어 GPU 가속이 가능해집니다.

2. AND · OR 게이트 만들기

퍼셉트론은 입력 공간을 직선(초평면) 하나로 가릅니다. AND·OR 는 선형 분리가 가능해 적절한 w, b 로 구현됩니다.

3. 퍼셉트론 학습 알고리즘

틀릴 때마다 가중치를 오차 방향으로 조금씩 수정:

• : 학습률. 선형 분리 가능한 데이터면 수렴 보장(퍼셉트론 수렴 정리)

4. 인공지능의 겨울 — XOR 문제

XOR 은 하나의 직선으로 가를 수 없습니다(선형 분리 불가). 위 데모에서 XOR 을 눌러 확인해 보세요. 1969년 민스키·페퍼트가 이 한계를 지적하며 신경망 연구가 침체기(AI 겨울) 에 들어갑니다.

4.1 돌파구: 다층 퍼셉트론 (MLP)

은닉층(hidden layer) 을 추가하면 비선형 경계를 만들 수 있습니다. XOR 도 은닉 뉴런 2개로 해결 — 입력 공간을 휘어서 선형 분리 가능하게 변형하는 셈.

입력층 → 은닉층(비선형 활성화) → 출력층

5. 오차 역전파 (Backpropagation)

다층 신경망의 학습 핵심. 출력의 오차를 뒤쪽 층에서 앞쪽 층으로 전파하며, 연쇄 법칙(미분) 으로 각 가중치가 오차에 기여한 정도(기울기)를 계산해 경사 하강으로 갱신합니다.

→ 경사 하강법 과 편미분 이 여기서 다시 쓰입니다.

6. 왜 여러 활성화 함수가 필요할까

계단 함수는 미분이 0(또는 정의 안 됨) 이라 역전파에 못 씁니다. 그래서 미분 가능한 활성화 함수를 씁니다.

비선형 활성화가 없으면 층을 아무리 쌓아도 결국 하나의 선형 변환과 같아집니다 — 비선형성이 신경망의 표현력의 원천.

📝 Checkpoint

🔗 이어서

• 다음 장: 텐서플로로 따라하는 딥러닝
• 복습: 경사 하강법