미분 · 편미분 · 그래디언트 — 경사 하강법 선수 지식

다음 장에서 등장하는 , 같은 기호를 읽고 손으로 계산할 수 있게 만드는 게 목표입니다. 수학과처럼 깊이 들어가지 않고, 경사 하강법을 이해하는 데 필요한 만큼만.

0. 먼저 — 기호 읽는 법

한국 학교에서는 보통 dy/dx 를 "디와이 디엑스", ∂ 를 "라운드" 라고 읽습니다. 영미권은 ∂ 를 "파셜(partial)" 또는 "델(del)" 이라고 합니다.

1. 미분이란 무엇인가 — 두 줄 정의

미분 = 그래프 위 한 점에서의 접선의 기울기. = 그 지점에서 x 가 아주 조금 움직였을 때 y 가 얼마나 움직이는지의 비율.

1.1 직관 — 평균 변화율 → 순간 변화율

두 점 사이의 기울기는 쉽습니다.

이걸 할선(secant) 의 기울기라고 합니다. 그런데 우리가 원하는 건 "한 점"에서의 기울기예요.

→ Δx 를 0 에 한없이 가깝게 보내면, 할선이 점점 접선(tangent) 으로 변합니다.

이게 미분의 정의. 아래 데모에서 Δx 를 줄여 보면 회색 할선이 빨간 접선과 겹쳐지는 게 보입니다.

2. 외워야 하는 미분 규칙 (3가지면 충분)

경사 하강법에서 만나는 식은 거의 대부분 이 세 개로 끝납니다.

2.1 거듭제곱 규칙 (Power Rule)

기호가 갑자기 나오면 어렵습니다. 천천히 풀어볼게요.

우선 기호부터

• d/dx 는 "x 로 미분하라" 는 명령어. 일종의 동사예요. f'(x) 와 똑같은 뜻인데 표기만 다릅니다.
• x^n = "x 의 n 제곱" (예: x² = x 의 2제곱)

두 단계 조리법

① 지수를 앞으로 끌어내려 곱한다 ② 지수에서 1을 뺀다

손으로 따라해 보기

지수가 아무리 커도 똑같은 두 단계로 끝납니다.

두 가지 특수 케이스

x 그 자체 (사실은 x¹)

• 지수 1 을 끌어내림 → 1 · x¹
• 지수 −1 → 1 · x⁰
• x⁰ = 1 이라는 약속이 있어서 → 결과는 그냥 1

상수, 예: 7 (사실은 7 · x⁰)

• 지수 0 을 끌어내림 → 0 · 7 · x⁰
• 0 이 곱해졌으니 → 결과는 0
• 그래서 "상수의 미분은 0" 이라는 규칙이 따로 외울 필요 없이 자동으로 나와요.

왜 x² 의 미분이 2x 인가 — 정사각형 그림으로 ⭐

x² 는 한 변이 x 인 정사각형 면적입니다.

       x
    ┌──────┐
    │      │
  x │  x²  │
    │      │
    └──────┘

이 정사각형의 변을 아주 조금 (h 만큼) 늘려봅시다:

       x      h
    ┌──────┬──┐
    │      │  │   ← 추가된 띠 ①: 가로 x · 세로 h → 면적 xh
  x │  x²  │xh│
    │      │  │
    ├──────┼──┤
  h │  xh  │h²│   ← 추가된 띠 ② + 모서리 ③
    └──────┴──┘

추가된 면적 = 띠 ① + 띠 ② + 모서리 ③ = xh + xh + h² = 2xh + h²

핵심: h 가 매우 작은 수일 때 (예: h = 0.01):

• 2xh = 0.02x → 의미 있는 양
• h² = 0.0001 → 거의 0, 무시 가능

h 를 더 작게 보낼수록 모서리 ③ 은 점점 더 빨리 사라지고, 두 띠 (① + ②) 만 의미 있게 남아요.

→ x 가 h 만큼 늘 때 면적이 2xh 증가 → 단위 변화율 (h 당) = 2xh / h = 2x ✓

💡 이게 답! 정사각형의 두 변 (위·오른쪽) 에 띠가 동시에 생기니까 → 2배 (2x), 모서리는 너무 작아서 무시. 그래서 미분이 2x.

같은 논리로 — 거듭제곱 규칙의 n 이 어디서 오는가

x³ (정육면체 부피) 도 똑같이 생각하면:

• 한 변을 h 늘리면 → 세 면에 얇은 판이 추가
• 부피 증가 ≈ 3 · x² · h (모서리/구석은 무시)
• → d(x³)/dx = 3x² ✓

x^n 일반화: n 차원 도형에서 n 개의 면에 얇은 층이 추가됨 → n · x^(n-1).

💡 거듭제곱 규칙의 n 은 사실 도형의 차원 (= 면의 개수) 에서 나오는 거예요. 2x 의 2 는 정사각형의 두 변, 3x² 의 3 은 정육면체의 세 면.

수식으로 다시 — 미분의 정의로 직접 유도

위 그림을 식으로 옮기면 정확히 미분의 정의가 됩니다 (1.1절 식):

f(x) = x² 대입:

(x+h)² = x² + 2xh + h² 펼치기 → x² 와 상쇄:

(x+h)² 를 펼쳤을 때 등장하는 2xh 항이 위 그림의 두 띠, h² 가 모서리예요. h → 0 으로 보내면 모서리가 사라지고 2x 만 남음.

숫자로 검증

x = 5 에서 정사각형 면적 = 25. 변을 0.01 만큼 늘리면?

• 새 면적: 5.01² = 25.1001
• 증가량: 0.1001
• 단위 변화율: 0.1001 / 0.01 = 10.01

미분이 알려주는 값: 2 · 5 = 10 ✓ (오차 0.01 은 모서리 h² = 0.0001 때문)

x 가 클수록 가파른 이유

f'(x) = 2x 가 알려주는 또 다른 사실: x 가 클수록 기울기도 큼.

x = 3 근처에선 기울기 ≈ 6, x = 10 근처에선 기울기 ≈ 20. 정사각형 비유로 보면 당연 — 변이 길수록 추가되는 띠도 길어지니까.

직접 만져보기

n 을 1~5 로 바꾸고 x 슬라이더를 움직여 보세요. 빨간 접선의 기울기가 공식 n · x^(n-1) 의 계산 결과와 일치합니다.

합치기 — 항이 여러 개인 경우

f(x) = 3x⁴ + 5x² − 2x + 7 을 미분?

각 항에 거듭제곱 규칙을 따로 적용:

합치면 → f'(x) = 12x³ + 10x − 2

(다음 절에서 "합 규칙"으로 정리하지만, 이미 직관적으로 하고 있던 거예요.)

2.2 상수배 · 합 규칙

상수는 미분 밖으로 끄집어내고, 합은 따로따로 미분합니다.

예 f(x) = 3x² - 7x + 4 →

2.3 합성함수 규칙 (Chain Rule)

무엇을 푸는 규칙인가

지금까지는 x² 처럼 x 가 단독으로 들어간 함수를 다뤘어요. 그런데 가끔 함수 안에 또 함수가 있어요.

• (3x + 1)² ← 제곱(( )²) 안에 3x + 1 이 들어있음
• (x − 2)³ ← 세제곱 안에 x − 2
• (5x² + 7)⁴ ← 4제곱 안에 5x² + 7

이런 걸 합성함수라고 해요. 거듭제곱 규칙만 가지고는 이걸 미분 못 합니다. 체인룰(chain rule) 이 필요해요.

핵심 한 줄

(바깥 함수의 미분) × (안쪽 함수의 미분)

기호로:

복잡해 보이지만 세 단계로 나누면 쉽습니다.

세 단계 조리법

예제: h(x) = (3x + 1)² 를 미분해 봅시다.

① 바깥과 안쪽을 분리한다

• 바깥 함수: ( )² ← "뭔가를 제곱한다" 는 동작
• 안쪽 함수: 3x + 1 ← 그 "뭔가" 의 정체

② 바깥을 먼저 미분 (안쪽은 건드리지 않고 그대로)

( )² 의 미분은 거듭제곱 규칙으로 2 · ( )¹ = 2 · ( ). 괄호 안은 그대로 두고:

③ 안쪽을 미분해서 곱한다

안쪽 3x + 1 의 미분은? 3x 의 미분은 3, 1 의 미분은 0. 합치면 3.

이 3 을 ②에 곱합니다:

끝. 만약 더 풀어쓰고 싶다면 6(3x+1) = 18x + 6.

왜 안쪽을 곱해야 하는가 (직관)

x 가 1 만큼 움직였을 때 (3x+1)² 는 얼마나 변할까요?

• x 가 1 변하면, 안쪽 3x+1 은 3 만큼 변합니다 (계수 3 때문에).
• 그러면 바깥 제곱함수 입장에선 입력이 3 만큼 변한 거예요.
• 변화 = (바깥의 변화율) × (얼마나 더 빠르게 입력이 들어왔는지) = 2(3x+1) × 3

"x 의 변화가 안쪽을 통해 증폭/축소 되어 바깥에 전달된다" — 그래서 두 변화율을 곱합니다.

손으로 따라하기 — 예제 3개

또 다른 보는 방법 — 치환

머릿속에서 u = 안쪽 이라고 임시로 부르면 두 단계로 나뉩니다.

h(x) = (3x + 1)² 에서 u = 3x + 1 이라 두면:

du 가 위아래에서 약분되는 것처럼 보이죠? 이게 'chain' (사슬) 이라는 이름의 유래.

우리 강의 핵심 예제

칠판에서 본 dE/dw = 2(w − 2) 가 바로 체인룰입니다.

E = (w − 2)² + 1 에서:

합치면 dE/dw = 2(w − 2).

앞으로 자주 만날 패턴: 손실함수가 보통 (예측값 − 실제값)² 모양이에요. 예측값 안에 가중치 w 가 들어 있으니, 미분할 때 항상 체인룰이 필요합니다.

3. 편미분 (Partial Derivative)

3.1 왜 필요한가

지금까지는 변수 한 개 (y = f(x)). 그런데 실제 모델은 보통 여러 파라미터가 있어요.

• 선형 회귀 오차: E(w, b) — 변수 2 개 (w 와 b)
• 신경망: 변수가 수백만 개

이때 "한 변수만 움직였을 때 함수가 얼마나 변하나?"를 묻는 게 편미분입니다.

3.2 정의 — "나머지는 상수 취급"

기호 ∂ (라운드체) 는 "이건 편미분이지, 일반 미분이 아니야"라는 표시일 뿐, 계산은 똑같습니다. 2.1~2.3 규칙 그대로.

3.3 예제 — 손으로 풀어보기

y 로 보면 상수 취급하고 x 로 편미분:

(y² 은 x 입장에서 상수 → 미분하면 0. 3xy 는 3y 가 계수이고 x 만 변수 → 3y)

x 를 상수 취급하고 y 로 편미분:

3.4 시각적으로 보기

아래 데모는 2 변수 함수를 위에서 내려다본 등고선입니다. 점을 옮기면 두 슬라이스 곡선이 같이 움직여요. 각 슬라이스의 접선 기울기가 그 위치의 편미분.

4. 그래디언트 (Gradient) — 편미분들을 묶은 벡터

기호 ∇ 는 나블라(nabla) 또는 델(del). 의미:

그 지점에서 함수가 가장 가파르게 증가하는 방향과 크기를 알려주는 화살표.

4.1 경사 하강법과의 연결

오차를 줄이고 싶으니, 그래디언트의 반대 방향 (-∇E) 으로 움직입니다. 이게 경사 하강법의 본질.

성분별로 풀어쓰면 다음 페이지에서 보는 그 식:

5. 한 페이지 요약

📝 Checkpoint

🔗 다음 학습

• 선형 회귀 — 사이킷런과 경사 하강법 — 방금 배운 도구로 실제 모델을 학습시키기