12강에서는 변화율을 미분으로 읽었고, 14강에서는 그 변화를 누적해 전체량을 보았습니다. 16강에서는 한 단계 더 가서, 변화율 자체가 법칙으로 주어지는 상황을 다룹니다. 이것이 미분방정식입니다. 미분방정식은 어떤 순간의 상태가 다음 변화를 어떻게 결정하는지를 말해 주고, 그 결과 시간 전체에 걸친 움직임을 설명합니다. 이런 관점을 동역학이라고 합니다.

먼저 알아둘 말

상태: 어떤 순간의 시스템을 설명하는 값이다.
시간변화율: 시간이 아주 조금 흐를 때 상태가 얼마나 변하는지를 나타내는 값이다.
미분방정식: 미지의 함수와 그 도함수 사이의 관계를 주는 방정식이다.
초기조건: 출발 시점의 상태를 정하는 조건이다.
해: 주어진 미분방정식과 초기조건을 모두 만족하는 함수다.
동역학: 시간이 흐르며 상태가 변하는 법칙과 그 움직임 전체를 보는 관점이다.
평형점: 변화율이 0이어서 시간이 지나도 상태가 그대로인 점이다.
안정성: 평형점 근처에서 시스템이 그 점으로 돌아오는지, 멀어지는지를 나타내는 성질이다.

이 강의에서 답할 질문

미분방정식은 왜 숫자 하나가 아니라 함수 전체를 찾는 문제인가?
왜 변화율의 법칙만으로는 충분하지 않고 초기조건이 필요한가?
평형점은 왜 장기 거동을 이해하는 데 중요한가?
안정적이라는 말과 불안정하다는 말은 무슨 뜻인가?
경사하강법과 연속시간 동역학은 어떻게 연결되는가?

먼저 떠올릴 장면

통장 잔고가 현재 금액에 비례해 불어나면 시간이 갈수록 더 빨리 늘어납니다.
뜨거운 물은 주변 온도와의 차이에 비례해 식을 수 있습니다.
현재 파라미터가 다음 업데이트 방향을 정하는 학습 과정도 일종의 동역학처럼 볼 수 있습니다.

생각의 순서

먼저 미분방정식이 변화 법칙이라는 뜻을 봅니다.
그다음 초기조건이 왜 꼭 필요한지 봅니다.
이어서 가장 기본적인 지수성장/감쇠 예를 풉니다.
그다음 평형점과 안정성으로 장기 거동을 읽습니다.
마지막으로 최적화와 연속시간 흐름으로 연결합니다.

본문

일반 방정식은 어떤 수를 찾는 문제입니다. 예를 들어

$$ x+3=5 $$

는 하나의 숫자

$$ x $$

를 찾습니다.

하지만 미분방정식은 다릅니다. 방정식 안에 함수의 도함수, 즉 변화율이 들어 있기 때문에, 어떤 순간의 값 하나가 아니라 시간 전체에 걸친 함수를 찾아야 합니다.

예를 들어

$$ \frac{dx}{dt}=ax $$

를 봅시다. 이 식은 단순히 x가 얼마냐를 묻지 않습니다. 대신 상태 x의 변화 속도는 현재 상태 x에 비례한다는 법칙을 줍니다.

이 말은 매우 중요합니다.

현재 값이 크면 변화도 크게 일어납니다.
현재 값이 작으면 변화도 작게 일어납니다.
즉 미래의 변화가 현재 상태에 의해 결정됩니다.

바로 이런 구조 때문에 미분방정식은 동역학의 언어가 됩니다.

그런데 이 법칙만으로는 해가 하나로 정해지지 않습니다. 왜냐하면 같은 변화 법칙을 따르더라도 출발점이 다르면 전혀 다른 곡선이 나올 수 있기 때문입니다. 그래서 초기조건이 필요합니다.

예를 들어

$$ \frac{dx}{dt}=ax $$

의 해는

$$ x(t)=Ce^{at} $$

꼴입니다.

여기서

$$ C $$

는 아직 정해지지 않은 상수입니다. 즉 변화 법칙만 알면 가능한 해들의 가족만 알 수 있습니다. 출발점

$$ x(0)=x_0 $$

를 주어야

$$ C=x_0 $$

가 되어

$$ x(t)=x_0e^{at} $$

처럼 해가 하나로 정해집니다.

그래서 초기조건은 단순한 부가정보가 아니라, 시스템이 실제로 어느 궤적을 따라갈지 결정하는 핵심 정보입니다.

이제 이 해를 읽어 봅시다.

먼저

$$ a>0 $$

이면 지수적으로 성장합니다.

반대로

$$ a<0 $$

이면 지수적으로 감소합니다.

또

$$ a=0 $$

이면 상태가 그대로 유지됩니다.

즉 같은 식

$$ \frac{dx}{dt}=ax $$

라도 상수

$$ a $$

의 부호에 따라 장기 거동이 완전히 달라집니다.

동역학에서는 특히 평형점이 중요합니다. 평형점은 변화율이 0이 되는 상태입니다. 그 점에 들어가면 시간이 지나도 더 이상 움직이지 않습니다.

예를 들어

$$ \frac{dx}{dt}=x(1-x) $$

에서는

$$ x(1-x)=0 $$

이 되는

$$ x=0,\qquad x=1 $$

이 평형점입니다.

하지만 평형점이라고 해서 모두 같은 역할을 하는 것은 아닙니다. 어떤 평형점은 가까이 가면 다시 그 점으로 끌려오고, 어떤 평형점은 조금만 벗어나도 멀어집니다. 이것이 안정성과 불안정성입니다.

직관적으로 보면,

주변 궤적이 평형점으로 모이면 안정적
주변 궤적이 평형점에서 멀어지면 불안정

합니다.

이 생각은 장기적으로 시스템이 어디에 머무를지 예측하는 데 중요합니다. 학습 알고리즘에서도 어떤 점이 안정적인지, 작은 흔들림이 사라지는지 커지는지를 보는 것은 매우 중요합니다.

AI와의 연결도 직접적입니다. 경사하강법은 이산적인 업데이트 규칙이지만, 연속시간으로 보면 다음과 같은 흐름처럼 읽을 수 있습니다.

$$ \frac{d\theta}{dt}=-\nabla L(\theta) $$

이 식은 파라미터

$$ \theta $$

가 손실

$$ L $$

를 가장 빠르게 줄이는 방향으로 계속 이동한다는 뜻입니다. 즉 최적화도 현재 상태가 다음 변화를 결정한다는 점에서 동역학입니다.

결국 미분방정식의 핵심은 현재 상태, 변화율, 다음 상태의 연결을 보는 것입니다. 그리고 동역학은 이 연결이 시간 전체에 걸쳐 어떤 궤적을 만드는지 읽는 언어입니다.

예제

지수성장 해 구하기 문제: 다음 미분방정식의 해를 구하라.

$$ \frac{dx}{dt}=2x, \qquad x(0)=3 $$

풀이: 일반해는

$$ x(t)=Ce^{2t} $$

이다. 초기조건

$$ x(0)=3 $$

을 넣으면

$$ C=3 $$

이므로

$$ x(t)=3e^{2t} $$

이다.

해설: 현재 값에 비례해 증가하므로 지수함수가 해가 된다. 초기조건이 출발 크기를 정한다.

평형점 찾기 문제: 다음 식의 평형점을 구하라.

$$ \frac{dx}{dt}=x(1-x) $$

풀이: 평형점은 변화율이 0인 점이므로

$$ x(1-x)=0 $$

에서

$$ x=0,\qquad x=1 $$

이다.

해설: 이 두 점에서는 시간이 지나도 상태가 더 이상 변하지 않는다.

동역학으로 최적화 읽기 문제: 왜 경사하강법을 동역학처럼 볼 수 있는가?

풀이: 현재 파라미터가 gradient를 통해 다음 이동 방향을 결정하기 때문이다.

해설: 현재 상태가 미래 변화를 정한다는 구조가 같기 때문에, 최적화도 동역학의 관점에서 이해할 수 있다.

스스로 점검

미분방정식이 왜 숫자 하나가 아니라 함수 전체를 찾는 문제인지 설명할 수 있는가?
초기조건이 왜 해를 하나로 정하는지 설명할 수 있는가?
식

$$ \frac{dx}{dt}=ax $$

에서

$$ a $$

의 부호에 따라 거동이 어떻게 달라지는지 말할 수 있는가? 4. 평형점이 무엇인지, 안정적이라는 말이 무엇인지 설명할 수 있는가? 5. 식

$$ \frac{d\theta}{dt}=-\nabla L(\theta) $$

를 최적화의 동역학으로 읽을 수 있는가?