대칭행렬로 만든 이차식(이차형식)이 원점을 뺀 모든 곳에서 양수이면 그 행렬은 양의 정부호다. 그래프로 그리면 어느 방향으로 가도 올라가는 그릇 모양이라, 바닥(최솟점)이 딱 하나 있다. 최적화의 “극소 판정”, 공분산 행렬, 최소제곱에 나오는 행렬이 모두 이 성질을 가진다. 판정은 고윳값, 피벗, 왼쪽 위 행렬식 중 무엇으로 해도 된다. 다만 성분이 모두 양수라고 양의 정부호인 것은 아니다.
예시로 보기
\(S = \begin{pmatrix}2 & -1\\ -1 & 2\end{pmatrix}\)로 만든 식은
\[\mathbf{x}^\top S\mathbf{x} = 2x^2 - 2xy + 2y^2 = x^2 + y^2 + (x - y)^2.\]세 제곱의 합이라 \((x, y) \ne (0, 0)\)이면 늘 양수다. 그래프는 원점이 바닥인 그릇이다. 반면 \(\begin{pmatrix}1 & 2\\ 2 & 1\end{pmatrix}\)의 식 \(x^2 + 4xy + y^2\)은 \((1, -1)\)에서 \(1 - 4 + 1 = -2\)로 음수다. 한쪽은 올라가고 한쪽은 내려가는 말안장이다. \(S\)가 아래 정의의 행렬, \(x^2 + y^2 + (x - y)^2\)이 에너지다.
왼쪽 등고선은 원점을 둘러싼 타원이라, 어느 방향으로 가도 값이 올라간다. 오른쪽은 점선 두 개를 경계로 값이 음수인 영역(주황)이 생기고, 점 \((1, -1)\)에서 \(-2\)다1.
정의
대칭행렬 \(S\)가 모든 \(\mathbf{x} \ne \mathbf{0}\)에서 \(\mathbf{x}^\top S\mathbf{x} > 0\)이면 양의 정부호, \(\ge 0\)이면 양의 준정부호라 한다. \(\mathbf{x}^\top S\mathbf{x}\)를 이차형식(에너지)이라 한다2.
대칭행렬 \(S\)에 대해 다음은 동치다.
- \(S\)는 양의 정부호다.
- 고윳값이 모두 양수다.
- 소거의 피벗이 모두 양수다(행 바꾸기 없이).
- 왼쪽 위 \(k \times k\) 부분행렬의 행렬식이 \(k = 1, \dots, n\) 모두 양수다(실베스터 판정).
- 열이 독립인 어떤 \(A\)로 \(S = A^\top A\)라 쓸 수 있다.
증명 (1 ⇔ 2, 5 ⇒ 1)
(2 ⇒ 1) 스펙트럼 정리로 \(S = Q\Lambda Q^\top\). \(\mathbf{y} = Q^\top\mathbf{x}\)로 두면 \(\mathbf{x}^\top S\mathbf{x} = \mathbf{y}^\top\Lambda\mathbf{y} = \sum\lambda_iy_i^2\). \(\mathbf{x} \ne \mathbf{0}\)이면 \(\mathbf{y} \ne \mathbf{0}\)이고(\(Q\) 가역) 모든 \(\lambda_i > 0\)이라 양수다.
(1 ⇒ 2) 고유벡터 \(\mathbf{q}\)를 넣으면 \(\mathbf{q}^\top S\mathbf{q} = \lambda\Vert \mathbf{q}\Vert ^2 > 0\)이라 \(\lambda > 0\).
(5 ⇒ 1) \(\mathbf{x}^\top A^\top A\mathbf{x} = \Vert A\mathbf{x}\Vert ^2 \ge 0\)이고, 열이 독립이라 \(\mathbf{x} \ne \mathbf{0}\)이면 \(A\mathbf{x} \ne \mathbf{0}\)이어서 양수다.
1 ⇒ 5(예: 숄레스키 분해로 \(A\)를 만든다)와 3, 4와의 동치는 [증명 생략: Strang 5판 6.5절]. ∎
\(2 \times 2\)에서 3과 4는 한 줄이다. \(\begin{pmatrix}a & b\\ b & c\end{pmatrix}\)의 피벗은 \(a\)와 \(\frac{ac - b^2}{a}\)이라, \(a > 0\)이고 \(ac - b^2 > 0\)이면 양의 정부호다.
flowchart LR
P1["1. 모든 x ≠ 0에서 xᵀSx > 0"]
P2["2. 고윳값이 모두 양수"]
P3["3. 피벗이 모두 양수"]
P4["4. 왼쪽 위 행렬식이 모두 양수"]
P5["5. 열이 독립인 A로 S = AᵀA"]
P2 -->|"스펙트럼 정리"| P1
P1 -->|"고유벡터 대입"| P2
P5 --> P1
P1 -.->|"증명 생략"| P5
P1 -.-|"증명 생략"| P3
P1 -.-|"증명 생략"| P4
P3 -.-|"왼쪽 위 행렬식 = 피벗의 누적곱"| P4
실선 화살표는 위 증명에서 보인 방향이고, 점선은 이 문서에서 증명을 생략한 연결이다3.
예제
\(S = \begin{pmatrix}2 & -1 & 0\\ -1 & 2 & -1\\ 0 & -1 & 2\end{pmatrix}\)가 양의 정부호인지 판정한다.
- 피벗: 2, 그다음 \(2 - \frac12 = \frac32\), 그다음 \(2 - \frac{1}{3/2} = \frac43\). 모두 양수다.
- 실베스터: 왼쪽 위 행렬식이 2, 3, 4로 모두 양수다(피벗의 누적곱 \(2\), \(2 \cdot \frac32\), \(3 \cdot \frac43\)).
- 결론: 양의 정부호다. 고윳값은 \(2 - \sqrt2\), 2, \(2 + \sqrt2\)로 모두 양수다.
활용
- 최적화의 극소 판정. 함수의 기울기가 0인 점에서 2차 도함수 행렬(헤세 행렬)이 양의 정부호면 그 점은 극소다. 그릇의 바닥이기 때문이다(헤세 행렬과 극값 판정).
- 공분산 행렬. 공분산 행렬은 늘 양의 준정부호다. \(\mathbf{w}^\top\Sigma\mathbf{w}\)가 \(\mathbf{w}\) 방향 분산이라 음수일 수 없다(공분산 행렬과 다변량 정규분포).
- 숄레스키 분해. 양의 정부호 \(S\)는 \(S = LL^\top\)(\(L\) 아래삼각)로 쪼개진다. LU의 절반 비용으로 연립방정식을 풀고, 다변수 정규분포 표본을 만들 때 쓴다4.
연결
- 선수: 대칭행렬과 스펙트럼 정리
- 같은 성질을 가진 행렬: 최소제곱법의 \(A^\top A\)
- 이어지는 개념: 특잇값 분해
확인 문제
C1 \(\begin{pmatrix}4 & 2\\ 2 & 3\end{pmatrix}\)이 양의 정부호인지 피벗으로 판정하라.
답: 피벗 4와 \(3 - \frac{2 \cdot 2}{4} = 2\). 모두 양수라 양의 정부호다. 행렬식 \(12 - 4 = 8 > 0\)으로도 확인된다.
C2 성분이 모두 양수인데 양의 정부호가 아닌 대칭행렬을 들라.
답: \(\begin{pmatrix}1 & 2\\ 2 & 1\end{pmatrix}\). 고윳값이 3과 \(-1\)이고, \((1, -1)\)에서 에너지가 \(-2\)다.
C3 어떤 행렬 \(A\)든 \(A^\top A\)가 양의 준정부호인 이유는?
답: \(\mathbf{x}^\top A^\top A\mathbf{x} = (A\mathbf{x})^\top(A\mathbf{x}) = \Vert A\mathbf{x}\Vert ^2 \ge 0\)이다. \(A\)의 열이 독립이면 \(\mathbf{x} \ne \mathbf{0}\)에서 \(A\mathbf{x} \ne \mathbf{0}\)이라 양의 정부호다.
-
23_positive-definite_plot.py로 그렸고, 두 행렬의 고윳값(모두 양수, \(3\)과 \(-1\)), \((1, -1)\)에서의 값 \(-2\), 제곱합 표현을 같은 코드로 확인했다. ↩
-
Strang, Introduction to Linear Algebra 5판, 6.5절 “Positive Definite Matrices”(에너지 \(\mathbf{x}^\top S\mathbf{x}\), 다섯 가지 판정, \(A^\top A\), 숄레스키). ↩
-
이 문서
정의의 판정법 1~5, 증명(1 ⇔ 2, 5 ⇒ 1, 3·4는 증명 생략),예제의 “피벗의 누적곱”을 옮겼다(Strang 5판 6.5절). ↩ -
숄레스키 분해의 연산 수가 LU의 약 절반(\(\frac13n^3\))이라는 것과, 공분산 \(\Sigma = LL^\top\)로 \(L\mathbf{z}\)(\(\mathbf{z}\)는 표준정규)를 만들어 다변수 정규 표본을 얻는 방법은 수치 선형대수·통계 계산의 표준 내용이다. ↩