D.M.숑스토리

수학함수를 이용한 회귀분석

회귀분석 : 두 변수 사이의 관계에 '가장 근접한' 선형 관계를 찾아내는 것.

선형회귀분석 모델의 구조는 선형판별함수와 동일합니다.

(표준)선형회귀분석 : 모델을 데이터에 맞추기 위한 방법(오차를 줄여나가는 방법)

최소제곱회귀분석 : 오찻값의 제곱의 합계나 평균값을 최소화. 계산편리성으로 널리 사용됩니다. 하지만 민감하게 반응한다는 단점이 있습니다. 외곽의 데이터 객체가 선형함수를 상당히 왜곡시킬 수 있기 때문입니다. 최소제곱법, 또는 최소자승법, 최소제곱근사법, 최소자승근사법(method of least squares, least squares approximation)은 어떤 계의 해방정식을 근사적으로 구하는 방법으로, 근사적으로 구하려는 해와 실제 해의 오차의 제곱의 합이 최소가 되는 해를 구하는 방법으로  값을 정확하게 측정할 수 없는 경우에 유용하게 사용될 수 있으며, 특히 그 계의 방정식이 어떤 형태인지를 알고 있을 때 방정식의 상수 값들을 추정하는 데에 사용됩니다.

계층 확률 추정과 로지스틱 회귀분석

계층확률 추정 : 새로운 객체가 어떤 계층에 속할 확률을 추정하는 것입니다. 예를들어 금융, 통신 등의 분야에서의 사기사건 탐지하는 것으로 선형판별식으로 사기 당한 계좌나 거래를 찾습니다.

위험에 처할 가능성이 높은 확률을 추정할 수 있어야 함

로지스틱회귀분석 : 다른 목적함수를 선택해 계층 확률을 정확히 추정하는 모델을 만드는 절차

승산 : 사건이 일어날 가능성을 표현하는 또 다른 방법으로 선형함수 f(x)가 사건이 일어날 로그승산을 측정하는 도구로 사용됩니다.

ex ) 모델은 특징 벡터 x로 표현한 고객이 만료 후에 서비스를 해지할 것인지에 대한 로그 승산을 추정할 수 있습니다.

확률 추정에 있어 로지스틱 회귀 분석은 분류하기 위한 선형판별식이나 수치형 타겟값을 추정하기 위한 선형 회귀분석과 동일한 선형 모델 사용

로지스틱 회귀모델이 계산한 값은 계층에 속할 로그 승산입니다. 로그승산은 계층에 속할 확률로 변환할 수 있으므로, 로지스틱 회귀분석을 계층에 속할 확률모델과 똑같이 생각할 수 있습니다.

로지스틱 회귀분석 : 수학적 세부사항

사건이 발생할 확률 추정치 : 

사건이 발생하지 않을 확률 추정치 : 

g함수는 객체 x에 대한 특징이 주어졌을 때 모델 x의 실제 계층을 추정할 수 있는 확률 계산 일렬의 가중치(w)가 파라미터가 됩니다.

최고유망모델 : 합계값이 가장 높은 모델로 평균적으로 양성 데이터일 때 가장 높은 가능성을 가지고, 음성데이터일 때 가장 낮은 가능성을 가집니다.

사례 : 로지스틱 회귀분석과 트리유도 비교

공통점

분류트리와 선형 분류자 : 모두 선형 결정 경계 사용

차이점

분류트리 : 객체공간 축에 직교하는 선으로 나타나는 결정 경계를 사용, 하나의 속성만 선택 객체공간을 반복해서 분할해, 객체를 매우 작은 영역까지 잘라낼 수 있습니다.

선형분류자 : 결정 경계는 방향 제한이 없음. 전체 속성에 대한 가중치 조합 사용합니다. 단 하나의 결정 경계로 경계의 방향은 자유롭짖만 두개의 세그먼트로 분할해야 합니다.

특징의 차이로 주어진 데이터 세트에 어느 모델이 더 잘 맞는지는 사전에 판단하기 어렵습니다.

비선형 함수, 지원벡터기계(SVM), 신경망

함수에 더 복잡한 특징을 추가하면 실제로 선형함수로 비선형모델 표현이 가능합니다. 파라미터를 복잡한 비선형 함수에 맞추는 바업에 기반한 기술은 비선형 지원 벡터기계와 신경망 계열에 주로 사용됩니다.

비선형지원벡터기계 : 본질적으로 복잡한 항목을 추가해 선형모델을 데이터에 맞출 수 있게 해주는 기법을 체계화 한 것으로 다항식 커널로 비선형 지원벡터기계를 구현 할 수 있습니다.

커널함수 : SVM에 원래의 특징을 다른 특징 공간에 대응 시키는 함수입니다.

신경망 : 모델을 스택구조로 층층이 쌓는 방법입니다. 일반적으로 최상위 계층에서만 타겟 변숫값 사용합니다.

가장 아래 계층은 로지스틱회귀분석을 주로 사용하고 윗 계층은 아래계층에 대한 계산결과로 다른 모델 만듭니다.

적합화 함수에 기반해 목적함수 결정하고 최적화 절차를 통해 거대하고 복잡한 함수에 가장 적합한 파라미터를 알아낼 수 있습니다.

다만 범용적으로 적용하기 보다는 특정 훈련 데이터 세트에만 잘 맞게 됨

데이터에 대한 모델 적합화 요약

함수 적합화는 파라메트릭 함수 모델링을 뜻하며, 데이터 마이닝으로 적합화할 파라미터가 데이터 속성들의 가중치가 됩니다. 함수를 적합화를 위해 주로 동일한 선형모델 구조, 즉 속성값들의 가중치 합을 사용하며 선형모델링 기법에는 SVM, 로지스틱 회귀분석, 선형 회귀분석과 같은 선형 판별식을 사용합니다. 그러나 각 기법은 서로 다른 함수를 사용하기 때문에 차이가 날 수 있습니다.

데이터 모델링에 있어 상당히 다른 두 가치 기법 : 트리유도와 함수 적합화

모델을 평가할 수 있는 두 가지 기준 : 모델의 예측 성능과 정보성

동일한 데이터 세트에 대해 여러 모델을 만들어 보면 데이터에 대한 통찰력을 얻을 수 있습니다. 다만 모델을 데이터에 맞추다 보면 데이터 세트에 우연히 들어간 구조를 발견하게 되는 데 이를 과적합화라고 부릅니다.

2017/05/27 - [Cyong's 마케팅/Data Science] - [Data Science] Ch.3 데이터에 대한 모델 적합화(수학 함수를 통한 분류)

2017/05/24 - [Cyong's 마케팅/Data Science] - [Data Science] Ch2. 트리구조모델

2017/03/25 - [Cyong's 마케팅/Data Science] - [Data Science] Ch1. 예측모델링_정보전달하는 속성 찾아내기

부정적분의 치환적분법에서 x=g(t)로 놓으면

여기서

라고 하면

또, x=g(t) 에서 a=g(α), b=g(β)라 하면

따라서

x=g(t)가 미분가능하고, a=g(α), b=g(β)라 하면

2017/05/10 - [Cyong's Mathmatics] - 정적분의 성질

2017/05/11 - [Cyong's Mathmatics] - 정적분의 활용-넓이편

2017/05/12 - [Cyong's Mathmatics] - 정적분의 활용-부피편

2017/05/13 - [Cyong's Mathmatics] - 부정적분의 치환적분

일반적으로 부정적분

에서 x를 다른 변수 t의 함수 x=g(t)로 놓으면 F(x)=F(g(t))가 됩니다.

F(x)를 t에 대하여 미분하면 합성함수의 미분법에 의하여

따라서

이와 같이 x=g(t)로 놓아 변수 x를 t의 함수로 치환하여 적분하는 방법을 치환적분법이라고 합니다.

치환적분법을 이용하여 부정적분

를 구해보도록 하겠습니다.

u=f(x)로 놓으면

이므로

따라서 아래와 같은 공식이 성립합니다.

2017/05/07 - [Cyong's Mathmatics] - 여러 가지 함수의 부정적분

2017/05/05 - [Cyong's Mathmatics] - 부정적분

2017/05/04 - [Cyong's Mathmatics] - 부정적분의 기본 성질

정적분을 통해서 여러가지를 구할 수 있습니다.

그 두번째 시간! 바로 그래프의 부피입니다.

아래의 그림과 같이 어떤 입체도형이 주어져 있고 한 직선을 x축으로 정하였을 때,

 x좌표가 a, b인 두 점을 지나 x축에 수직인 두 평면 사이에 있는 부분의 부피를 구해보도록 하겠습니다.

x축 위의 구간 [a,b]를 n등분하여 양 끝점과 분점을 차례로

라 하고, 소구간의 길이를 Δx라고 합시다.

또, 좌표가 인 점을 지나 x축에 수직인 평면으로 입체를 잘랐을 때,

생기는 단면의 넓이를 라고 하면, 밑면의 넓이가 이고 높이가 Δx인 k번째 기둥의 부피는 이므로 n개의 기둥의 부피의 합

따라서 구하는 입체의 부피 V는 구분구적법과 정정분의 정의에 의하여

함수 f(x)가 구간[a,b]에서 연속일 때, 곡선 y=f(x)를 x축의 둘레로 회전시켜서 생기는 회전체의 부피V를 구해보도록 하겠습니다.

위의 그림과 같이 x좌표가 x인 점을 지나 x축에 수직인 평면으로 이 회전체를 자르면, 그 단면은 반지름의 길이가 |y|인 원이 됩니다.

그 단면의 넓이를 S(x)라고 하면

따라서, 구하는 회전체의 부피

마찬가지로 구간 [c,d]에서 곡선 x=g(y)를 y축의 둘레로 회전시킬 때 생기는 회전체의 부피를 같은 방법으로 구하면 아래와 같이 나타낼 수 있습니다.

2017/05/11 - [Cyong's Mathmatics] - 정적분의 활용-넓이편

2017/05/08 - [Cyong's Mathmatics] - 정적분의 정의

2017/05/09 - [Cyong's Mathmatics] - 미적분학의 기본 정리

2017/05/10 - [Cyong's Mathmatics] - 정적분의 성질

정적분을 통해서 여러가지를 구할 수 있습니다.

그 첫번째가 바로 그래프의 넓이입니다.

㈀ 구간 [a,b]에서 f(x)≥0 일 때,

㈁ 구간 [a,b]에서 f(x)≤0 일 때,

곡선 y=f(x)는 y=-f(x)와 x축에 대하여 대칭이고 -f(x)≥0 이므로

㈂  구간 [a,c]에서 f(x)≤0 이고, 구간 [c,b]에서 f(x)≥0 일 때,

곡선과 y축 사이의 넓이는 곡선과 x축 사이의 넓이를 구할 때와 같이 생각하여 구하면 됩니다.

즉, x=g(y)가 구간[c,d]에서 g(y)≥0 이면 곡선 x=g(y)와 y축 및 두 직선 y=c, y=d로 둘러싸인 도형의 넓이

g(y)≤0 일 때의 넓이는 앞에서와 같이

따라서 아래 그림과 같이 x=g(y)가 주어질 때 구간[c,d]에서 곡선 x=g(y)와 y축 사이의 넓이

2017/05/10 - [Cyong's Mathmatics] - 정적분의 성질

2017/05/09 - [Cyong's Mathmatics] - 미적분학의 기본 정리

2017/05/08 - [Cyong's Mathmatics] - 정적분의 정의

두 함수 f(x), g(x)의 부정적분을 각각 F(x), G(x)라고 하면

와 같은 정적분의 성질을 가집니다.

2017/05/05 - [Cyong's Mathmatics] - 부정적분

2017/05/04 - [Cyong's Mathmatics] - 부정적분의 기본 성질

2017/05/07 - [Cyong's Mathmatics] - 여러 가지 함수의 부정적분

2017/05/09 - [Cyong's Mathmatics] - 미적분학의 기본 정리

2017/05/08 - [Cyong's Mathmatics] - 정적분의 정의

함수 y=f(t)가 구간 [a,b]에서 연속이고 f(t)≥0 이라고 하면

아래 그림과 같이 구간 [a,b]에 속하는 임의의 x에 대하여 a에서 x까지의 곡선 y=f(t)와 t축 사이의 넓이를 S(x)라 하면

이 때, x의 증분 Δx(Δx>0)에 대하여 S(x)의 증분을 ΔS라고 하면

ΔS=S(x+Δx)-S(x).

한편,

구간 [x,x+Δx]에서 함수 f(t)는 연속이므로 최대값과 최소값을 각각 M,m이라고 하면

mΔx≤ΔS≤MΔx

여기서 Δx→0 이면

함수 f(t)는 [a,b]에서 연속함수이므로

Δx→0 이면 m→f(x), M→f(x)

적분과 미분의 관계에서 S'(x)=f(x)이므로 S(x)는 f(x)의 부정적분입니다.

여기서 f(x)의 또 다른 부정적분의 하나를 F(x)라고 하면 아래와 같은 식이 성립합니다

(C는 적분상수)……ⓐ

S(x)의 정의에 의하여 x=a이면 S(a)=0이므로 ⓐ에서

이것을 ⓐ에 대입하면

이 식에 x=b(a<b)를 대입하고 적분변수 t를 x로 바꾸면

……ⓑ

이 것을 정적분의 기본 정리라고 합니다.

이때 ⓑ의 우변 F(b)-F(a)를 기호로 아래와 같이 나타낼 수 있습니다.

지금까지는 a<b 일 때

정적분 를 정의하였으나,

a=b, a>b일 때에는 아래와 같이 정의할 수 있습니다.

위의 정의에 의하여 a>b이고 F'(x)=f(x)일 때,

따라서 정적분의 기본정리는 아래끝, 위끝의 대소에 관계없이 항상 성립한다.■

2017/05/08 - [Cyong's Mathmatics] - 정적분의 정의

2017/05/07 - [Cyong's Mathmatics] - 여러 가지 함수의 부정적분

2017/05/05 - [Cyong's Mathmatics] - 부정적분

2017/05/04 - [Cyong's Mathmatics] - 부정적분의 기본 성질

어떤 함수 F(x) 의 도함수가 f(x) 일 때,

즉

F'(x)=f(x)

일 때,

F(x)를 f(x)의 부정적분 또는 원시함수라 하고 기호로는

와 같이 나타낼 수 있습니다. 이때, 함수 f(x) 를 피적분함수라고 합니다.

함수 f(x)의 부정적분을 구하는 것을 f(x)를 적분한다고 하며, 그 계산 방법을 적분법이라고 합니다.

일반적으로 함수 F(x), G(x)가 모두 함수 f(x)의 부정적분이면

이므로 다음이 성립한다.

그런데 도함수가 0인 함수는 상수함수이므로 상수를 C라고 하면

따라서 함수 f(x)의 부정적분 중의 하나를 함수 F(x)라고 하면 함수 f(x)의 임의의 부정적분은

F(x)+C (C는 상수)

인 꼴로 나타낼 수 있습니다.

이때, 상수 C를 적분상수라고 합니다.

다시 말해

F'(x)=f(x)일 때,

(단, C는 적분상수)

2017/04/16 - [Cyong's Mathmatics] - 함수의 미분법

2017/04/15 - [Cyong's Mathmatics] - 미분법의 기본 공식

2017/04/14 - [Cyong's Mathmatics] - 도함수의 정의

앞선 포스팅에

2017/05/02 - [Cyong's Mathmatics] - 접선의 기울기의 증가와 감소 그리고 변곡점

2017/05/01 - [Cyong's Mathmatics] - 함수의 극대와 극소

2017/04/30 - [Cyong's Mathmatics] - 함수의 증가와 감소

2017/04/09 - [Cyong's Mathmatics] - 연속함수의 성질

2017/04/07 - [Cyong's Mathmatics] - 함수의 연속과 불연속

에서 알수 있듯이

함수 y=f(x)가 구간 [a,b]에서 연속이면 이 구간에서 f(x)는 반드시 최대값과 최소값을 갖습니다.

구간 [a,b] 에서 함수 y=f(x)의 최대값과 최소값을 구하기 위해서는

이 구간에서 함수 y=f(x)의 극대값과 극소값 및 양 끝점의 함수값 f(a), f(b) 을 비교하여

그 중에서 가장 큰 값과 가장 작은 값을 찾으면 됩니다.

case1) 양끝점이 모두 최솟값, 최댓값인 경우

case2) 극솟값이 최솟값인 경우

case3) 극대값과 극솟값이 최솟값, 최댓값인 경우

2017/05/02 - [Cyong's Mathmatics] - 접선의 기울기의 증가와 감소 그리고 변곡점

2017/05/01 - [Cyong's Mathmatics] - 함수의 극대와 극소

2017/04/30 - [Cyong's Mathmatics] - 함수의 증가와 감소

2017/04/16 - [Cyong's Mathmatics] - 함수의 미분법

2017/04/09 - [Cyong's Mathmatics] - 연속함수의 성질

2017/04/07 - [Cyong's Mathmatics] - 함수의 연속과 불연속

2017/04/08 - [Cyong's Mathmatics] - 다양한 함수의 연속성

2017/04/02 - [Cyong's Mathmatics] - 함수의 극한 정리

곡선 y=f(x) 가 어떤 구간에서

f''(x)>0 이면 x가 증가할 때 f'(x)는 증가하므로 접선의 기울기는 증가합니다.

이 때,

곡선 y=f(x) 는 이 구간에서 아래로 볼록 또는 위로 오목이라고 합니다.

또,

곡선 y=f(x) 가 어떤 구간에서

f''(x)<0 이면 x가 증가할 때 f'(x)는 감소하므로 접선의 기울기는 감소합니다.

이 때,

곡선 y=f(x) 는 이 구간에서 위로 볼록 또는 아래로 오목이라고 합니다.

곡선 y=f(x) 위에 있는 한 점의 좌우에서 곡선이 오목에서 볼록으로, 또는 볼록에서 오목으로 바뀔 때, 이 점을 변곡점이라고 합니다.

다시말해 f''(x)=0 이고, x=a 의 좌우에서 f''(x)의 부호가 바뀌면 점(a,f(a))는 함수 y=f(x)의 변곡점입니다.

아래 그림에서 점(a,f(a))가 함수 y=f(x)의 변곡점입니다.

2017/05/01 - [Cyong's Mathmatics] - 함수의 극대와 극소

2017/04/30 - [Cyong's Mathmatics] - 함수의 증가와 감소

2017/04/16 - [Cyong's Mathmatics] - 함수의 미분법

2017/04/15 - [Cyong's Mathmatics] - 미분법의 기본 공식

2017/04/14 - [Cyong's Mathmatics] - 도함수의 정의

2017/04/13 - [Cyong's Mathmatics] - 미분가능성과 연속성