티스토리

D.M.숑스토리

검색하기

블로그 홈

D.M.숑스토리

dmcyong.tistory.com/m

마케팅, Business, Big data, 애널리틱스, 금융, 경제

구독자: 2

방명록 방문하기

주요 글 목록

[Data Science] Ch.14 결정 분석적 사고_분석공학(고객 이탈관리) 앞선 포스팅에서 프로모션 사례를 통해 결정 분석적 사고에 대해 알아보았습니다.2017/07/09 - [Cyong's 마케팅/Data Science] - [Data Science] Ch.13 결정 분석적 사고_분석공학(자선 단체 후원할 가능성이 높은 후원자 타겟팅)이번 포스팅에서는 고객 이탈 관리에 대한 결정 분석적 사고를 알아보도록 하겠습니다. 사례) 고객 이탈관리(이동 통신사의 고객이탈)1. 프로모션을 제안할 적절한 고객들을 타겟팅case1) 계약 만료 시기가 다가와 이탈할 확률이 높은 고객들case2) 이탈할 경우 통신사에 미치는 영향이 큰 고객들 CH13에서 알아봤던 방식으로 기대 수익을 알아보면,타겟팅 기대 수익 : 고객이 프로모션을 응할 때의 가치(기부금) : 고객이 프로모션을 응하지 않을 때의.. 공감수 4 댓글수 0 2017. 7. 15.
[Data Science] Ch.13 결정 분석적 사고_분석공학(자선 단체 후원할 가능성이 높은 후원자 타겟팅) 기본개념 : 데이터 과학으로 비즈니스 문제를 해결하려면 분석 공학에서 시작합니다. 가용한 데이터, 도구 기법에 기반하여 분석적 해결책을 설계합니다.응용기법 : 데이터 과학 해결책을 설계하기 위한 프레임 워크로서의 기댓값. 비즈니스 문제에서의 데이터 과학의 한계복잡하고 다양한 변수 : 원칙에 따른 기법만으로 해결불가합니다.제대로 표현되지 않은 데이터 : 정보나 지식 추출불가합니다.데이터 과학만으로 비즈니스 문제를 해결하기 어렵습니다. 비즈니스 문제를 해결하기 위해서는 비즈니스에 대한 이해(분석공학)와 데이터 이해(데이터 과학)이 동반되어야 합니다.* 데이터 과학 : 원칙에 따른 기법들을 이용해 데이터로 부터 정보나 지식을 뽑아내는 학문입니다.* 분석공학 : 사용가능한 데이터 도구기법에 기반하여 분석적으로 .. 공감수 4 댓글수 0 2017. 7. 9.
[Data Science] Ch.12 텍스트 표현 및 마이닝(엔트로피와 n-그램) IDF와 엔트로피의 관계엔트로피는 어떤 집합에 적용해 무질서 정도를 측정합니다. 엔트로피는 데이터를 분류할 때 사용합니다. 순수하게 한가지 속성에 대해 데이터를 분류하고자 할 때 ,이 데이터가 우리가 분석하려는 속성에 대해 다른 값들이 얼마나 뒤섞여 있는 지를 나타내는 것이 무질서라고 하며, 이런 무질서 정도를 측정하는 것이 엔트로피입니다. 는 집합 안에서 속성 i의 확률이면 집합 안의 모든 항목이 i속성을 가진 경우이면, 집합 안에서 i속성을 가진 원소가 하나도 없는 경우 IDF와 엔트로피는 둘 다 집합 안에서 속성이 얼마나 섞여 있는지를 측정하기 때문에 비슷합니다. p(t) : 단어 t가 문서에서 나타날 확률p(t) 추정확률 : p로 표시문서 집합에서 단어 t의 유무에 대한 확률로 생각하면 T가 들어.. 공감수 2 댓글수 0 2017. 7. 3.
[Data Science] Ch.11 텍스트 표현 및 마이닝(IDF와 TFIDF) 텍스트문서 안의 단어(텍스트)는 자유로운 형태이고, 차례대로 나오며, 각 문서는 하나의 객체로 보지만, 특징에 대해선 알 수 없습니다. 데이터의 또 다른 형태이며, 데이터로 활용하기 위해선 변환이 필요합니다. 텍스트는 '비구조 데이터'라 컴퓨터는 텍스트를 인식하기 어렵습니다. 때문에 컴퓨터가 인식할 수 있도록 가공을 할 필요가 있습니다. 텍스트를 컴퓨터가 인식할 수 었도록 데이터로 표현(변환)하는 방법은 특징 벡터 형태로 변환하는 것입니다. 텍스트 처리 기본 용어토큰 : 하나의 단어코퍼스 : 문서를 모아 놓은 것, 문서의 묶음단어주머니 : 개별적인 단어의 집합(문법, 단어순서, 문장구조, 무시). 단어주머니는 모든 단어가 문서의 키워드가 될 가능성이 있습니다. 표현이 매우 간단하며, 생성하는데 연산이 적.. 공감수 3 댓글수 0 2017. 7. 2.
[Data Science] Ch.10 증거와 확률(베이즈규칙) 용어정리P(C) : C가 발생할 확률P(C|E) : 'E가 있을 확률' 또는 'E 조건 하에서 C가 발생할 확률' → 조건부 확률결합학률 : 확률 p(A)와 p(B)를 알고 있을 때, A와 B 사건 모두 일어날 확률 → P(AB)사후확률 : 증거를 확인한 후의 확률 베이즈규칙 위 식에서 B는 가설(Hypothesis) A는 증거(Evidence)라고 하면 분류에 사용하는 베이즈 규칙 p(C=c) : 계층의 사전 확률로서 어떤 증거를 확인하기 전에 계층에 할당하는 확률p(E|C=c) : 표본을 c 계층으로 분류한 후에 증거 E의 특징을 볼 수 있는 가능성p(E) : 증거가 나타날 가능성 E를 특징벡터로 생각 후 바로 적용하기 위해서는 를 계산하여 P(E|c)를 알아내야 합니다. 조건부 독립과 나이브 베이즈.. 공감수 4 댓글수 0 2017. 6. 18.
[Data Science] Ch.9 좋은 모델은 무엇인가?(비용과 효과) 비용과 효과 기댓값 계산 공식에 따라 기대효과를 계산하려면 각 결정 쌍에 대한 비용과 효과를 알아야 합니다. 각 결정 쌍에 대한 비용과 효과를 계산하면 혼동행렬과 같은 차원의 비용-효과 행렬이 만들어집니다.확률은 데이터로부터 추정할 수 있지만, 비용이나 효과는 추정할 수 없는 경우가 있습니다. 일반적으로 비용과 효과는 구체적인 비즈니스 문제 측면에서 의사 결정의 영향을 분석한 외부 정보를 의존하여 구하게 됩니다. 대부분의 경우 문제 정의와 계산을 간단히 하기 위해 개인별 구체적인 비용대비 효과 대신 비용과 효과의 평균을 사용합니다. 비용/효과 행렬이 만들어지면 확률 행렬에 항목 단위를 곱하고, 곱한 결과를 모두 더해 전체적인 기대수익을 계산합니다.여러 모델의 정확도를 계산하는 것보다는 모델이 가져다주는 .. 공감수 4 댓글수 0 2017. 6. 17.
[Data Science] Ch.8 좋은 모델은 무엇인가?(기댓값) 기댓값 기댓값은 핵심 분석 프레임워크 중 하나로 데이터 분석 문제에 대한 생각을 구조화하는 데 상당히 유용한 틀입니다. 앞서 말한대로, 기댓값은 문제를 구조화 하는 데 상당히 많이 사용되는데, 데이터에서 추출할 수 있는 분석 항목, 다른 재원으로부터 가져와야할 분석 항목을 결정하는 데 사용되기 때문입니다. 다수의 고객에 타겟 마케팅하는 경우나 다수 발생하는 문제를 진단하는 경우처럼 반복되는 작업을 한다고 가정하며 기대수익을 극대화 할 수 있습니다. 추가적인 설명을 덧붙이자면, 기댓값은 발생할 수 있는 각각의 결과에 대한 가치에 가중치(확률)를 곱한 것입니다. 예를 들어 기대수익 계산 시 확률이 높은 이익에 가충치를 높게, 확률이 낮은 이익에 가중치를 낮게 부여할 수 있습니다. 기댓값은 수학적으로는 평균값.. 공감수 4 댓글수 0 2017. 6. 12.
[Data Science] Ch.7 좋은 모델은 무엇인가?(분류자평가) 데이터 과학과 데이터 마이닝의 목적 데이터 과학과 데이터 마이닝의 경우 일이 진행됨에 따라 목적을 간과하는 경우가 많습니다. 데이터 마이닝의 목적과 결과를 일치시키지 못하는 경우, 통계 데이터를 명확하게 이해하지 못한 채 보고를 한다든가, 마이닝 결과의 성능을 의미있게 측정하는 방법을 찾지 못하는 경우가 생기게 됩니다. 하지만 대부분 데이터 마이닝의 경우 충분히 갖춰지지 않은 시스템 하에 진행되고, 데이터를 구할 때 상당히 많은 비용이 들게 되며, 인과 관계 평가가 어렵기 때문에 일치하지 않을 수 있는 요인을 감안해야 합니다. 하지만 그럼에도 진정으로 측정하려는 것이 무엇인지 주의 깊게 생각해야 하는 것은 절대 놓쳐서는 안됩니다. 목적에 맞는 데이터 대신 다른 것을 선택해야하는 경우가 생긴다면 데이터 분.. 공감수 5 댓글수 0 2017. 6. 10.
[Data Science] Ch.6 유사도 유사도(Similarity)와 거리(Distance) 유사도는 객체를 특징벡토로 표현하는 것으로 시작합니다. 특징을 정의하는 공간에서 두 객체가 가까울수록 두 객체는 더 비슷하도고 할 수 있습니다. 거리가 가까우면 유사하고 거리가 멀면 유사하지 않습니다. 즉 0에 가까울 수록 유사하다 할 수 있고 1에 가까울수록 유사하지 않다고 할 수 있습니다. 유클리드 거리 유클리드 거리는 두 가지 객체의 특징을 2차원 공간에서 (x,y)로 A, B라는 점으로 표현하고 각각의 좌표를 직각 삼각형으로 연결하고 사선의 변을 연결한 A와 B의 거리를 유클리드 거리라고 합니다. 단, 유클리드 거리는 2차원에 국한되지 않고, 3개의 특징을 가진 객체라면 (x,y,z)로 표현할 수 있습니다. 쉽게 말하자면, 어릴 때 부터 배워온.. 공감수 5 댓글수 0 2017. 6. 7.
[Data Science] Ch.5 과적합화 일반화 모델이나 모델링 프로세스의 특성윽로서 모델 제작에 사용되지 않은 모든 데이터에도 모델을 적용할 수 있는 성질을 뜻합니다. 과적합화 어떤 데이터 세트를 관찰해봄으로써 그 데이터 안에 존재하는 패털을 발견하게 되는 것으로 모델 복잡도와 과적합화 문제는 근본적으로 동전의 양면과 같은 관계입니다. 과적합화 문제는 알아내기도 쉽지 않을 뿐더러 안다하더라도 과적합화 되지 않는 데이터 마이닝 절차를 사용할 수 있는 것도 아닙니다. 과적합화를 한번에 해결할 수 있는 방법이나 절차가 없기 때문입니다. 과적합화 검사 적합도 그래프모델 복잡도에 따른 모델의 정확도를 보여주는 그래프입니다.예비 데이터(Holdout) : 타겟 변수값을 예측할 실제 데이터는 아니지만, 실험실에서 모델의 일반화 성능을 측정하기 위해 떼어 .. 공감수 4 댓글수 0 2017. 6. 3.
[Data Science] Ch.4 데이터에 대한 모델 적합화(수학 함수를 이용한 회귀분석과 로지스틱 회귀분석) 수학함수를 이용한 회귀분석 회귀분석 : 두 변수 사이의 관계에 '가장 근접한' 선형 관계를 찾아내는 것.선형회귀분석 모델의 구조는 선형판별함수와 동일합니다.(표준)선형회귀분석 : 모델을 데이터에 맞추기 위한 방법(오차를 줄여나가는 방법)최소제곱회귀분석 : 오찻값의 제곱의 합계나 평균값을 최소화. 계산편리성으로 널리 사용됩니다. 하지만 민감하게 반응한다는 단점이 있습니다. 외곽의 데이터 객체가 선형함수를 상당히 왜곡시킬 수 있기 때문입니다. 최소제곱법, 또는 최소자승법, 최소제곱근사법, 최소자승근사법(method of least squares, least squares approximation)은 어떤 계의 해방정식을 근사적으로 구하는 방법으로, 근사적으로 구하려는 해와 실제 해의 오차의 제곱의 합이 최소.. 공감수 4 댓글수 0 2017. 5. 28.
[Data Science] Ch.3 데이터에 대한 모델 적합화(수학 함수를 통한 분류) Review 전체 데이터 집합을 세분화하여 더욱 정확한 정보를 전달하는 속성을 찾아가면서 감독 세분화 모델을 만듭니다. [용어정리] 모델 : 목적 달성을 위해 실 세계를 명확화, 단순화하여 일정한 규칙으로 표현하는 것.모델링 : 데이터에서 발견된 특정한 규칙에 의해 모델의 종류나 패턴을 생성하는 데 그것을 발견하는 행위.예측 : 발생할 일이나, 모르는 값을 추정하는 것.예측모델 : 어떤 값을 예측하기 위해 일정한 규칙으로 표현한 공식.예측모델링 : 데이터 과학에서 타겟 값(미래의 행동 또는 변화의 결과)을 예측하는 것.데이터 마이닝 : 모델이 가능한 한 데이터에 잘 맞도록 파라미터를 튜닝하는 것.파라미터 : 전달자파라미터 학습(Parametric modeling) : 파라미터를 수정하여 모델의 정확성을 .. 공감수 5 댓글수 0 2017. 5. 27.
[Data Science] Ch2. 트리구조모델 트리 구조 모델을 이용한 감독 세분화 속성 선택이 매우 중요하긴 하지만 속성을 선택하는 것이 전부는 아닙니다. 만약 정보량을 증가시키는 속성이 하나가 아니라 여러 개 존재한다면 이 속성들을 어떻게 결합해야 할 지 판단하기 쉽지 않습니다. 이럴 때는 중요한 속성을 골라내기 위해 개발한 방법을 활용한 다변량 감독 세분화 방법인 트리구조화 방법을 이용합니다. 트리는 내부노드(Internal node)와 단말노드(Teminal node)로 나눠지며, 내부노드에서 가지가 뻗어 나옵니다. 트리구조는 모든 데이터가 트리에서 단 하나의 경로를 따라 결국 단 하나의 단말노드에 도착하도록 데이터를 분할합니다. 달리 말하면, 단말노드는 하나의 세그먼트(segment)이고, 여기에 도착하는 경우의 값은 세그먼트의 특성을 나타.. 공감수 5 댓글수 0 2017. 5. 24.
[Data Science] Ch1. 예측모델링_정보전달하는 속성 찾아내기 모델, 유도, 예측 모델이란 목적을 달성하기 위해 실세계를 명확하, 단순화하여 일정한 규칙으로 표현 한 것입니다. 즉, 확률함수로서 특징을 입력받아 타겟 변수값을 추정하는 것입니다. 쉽게 설명하지면 경제학에서의 '수요공급곡선'은 수요와 공급에 대한 관계를 단순하게 표현하기 위해 만들어진 모델입니다. 모델링이란 속성 또는 특징와 같은 일련의 변수와 타겟 변수라고 불리는 사전에 정의한 변수간의 관계를 보여주는 모델을 만드는 행위를 말합니다. 예측이란 발생할 일이나 모르는 값을 추정하는 것인데 , 예측 모델(어떤 값을 예측하기 위해 일정한 규칙으로 표현한 공식), 예측 모델링을 통해 예측을 합니다. 감독 세분화 (Supervised Approach) 감독방법으로 데이터에서 패턴을 만드는 방법에 대해 생각해보면.. 공감수 7 댓글수 0 2017. 3. 25.
빅데이터 비즈니스 모델 비즈니스 모델은 기업으로 하여금 수익을 유지하게 하는 일련의 활동입니다. 즉 ‘수익모델’로 표현되며 어떤 가치를, 누구를 대상으로, 어떻게 제공하는지에 대한 방안 및 가격책정과 이익의 유지 방안 등에 대한 질문에 답할 수 있는 구성됩니다. 만약 인테넷을 이용하는 기업이라면, 인터넷을 이용하여 어떻게 수익을 올릴 것인지를 설계하는 인터넷 비즈니스 모델이 있어야 할 것이고, 기업이 가진 비즈니스 모델이 훌륭하다면 이 기업은 이로 말미암아 경쟁우위를 가지게 되어 많은 수익을 얻을 수 있게 될 것입니다. 빅데이터가 가져오는 새로운 데이터와 분석 및 실행은 다양한 기회를 제공하고, 이를 적극적으로 활용하는 경우 새로운 상품과 서비스를 개발할 수 있게 많은 이들에게 개방된 기회를 제공합니다. 따라서 보다 창의적이고.. 공감수 9 댓글수 0 2017. 1. 11.
빅데이터의 개념 과거에는 인류가 만든 데이터의 누적분은 5엑사바이트 수준이었지만, 최근에는 하루에 그 정도 분량의 데이터가 발생되고 있으며, 2020년에는 지금보다 50증가하고 서버가 10배 이상 필요하게 될 것이라는 전망됩니다. 이렇게 방대한 데이터의 발생과 분석 및 활용의 필요에 의해, 기존 정형 데이터 외에 비정형 데이터의 처리까지 포함하면서 기존 방식으로는 처리하기 힘든 규모의 데이터 처리를 언급하는 빅데이터라는 용어가 발생되었습니다. 그리고 스마트폰의 발달과 함께 소셜, 사물인터넷(IoT : Internet of Things), 라이프로그 데이터 등 다양한 분야들이 결합되면서 빅데이터의 영향이 증가하고 있습니다. 또한 작년에 벌어진 '이세돌'과 '알파고'의 바둑대결을 통해 빅데이터는 세간의 관심을 받고 있습니다.. 공감수 9 댓글수 0 2017. 1. 9.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.