D.M.숑스토리

과거에는 인류가 만든 데이터의 누적분은 5엑사바이트 수준이었지만, 최근에는 하루에 그 정도 분량의 데이터가 발생되고 있으며, 2020년에는 지금보다 50증가하고 서버가 10배 이상 필요하게 될 것이라는 전망됩니다. 이렇게 방대한 데이터의 발생과 분석 및 활용의 필요에 의해, 기존 정형 데이터 외에 비정형 데이터의 처리까지 포함하면서 기존 방식으로는 처리하기 힘든 규모의 데이터 처리를 언급하는 빅데이터라는 용어가 발생되었습니다. 그리고 스마트폰의 발달과 함께 소셜, 사물인터넷(IoT : Internet of Things), 라이프로그 데이터 등 다양한 분야들이 결합되면서 빅데이터의 영향이 증가하고 있습니다. 또한 작년에 벌어진 '이세돌'과 '알파고'의 바둑대결을 통해 빅데이터는 세간의 관심을 받고 있습니다.

빅데이터의 개념

페타, 제타 바이트 수준의 대용량 데이터를 실시간에 가깝게 조회하고, 패턴 분석을 통해 활용하는 것을 빅데이터라고 할 수 있습니다. 여기서 얼마의 시간을 실시간이라 정의 내리는 가에는 다소 의견이 분분하지만, 어쨌든 데이터에 조회를 실시간에 가깝게 할 수 있어야 Advanced Analytics 분야에서 활용할 수 있습니다.

Advanced Analytics기법의 종류로는 데이터마이닝과 시뮬레이션, 최적화 등이 있으며, 이외에도 분석기법이 새롭게 나타나 각광받게 될 수 있습니다. 실시간 처리가 필요한 이유는 생활 속에서 수많은 데이터가 실시간성으로 발생되고 있으므로 분석이 보다 빨리 이뤄져야 활용도가 높아지기 때문입니다. 그러나 여기에는 개인정보 침해라는 위험요소가 공존하고 있어서 이에 대한 논란 및 법률정비가 이슈화되고 있다. 결국 빅데이터는 현안 사회문제 및 경제활동에 적절하게 활용해 긍정적으로 대응할 수 있어야 큰 가치를 창출할 수 있다고 봅니다.

빅데이터 크기

데이터의 크기는 특히 IoT에서 급증하게 되리라 예측된다. 과거 데이터의 질이 중요하게 다뤄지던 흐름에서 이제는 양이 중요한 가치로 평가되는 추세입니다. 이전에는 데이터 자체가 제한적이다 보니 질이 중요했으며 데이터를 이해하는데 통계적 관점에서 인과관계의 설명이 주가 되었습니다. 그러나 이제는 상관관계로 얼마나 설명되는가를 요구하는 시대로 변해 샘플링보다는 전수 데이터를 선호하게 되었습니다. 처리속도가 높아져 굳이 샘플링을 할 필요가 없어진 것입니다.

그러나 빅데이터라 해서 무조건 전체 데이터를 분석할 필요는 없고, 되도록이면 전수 데이터를 활용하는 것을 '선호한다' 정도로 생각하시면 좋을 것 같습니다. 아무리 전수 데이터가 좋은 정보를 제공할 수 있을지라도 이를 분석할 수 있는 가용 시스템이나 비용에 제약이 있다면 여전히 샘플링이 효율적이기 때문입니다.

빅데이터의 종류

빅데이터의 종류에는 정형데이터(즉각적 사용이 용이함), 비정형데이터(추가적인 가공이 필요함), 반정형데이터(추가적인 가공이 필요하나 마크업 언어처럼 규칙이 필요함)이 있습니다. 

빅데이터의 특징 및 요건

3V : Volume, Variety, Velocity.

4V : Volume, Variety, Velocity, Value.

흔히 빅데이터의 특성으로 3V를 언급합니다. 거기에 최근에 4번째 요소인 Value 와 빅데이터의 특성인 Variety와 Volume은 비용요소이지만 활용성을 고려한 창조적인 아이디어와 결합되면 중요한 가치로 전환됩니다. 예를 들어 기업의 입장에서는 다양한 채널에서의 고객행동패턴 정보를 보면 데이터 처리비용 증가로 연결됩니다. 그러나 고객의 채널에서의 행동패턴이 각기 다른 점을 활용하여 고객의 성향을 알 수 있다면 우리는 비용 이상의 가치를 얻어내 새로운 가치를 용이하게 창출할 수 있습니다. 또한 Velocity는 신속하게 데이터를 제공해주어서 기존에 미처 대응하지 못한 일들을 처리할 수 있게 됨에 따라 사고나 재해를 예방하거나 실시간으로 추가 서비스를 통해 편리성을 제공하는 등의 다양한 일을 처리할 수 있게 됩니다.

미메시스(mimesis)

역경매에 대해서 들어보셨나요? 역경매라는 말을 못 들어보셨을 지는 모르겠으나 어느 순간 우리 삶에 깊숙히 파고 들어온 역경매에 대해서 알아보도록 하겠습니다.

역경매란 일반적인 경매방식이 상품을 사려는 여러 수요자가 응찰해 가격을 점점 높여가는 방식으로 이뤄지는 것과는 반대되는 개념으로, 다수의 판매자가 참여하여 공급자 간의 경쟁을 통해 수요자는 가장 낮은 가격으로 상품을 구매할 수 있는 방식입니다. 

쉽게 설명하자면, 판매자(공급자) A의 상품을 다수의 구매 희망자(수요자)인 a, b, c들이 가격 경쟁을 통해 그 상품을 낙찰받는 형식을 경매라 부릅니다. 이른 아침 수산시장에 가면 공급자들이 잡은 생선을 다수의 구매자에게 내보이고 최고가격을 부르는 사람에게 낙찰시키는 풍경을 볼 수 있는데 이것이 경매라는 것은 많은 사람이 알고 있을 것입니다.

전자제품 및 생활용품 시장의 역경매

인터넷 쇼핑 가운데 가장 많이 이용하는 각종 전자제품과 생활용품에서도 이미 역경매는 어느샌가 자리잡혀 활발하게 거래되고 있습니다. 특히, 각종 쇼핑사이트에 가입하면 DM(Direct Mail)으로 매일같이 다양한 회사의 상품 정보를 받아볼 수 있습니다. 예전에는 가격이 얼마인가를 구매 희망자들이 발품팔아가며 검색해야만 했지만 이제는 이제는 구매하고자 하는 상품만 검색하면 해당 상품의 사진과 자세한 설명 및 가격비교 정보까지 받아 볼 수 있게 되었습니다. 그리고 최근에는 쇼핑몰을 비교하는 검색 사이트까지 생겼기 때문에 보다 현명한 소비를 할 수 있는 수단이 늘어나게 되었습니다.

음식 배달 시장의 역경매

예전에는 집앞에 붙어있는 음식점들의 찌라시(?)들을 보고 배달음식을 시키는 경우가 많았는데, 최근에는 대부분의 사람들이 배달음식 어플인 <배달의 민족>이나 <여기요> 등을 이용하여 배달음식을 시키는 것으로 밝혀졌습니다. 배달음식 어플을 통해 여러 음식점들의 정보를 받아볼 수 있고, 여러 후기들을 통해 식당 및 음식을 고를 수 있게 된 것 입니다.

아파트, 오피스텔, 다가구 등 부동산 매매 나 전월세에 관한 모든 상품을 소비자가 낙찰시키는 역경매를 보면 평수, 위치조건, 가격 등 다양한 조건을 견적을 넣어 공급자가 낙찰을 받는 형태를 띄고 있습니다. 물론 평생 또는 한동안 머물러야 하는 곳이기 때문에 먼저 해당 상품에 대해서 예약을 하고 매물을 본 후에 결정하는 방식이지만 예전에 여러 부동산을 여기저기 다니며 발품팔아야 했던 때와 비교하면 상당히 편해졌다는 것을 느끼실 수 있을 겁니다. 

또한 숙박시설에 대해서도 소비자는 응답하는 시간이 얼마나 빠르고 부가적인 서비스가 얼마나 많은가 등을 비교하여 결정할 수 있으므로 지금까지 계약의 부정확에서 생기는 불만을 없앨 수 있게 되었습니다. 

여전히 은행의 문턱이 높다지만 최근 역경매 대출 사이트가 생겨, 여러 금융회사의 여러 상품들이 경쟁하여 입찰하는 모습을 볼 수 있게 되었습니다. 물론 이자율이 가장 중요하겠지만 한도나 입금되는 속도 등의 조건이 가장 좋은 대출상품을 선택하고 대출 신청하면 심사를 거쳐 대출이 완료된다고 합니다. 요즘처럼 이자율이 급변하는 시기에 가장 싼 이자를 지불하고 가장 좋은 조건에 대출을 받을 수 있다는 장점이 있습니다. 하지만 제가 찾아본 결과로는 아직까진 이런 서비스를 하는 업체들의 대부분이 대출중개회사고 그나마 인지도가 있는 회사는 <웰컴론 렌딩마켓> 한 곳 밖에 없는 것으로 보이지만, 외국의 사례를 보면 우리나라에서도 금융의 역경매가 곧 활발해질 것으로 생각됩니다.