데이터 마이닝이란 무엇인가?

#데이터 마이닝

데이터 마이닝이란 무슨 뜻일까요? Data Mining이란 단어에서 알 수 있듯이 광부가 광산에서 유의미한 광물을 채굴하듯이, 데이터에서 의미 있는 무언가를 찾아내서 활용하는 기법을 말합니다. 

 

#데이터 마이닝 성공 예시 

데이터 마이닝을 통해 성공한 대표적인 기업으로는 아마존, 넷플릭스 및 메타(페이스북) 등을 꼽을 수 있습니다. 기존에 읽었던 고객의 독서 패턴을 분석해서, 새로운 책을 구입할 시기에 원하는 취향을 책을 소개하고 전에 본 영화를 분석해서 취향에 맞는 영화를 추천하는 등 고객들의 니즈를 분석해서 이를 적절하게 활용하여 큰돈을 벌 수 있다는 것을 보여주었습니다. 

 

 #데이터 마이닝의 잘못된 예시

반면 지나친 데이터마이닝은 고객의 사생활을 침해할 수 있고, 또 고객의 선택권을 오히려 제약할 수 있다는 문제점이 지적되고 있습니다. 특히, 정치와 연결될 경우 그 파급력이 상당할 것으로 보입니다. 실제로 2013년 미국 정보기관들이 비밀리에 민간인의 통화ㆍ개인정보를 수집하는 데이터 마이닝을 비밀리에 운영한 것이 드러나서 큰 파장이 발생했던 적이 있습니다. 아마도 지금도 드러나지 않았을 뿐이지, 세계 각국에서 그와 같은 데이터 마이닝 작업이 되고 있으리라 예상합니다. 페이스북(메타) 또한 내부 폭로를 통해 이러한 데이터 마이닝을 잘못 활용하여 곤욕을 치루기도 했습니다. 

 

#데이터 마이닝 기법

데이터 마이닝 기법에는 구체적으로 어떤 것들이 있을까요? 크게 지도학습과 비지도 학습으로 구분됩니다. 

• 지도학습 : 지도학습은 Supervised Learning입니다. 단어 그대로 감독하에 통제되는 학습을 뜻합니다. 변숫값이 정해져 있는 상태에서 이루어지는 마이닝으로 예측 분석 기법이라고도 합니다. 대표적으로 분류분석(Classification)과 회귀분석(Regression)이 있습니다. 
• 비지도학습 : 비지도학습은 Unsupervised Learning입니다. 지도학습과는 반대로 변수값이 존재하지 않는 설명 분석 기법을 말합니다. 비지도학습에서는 대표적으로 군집분석(Clustering)이 있습니다.