빅데이터를 기술하는 방식

0.

기술적인 내용을 그대로 설명하는 것보다 예를 들어서 설명하는 것은 언뜻 보면 큰 차이가 나지 않을 것 같지만, 실제 개념을 이해한다는 차원에서 생각해보면 많은 차이가 있다고 할 수 있다. 이러한 차이를 "빅데이터" 라고 하는 요즘 한창 Hot Keyword로 설명해보자면 다음과 같이 기술할 수 있을 듯 하다. 

1.

대규모 데이터를 처리하기 위해서는 기존의 RDB가 가지고 있는 데이터 블럭 참조에 대한 병목 현상을 해결해야 하는데, 이를 해결하기 위해 등장한 방법이 일종의 디렉토리 자체를 없애버리는 Key-Value 방식이라고 볼 수 있다.

Key-Value 방식의 문제는 Searching Cost가 급격하게 증가하기 때문에 이를 해결하기 위해선 별도의 Rollup Mart를 구성하거나 In-Memory 형태로 데이터를 저장해서 Query 속도를 높이게 된다. 

2. 

예를 들어 도서관에서 책을 찾을 때 목록 카드를 보고 실제 책의 위치를 찾아가게 되는데, 만약 목록 카드를 확인하려는 사람이 많아지면 실제 책을 찾아가는 일 자체가 병목이 되어 효율적으로 운영할 수 없게 된다.

이를 개선하는 것이 이른바 목록 카드를 없애는 대신 책 자체에 고유한 주소를 부여해서 직접 찾아가도록 하는 방식(Key-Value)이다. 하지만, 이 방식은 사전에 책을 일정한 규칙에 의해서 정렬하지 않고 책들을 배치하기 때문에 서가에 있는 책을 찾기 위해서 이리저리 돌아다녀야 하기 때문에 책을 찾는 일에 상당한 노력이 들게 된다.

이러한 문제를 해결하기 위해서 다음과 같은 접근이 가능한데, 먼저 자주 사용되는 책들의 묶음들을 사전에 만들어 놓거나(Rollup Mart) 서가를 고속으로 이동할 수 있도록 이동수단(In-Memory)을 제공하여 시간을 절약하게 한다는 것이다. 

3. 

이 둘의 차이를 이과적 사고와 인문학적 사고라고 부리기엔 어폐가 있을 수 밖에 없지만 - 어쩌면 둘 다 다 제대로 설명하지 못했을 수도 있지만 - 적어도 한 가지는 확실하게 이야기 할 수 있는 것은 이 둘의 차이를 이해하고 소통하지 않으면 사람들은 제대로 이해할 수 없을 것이라는 점이다. 뭔가 원하는 바가 있다면 사람들에게 이해시키고 이를 설득하는 과정이 먼저이지 않을까 한다.