정보 기술 (IT)시대는 끝나고, 데이터 기술(DT)시대가 올 것이다.
by.알리바바 마윈 회장
- 과거 : 데이터는 존재만으로도 가치를 인정했다.
- 현재 : 각자 갖고 있는 데이터로 얼마나 많은 가치를 창출하는지 중요한 시대, 데이터 관리가 중요한 시대
0. Storage
- 데이터 저장소
- BigData들을 검색, 변경, 삭제, 사용하기에 적합한 스토리지가 필요하다.
- File Storage, Block Storage, Object Storage
1. File Storage
- 전통적인 저장소 유형
- HDD, local pc 혹은 기업 서버에 호스팅 된 공유 드라이브에 저장되어 있는 파일에 접근할 때마다 사용된다.
- 데이터는 계층적 구조로(폴더 -> ... -> 파일) 파일로 저장됩니다.
1.1. File Storage - 특징
- 일반 사용자가 사용하기 쉽다.
- 파일과 폴더의 계층 구조
- 파일을 검색하는 동안 해당 계층형 구조를 캐싱해야 하는데,
- 파일이 많을수록 이를 구현하는데 메모리의 리소스를 많이 소모한다.
2. Block Storage
- 데이터를 Block 단위로 쪼갠 후 파일을 저장합니다.
- 각 Block은 고유의 주소를 가진채 저장됩니다.
- 각 블록은 다른 시스템(또는 파티션)에서 동작하도록 구성할 수 있습니다.
- 데이터를 사용자의 환경에서 분리해 이를 쉽게 활용할 수 있도록, 데이터를 분산시켜 사용하는 경우가 많습니다.
- SAN(스토리지 영역 네트워크) 환경에서 사용됩니다.
2.1. Block Storage 특징
- Block 구조
- 데이터 검색 시 해당하는 block의 주소로 접근하므로 속도가 빠르다.
- 다양한 운영체제에서 액세스가 가능하다.
- 데이터 처리 제한적, 애플리케이션 수준에서 데이터 관리를 잘 해야한다.
3. Object Storage
- 비교적 최신의 저장소 유형
- Object라고 불리는 개별 유닛에 데이터를 저장합니다.
- Object는 폴더 계층 구조 없이 단일한 평면 구조로 저장
- Object Storage는 색인을 사용하여 빠르게 탐색이 가능합니다.
- 각 Object는 생성 시 이름을 가집니다.
- Object의 이름이 색인 테이블에서 '키' 역할을 할 수 있습니다.
3.1. Object Storage 특징
- 평면적 구조로 저장
- EX) 10개 방 안에 사람들이 있고, 'A'라는 사람을 찾아야한다. (== 파일 스토리지)
- EX) 사람들이 밖으로 나와있고, 'A'라는 사람을 찾아야한다. (== 오브젝트 스토리지)
- 훌륭한 확장성
- Disk가 추가되어도 Object가 평면적으로 저장되기 때문에 확정성이 좋다.
- Data + Custom Meta Data (like #해시태그)
- 파일에 Custom Meta Data를 추가하여 파일 검색이 빠르다.
