(씨넷코리아=신동민 기자) 아마존웹서비스(이하 AWS)가 AWS 리인벤트(re:Invent)에서 아마존 심플 스토리지 서비스(이하 아마존 S3)의 신규 기능을 발표했다고 4일 밝혔다.
이를 통해 아마존 S3는 더욱 빠른 분석을 위한 아파치 아이스버그(Apache Iceberg)의 완전 관리형 지원을 제공하는 최초의 클라우드 오브젝트 스토리지가 되었으며, 모든 규모에서 표 형식 데이터(tabular data)를 저장하고 관리하는 가장 쉬운 방법을 제공하게 됐다. 신규 기능에는 쿼리(query) 가능한 메타데이터를 자동으로 생성하는 기능이 포함돼 데이터 탐색과 이해를 단순화하고 고객이 아마존 S3에서 데이터 가치를 극대화할 수 있도록 지원한다.
아마존 S3 테이블과 아마존 S3 메타데이터는 아파치 아이스버그 테이블과 호환돼 고객은 아마존 아테나(Amazon Athena), 아마존 퀵사이트(Amazon QuickSight), 아파치 스파크(Apache Spark) 등 AWS 분석 서비스와 오픈소스 툴을 사용해 데이터를 쉽게 쿼리할 수 있다.아마존 S3 테이블은 데이터 레이크에서 아파치 아이스버그 테이블을 관리할 수 있도록 목적성을 가지고 설계됐다. 아마존 S3 테이블은 분석 워크로드에 특별히 최적화돼 범용 아마존 S3 버킷에 비해 최대 3배 빠른 쿼리 성능과 10배 높은 TPS를 제공한다. AI 기반 경험 오케스트레이션 분야의 글로벌 리더인 제네시스(Genesys)는 데이터 레이크에 아마존 S3를 활용할 계획이다. 아마존 S3 테이블의 관리형 아이스버그 지원을 활용해 제네시스는 다양한 데이터 분석 요구 사항에 대한 구체화된 뷰 레이어를 제공할 것으로 기대한다. 아마존 S3 테이블의 내장된 아이스버그 테이블 지원은 테이블 압축, 스냅샷 관리, 참조되지 않는 파일 정리와 같은 주요 유지관리 작업을 자동화해 복잡한 데이터 워크플로우를 단순화한다.
아마존 S3 메타데이터는 실시간에 가까운 쿼리 가능한 오브젝트 메타데이터를 자동으로 생성해 데이터 검색을 가속화하고 데이터 이해를 개선함으로써 고객이 복잡한 자체 메타데이터 시스템을 구축하고 유지 관리할 필요가 없도록 한다. 아마존 S3 메타데이터를 통해 고객은 비즈니스 분석, 실시간 추론 애플리케이션 등을 위해 데이터 쿼리, 발견, 사용을 할 수 있다. 아마존 S3 메타데이터는 오브젝트의 크기와 출처와 같은 시스템 정의 세부 정보를 포함하는 오브젝트 메타데이터를 자동으로 생성하고 이를 새로운 아마존 S3 테이블을 통해 쿼리할 수 있게 한다.
모든 규모의 조직은 아마존 S3 메타데이터가 제공하는 데이터 검색 및 이해의 이점을 누릴 수 있다. 선도적인 생명공학 기업인 로슈(Roche)는 아마존 S3 메타데이터를 활용해 차세대 생성형 AI 이니셔티브를 가속할 계획이다. 정교한 내부 챗봇과 같은 고급 대규모 언어 모델(LLM) 애플리케이션을 개발하면서 향상된 RAG를 위해 기하급수적으로 더 많은 비정형 데이터를 관리할 것으로 예상한다.
아마존 S3 테이블(정식 버전)과 아마존 S3 메타데이터(프리뷰)는 오늘부터 사용할 수 있다. 아마존 S3 테이블과 AWS 글루 데이터 카탈로그(AWS Glue Data Catalog)의 통합은 프리뷰 버전으로 제공되며 고객은 아마존 아테나, 아마존 레드시프트(Amazon Redshift), 아마존 EMR, 아마존 퀵사이트와 같은 AWS 분석 서비스를 사용해 아마존 S3 메타데이터 테이블을 포함한 데이터를 쿼리하고 시각화할 수 있다.
