Amazon Kinesis Data Streams

Amazon Kinesis Data Streams를 사용하면 특수 요구에 맞춰 스트리밍 데이터를 처리 또는 분석하는 사용자 지정 애플리케이션을 구축할 수 있습니다. 수십 만개의 소스에서 클릭 스트림, 애플리케이션 로그, 소셜 미디어와 같은 다양한 유형의 데이터를 Kinesis 데이터 스트림에 추가할 수 있습니다. 그러면 몇 초 안에 애플리케이션에서 스트림의 해당 데이터를 읽고 처리할 수 있습니다.

 

Amazon Kinesis Data Streams는 데이터 처리량 수준에서 데이터를 스트리밍하는 데 필요한 인프라, 스토리지, 네트워킹, 구성을 관리합니다. 하드웨어, 소프트웨어는 물론 데이터 스트림을 위한 기타 서비스의 프로비저닝, 배포 혹은 지속적인 유지 관리 등을 걱정할 필요가 없습니다. 또한, Kinesis Data Streams는 3곳의 가용 영역에 데이터를 동기적으로 복제하여 높은 가용성과 데이터 내구성을 제공합니다. 기본적으로 Kinesis Data Streams는 용량을 자동으로 조정하므로 용량을 프로비저닝하고 관리할 필요가 없습니다. 자체적으로 처리량을 프로비저닝하고 관리하려는 경우 프로비저닝된 모드를 선택할 수 있습니다.

 

Kinesis Data Streams는 데이터를 데이터 생산자로부터 빠르게 이동한 다음 지속적으로 데이터를 처리하는 데 유용합니다. 즉, 데이터 저장소로 전송하기 전에 데이터를 변환하거나, 실시간 지표 및 분석을 실행하거나, 추가 처리를 위해 더 복잡한 데이터 스트림을 파생하는 것을 의미합니다.

 

다음은 Kinesis Data Streams 사용에 대한 일반적인 시나리오입니다.

 

가속화된 로그 및 데이터 피드 입력: 데이터 일괄 처리를 기다리는 대신 데이터 생산자가 데이터가 생성되는 즉시 Kinesis 데이터 스트림으로 데이터를 푸시하도록 하여 생산자 실패 시 데이터 손실을 방지할 수 있습니다. 예를 들어, 시스템 및 애플리케이션 로그는 지속적으로 데이터 스트림에 추가되며 몇 초 내에 처리에 사용할 수 있습니다.

 

실시간 지표 및 보고: 실시간으로 Kinesis 데이터 스트림 데이터에서 지표를 추출하고 보고서를 생성할 수 있습니다. 예를 들어 Amazon Kinesis 애플리케이션은 데이터 배치를 수신할 때까지 기다리는 대신 데이터가 스트리밍되는 대로 시스템 및 애플리케이션 로그에 대한 지표 및 보고 작업을 수행할 수 있습니다.

 

실시간 데이터 분석: Kinesis Data Streams를 사용하여 실시간 데이터 분석을 실행할 수 있습니다. 예를 들어 Kinesis 데이터 스트림에 클릭스트림을 추가하고 Kinesis 애플리케이션이 실시간으로 분석을 실행하도록 할 수 있으므로 몇 시간 또는 며칠이 아닌 몇 분 만에 데이터에서 인사이트를 얻을 수 있습니다.

 

로그 및 이벤트 데이터 수집: 서버, 데스크톱, 휴대기기와 같은 소스에서 로그 및 이벤트 데이터를 수집합니다. 그런 다음 Amazon Lambda 또는 Kinesis Data Analytics를 사용하여 애플리케이션을 구축하여 지속적으로 데이터를 처리하고, 지표를 생성하고, 라이브 대시보드를 구동하고, 집계된 데이터를 Amazon Simple Storage Service(S3)와 같은 저장소로 내보낼 수 있습니다.

 

이벤트 기반 애플리케이션 구동: AWS Lambda와 빠르게 페어링하여 규모에 상관없이 환경의 이벤트 기반 애플리케이션 내에서 즉각적인 발생에 대응하거나 조정합니다.

 

[ 오답 ]

AWS Kinesis Data Firehose : Amazon Kinesis Data Firehose는 스트리밍 데이터를 데이터 스토어 및 분석 도구에 로드하는 가장 쉬운 방법입니다. 스트리밍 데이터를 캡처, 변환 및 Amazon S3, Amazon Redshift, Amazon Elasticsearch Service 및 Splunk로 로드할 수 있으므로 현재 이미 사용 중인 기존 비즈니스 인텔리전스 도구 및 대시보드로 거의 실시간 분석이 가능합니다. 데이터 처리량에 맞게 자동으로 확장되며 지속적인 관리가 필요하지 않은 완전 관리형 서비스입니다. 또한 데이터를 로드하기 전에 일괄 처리, 압축 및 암호화하여 대상에서 사용되는 스토리지의 양을 최소화하고 보안을 강화할 수 있습니다. Kinesis Data Firehose는 스트리밍 데이터를 데이터 저장소에 로드하는 데 사용됩니다.

 

Kinesis Data Firehose는 스트리밍 데이터를 데이터 스토어(Amazon S3, Amazon Redshift, Amazon Elasticsearch Service 및 Splunk)로 로드하는 데 사용되는 반면 Kinesis Data Streams는 스트리밍 데이터의 실시간 처리를 지원합니다.

 

AWS Kinesis Data Analytics : Amazon Kinesis Data Analytics는 스트리밍 데이터를 실시간으로 분석하는 가장 쉬운 방법입니다. 모든 규모에서 데이터를 구성, 변환, 집계 및 분석하기 위한 공통 처리 기능을 위한 내장 템플릿 및 연산자를 사용하여 SQL 쿼리 및 정교한 Java 애플리케이션을 신속하게 구축할 수 있습니다. Kinesis Data Analytics를 사용하면 스트리밍 데이터 소스 설정, 쿼리 또는 스트리밍 애플리케이션 작성, 처리된 데이터의 대상 설정이라는 간단한 3단계로 쿼리와 정교한 스트리밍 애플리케이션을 쉽고 빠르게 구축할 수 있습니다. Kinesis Data Analytics는 SQL 쿼리 및 정교한 Java 애플리케이션을 구축하는 데 사용됩니다.

 

Amazon SQS : Amazon Simple Queue Service(SQS)는 마이크로서비스, 분산 시스템 및 서버리스 애플리케이션을 분리하고 확장할 수 있는 완전관리형 메시지 대기열 서비스입니다. SQS는 두 가지 유형의 메시지 대기열을 제공합니다. 표준 대기열은 최대 처리량, 최선형 주문 및 최소 한 번 배달을 제공합니다. SQS FIFO 대기열은 메시지가 전송된 정확한 순서로 정확히 한 번 처리되도록 설계되었습니다. SQS의 경우 여러 소비자가 동시에 동일한 메시지를 사용할 수 없습니다.

 

를 사용하면 특수 요구에 맞춰 스트리밍 데이터를 처리 또는 분석하는 사용자 지정 애플리케이션을 구축할 수 있습니다. 수십 만개의 소스에서 클릭 스트림, 애플리케이션 로그, 소셜 미디어와 같은 다양한 유형의 데이터를 Kinesis 데이터 스트림에 추가할 수 있습니다. 그러면 몇 초 안에 애플리케이션에서 스트림의 해당 데이터를 읽고 처리할 수 있습니다.

 

Amazon Kinesis Data Streams는 데이터 처리량 수준에서 데이터를 스트리밍하는 데 필요한 인프라, 스토리지, 네트워킹, 구성을 관리합니다. 하드웨어, 소프트웨어는 물론 데이터 스트림을 위한 기타 서비스의 프로비저닝, 배포 혹은 지속적인 유지 관리 등을 걱정할 필요가 없습니다. 또한, Kinesis Data Streams는 3곳의 가용 영역에 데이터를 동기적으로 복제하여 높은 가용성과 데이터 내구성을 제공합니다. 기본적으로 Kinesis Data Streams는 용량을 자동으로 조정하므로 용량을 프로비저닝하고 관리할 필요가 없습니다. 자체적으로 처리량을 프로비저닝하고 관리하려는 경우 프로비저닝된 모드를 선택할 수 있습니다.

 

Kinesis Data Streams는 데이터를 데이터 생산자로부터 빠르게 이동한 다음 지속적으로 데이터를 처리하는 데 유용합니다. 즉, 데이터 저장소로 전송하기 전에 데이터를 변환하거나, 실시간 지표 및 분석을 실행하거나, 추가 처리를 위해 더 복잡한 데이터 스트림을 파생하는 것을 의미합니다.

 

다음은 Kinesis Data Streams 사용에 대한 일반적인 시나리오입니다.

 

가속화된 로그 및 데이터 피드 입력: 데이터 일괄 처리를 기다리는 대신 데이터 생산자가 데이터가 생성되는 즉시 Kinesis 데이터 스트림으로 데이터를 푸시하도록 하여 생산자 실패 시 데이터 손실을 방지할 수 있습니다. 예를 들어, 시스템 및 애플리케이션 로그는 지속적으로 데이터 스트림에 추가되며 몇 초 내에 처리에 사용할 수 있습니다.

 

실시간 지표 및 보고: 실시간으로 Kinesis 데이터 스트림 데이터에서 지표를 추출하고 보고서를 생성할 수 있습니다. 예를 들어 Amazon Kinesis 애플리케이션은 데이터 배치를 수신할 때까지 기다리는 대신 데이터가 스트리밍되는 대로 시스템 및 애플리케이션 로그에 대한 지표 및 보고 작업을 수행할 수 있습니다.

 

실시간 데이터 분석: Kinesis Data Streams를 사용하여 실시간 데이터 분석을 실행할 수 있습니다. 예를 들어 Kinesis 데이터 스트림에 클릭스트림을 추가하고 Kinesis 애플리케이션이 실시간으로 분석을 실행하도록 할 수 있으므로 몇 시간 또는 며칠이 아닌 몇 분 만에 데이터에서 인사이트를 얻을 수 있습니다.

 

로그 및 이벤트 데이터 수집: 서버, 데스크톱, 휴대기기와 같은 소스에서 로그 및 이벤트 데이터를 수집합니다. 그런 다음 Amazon Lambda 또는 Kinesis Data Analytics를 사용하여 애플리케이션을 구축하여 지속적으로 데이터를 처리하고, 지표를 생성하고, 라이브 대시보드를 구동하고, 집계된 데이터를 Amazon Simple Storage Service(S3)와 같은 저장소로 내보낼 수 있습니다.

 

이벤트 기반 애플리케이션 구동: AWS Lambda와 빠르게 페어링하여 규모에 상관없이 환경의 이벤트 기반 애플리케이션 내에서 즉각적인 발생에 대응하거나 조정합니다.

 

[ 오답 ]

AWS Kinesis Data Firehose : Amazon Kinesis Data Firehose는 스트리밍 데이터를 데이터 스토어 및 분석 도구에 로드하는 가장 쉬운 방법입니다. 스트리밍 데이터를 캡처, 변환 및 Amazon S3, Amazon Redshift, Amazon Elasticsearch Service 및 Splunk로 로드할 수 있으므로 현재 이미 사용 중인 기존 비즈니스 인텔리전스 도구 및 대시보드로 거의 실시간 분석이 가능합니다. 데이터 처리량에 맞게 자동으로 확장되며 지속적인 관리가 필요하지 않은 완전 관리형 서비스입니다. 또한 데이터를 로드하기 전에 일괄 처리, 압축 및 암호화하여 대상에서 사용되는 스토리지의 양을 최소화하고 보안을 강화할 수 있습니다. Kinesis Data Firehose는 스트리밍 데이터를 데이터 저장소에 로드하는 데 사용됩니다.

 

Kinesis Data Firehose는 스트리밍 데이터를 데이터 스토어(Amazon S3, Amazon Redshift, Amazon Elasticsearch Service 및 Splunk)로 로드하는 데 사용되는 반면 Kinesis Data Streams는 스트리밍 데이터의 실시간 처리를 지원합니다.

 

AWS Kinesis Data Analytics : Amazon Kinesis Data Analytics는 스트리밍 데이터를 실시간으로 분석하는 가장 쉬운 방법입니다. 모든 규모에서 데이터를 구성, 변환, 집계 및 분석하기 위한 공통 처리 기능을 위한 내장 템플릿 및 연산자를 사용하여 SQL 쿼리 및 정교한 Java 애플리케이션을 신속하게 구축할 수 있습니다. Kinesis Data Analytics를 사용하면 스트리밍 데이터 소스 설정, 쿼리 또는 스트리밍 애플리케이션 작성, 처리된 데이터의 대상 설정이라는 간단한 3단계로 쿼리와 정교한 스트리밍 애플리케이션을 쉽고 빠르게 구축할 수 있습니다. Kinesis Data Analytics는 SQL 쿼리 및 정교한 Java 애플리케이션을 구축하는 데 사용됩니다.

 

Amazon SQS : Amazon Simple Queue Service(SQS)는 마이크로서비스, 분산 시스템 및 서버리스 애플리케이션을 분리하고 확장할 수 있는 완전관리형 메시지 대기열 서비스입니다. SQS는 두 가지 유형의 메시지 대기열을 제공합니다. 표준 대기열은 최대 처리량, 최선형 주문 및 최소 한 번 배달을 제공합니다. SQS FIFO 대기열은 메시지가 전송된 정확한 순서로 정확히 한 번 처리되도록 설계되었습니다. SQS의 경우 여러 소비자가 동시에 동일한 메시지를 사용할 수 없습니다.