Amazon FSx for Lustre 고객

  • Adobe

    Adobe는 세상을 변화시킬 혁신적인 제품을 만들겠다는 단순한 아이디어를 바탕으로 40년 전에 설립되었습니다. Adobe는 모든 사람이 어디서나 상상하고, 창작하고, 디지털 경험을 실현할 수 있는 획기적인 기술을 제공합니다.

    과제: Adobe는 오픈 소스 모델에 의존하는 대신 창의적 사용 사례에 맞게 조정된 자체 생성형 AI 파운데이션 모델을 훈련하기로 결정했습니다.

    솔루션: Adobe는 모델을 빠르게 반복할 수 있는 AI 훈련 플랫폼 및 데이터 파이프라인을 구축하기 위해 AWS에 AI 초고속도로를 구축했습니다. Adobe는 NVIDIA GPU로 구동되는 Amazon Elastic Compute Cloud(Amazon EC2) P5P4d 인스턴스, Amazon Elastic Kubernetes Service(Amazon EKS), Amazon Elastic Block Store(Amazon EBS), Amazon Elastic Fabric Adapter(EFA)를 사용하여 솔루션을 구축했습니다. 또한 Adobe는 방대한 데이터를 위한 데이터 레이크 및 기본 리포지토리로 Amazon Simple Storage Service(Amazon S3)를 사용했습니다. Adobe는 데이터에 빠르게 액세스하고 GPU 리소스가 절대 유휴 상태가 되지 않도록 하기 위해 Amazon FSx for Lustre 고성능 파일 스토리지를 사용했습니다.

    AI 클라우드를 직접 구축하겠다고 생각하기 쉽지만 AWS와의 파트너십을 통해 차별화 요소에 집중할 수 있게 되었습니다.

    Alexandru Costin - Adobe 생성형 AI 및 Sensei 담당 부사장
    Adobe 사례 연구를 읽어보세요. »
  • LG AI Research

    LG AI 연구원 LG AI 연구원은 세계 최고의 AI 전문가들과 함께 최적의 연구 환경을 제공하고 최첨단 AI 기술을 활용하여 AI의 차세대 시대를 선도하여 여러분과 함께 유망한 미래를 실현하는 것을 목표로 합니다.

    과제: LG AI연구원은 파운데이션 모델인 엑사원(EXAONE)을 1년 만에 프로덕션에 배포해야 했습니다. “인간을 위한 전문가 AI(expert AI for everyone)”의 첫글자를 따서 이름 지어진 엑사원(EXAONE)은 이미지와 텍스트 데이터를 모두 사용하는 3천억 파라미터 규모의 멀티모달 모델입니다.

    해결책: LG AI연구원은 Amazon SageMaker를 사용하여 대규모 파운데이션 모델을 훈련하고 Amazon FSx for Lustre를 사용하여 데이터를 인스턴스에 배포하여 모델 훈련을 가속화했습니다. LG AI연구원은 파운데이션 모델인 엑사원을 1년 만에 프로덕션에 배포해야 했습니다. LG AI연구원은 1년 만에 엑사원을 성공적으로 구축했으며 별도의 인프라 관리 팀이 필요 없었기 때문에 비용을 약 35% 절감했습니다.

    LG AI 연구원 사례 연구를 읽어보세요. »
  • Paige

    Paige는 선도적인 디지털 병리학 혁신 제공업체로서 암 진단의 효율성과 신뢰성을 가져다주는 전면적인 AI 지원 웹 기반 솔루션을 제공합니다.

    과제: Paige의 온프레미스 솔루션이 한계를 초과했습니다. Paige의 목표는 암 병리학에 도움이 되는 AI 및 ML 모델을 훈련시키는 것이었습니다. Paige는 컴퓨팅 파워가 많을수록 모델을 더 빠르게 훈련시키고 진단 문제를 해결하는 데 도움을 줄 수 있다는 사실을 발견했습니다.

    해결책: Paige는 ML 훈련 워크로드를 실행하기 위해 클라우드에서 ML 훈련 및 HPC 애플리케이션을 위한 고성능을 제공하는 NVIDIA A100 Tensor Core GPU로 구동되는 Amazon EC2 P4d 인스턴스를 선택했습니다. Paige는 널리 사용되는 고성능 파일 시스템을 기반으로 구축된 완전 관리형 공유 스토리지인 Amazon FSx for Lustre를 사용합니다. 이 회사는 이 서비스를 일부 Amazon S3 버킷과 연결했는데, 이를 통해 개발팀은 고성능 파일 시스템에 데이터를 수동으로 사전 스테이징하지 않고도 페타바이트 규모의 ML 입력 데이터를 처리할 수 있었습니다. AWS 솔루션의 결과로 Paige는 ML용 AWS 인프라를 사용하여 10배 많은 양의 온프레미스 데이터를 훈련할 수 있게 되었습니다.  또한 Amazon EC2와 Amazon FSx for Lustre를 사용하여 Paige의 내부 워크플로도 72% 더 빨라졌습니다. 

    Amazon FSx for Lustre를 Amazon S3에 연결하는 것으로 온프레미스 인프라에서 시도한 것보다 10배 많은 양의 데이터를 문제 없이 훈련할 수 있습니다.

    Alexander van Eck, Paige AI 엔지니어 직원
    Amazon EC2 P4d 인스턴스로 구축된 하이브리드 ML 워크플로를 사용하여 암 치료를 강화한 Paige의 사례 연구를 읽어보세요. »
  • Toyota

    Toyota Research Institute는 객체 인식 기계 학습 훈련 시간을 줄이기 위해 FSx for Lustre를 선택했습니다.

    Toyota Research Institute(TRI)는 자사의 자율 주행 차량(AV) 테스트 드라이브에서 대량의 센서 데이터를 수집하고 처리합니다. 각각의 훈련 데이터 집합은 온프레미스 NAS 디바이스에 스테이징되며, 강력한 GPU 컴퓨팅 클러스터에서 처리되기 전에 Amazon Simple Storage Service(S3)로 전송됩니다. TRI는 컴퓨팅 리소스와 페어링하고, ML 모델의 훈련 속도를 단축하며, 데이터 사이언티스트를 위한 인사이트를 가속화할 수 있는 고성능 파일 시스템이 필요했습니다.

    우리에겐 ML 훈련 데이터 집합에 사용할 병렬 파일 시스템이 필요했으며, 이를 고려하여 기존 파일 시스템 제품에 비해 가용성과 내구성이 더 뛰어난 Amazon FSx for Lustre를 선택했습니다. S3을 비롯한 AWS 서비스와 통합되기 때문에 고성능 파일 스토리지에 우선적으로 사용하는 옵션이 되기도 했습니다.

    Toyota Research Institute 소프트웨어 엔지니어, David Fluck
  • Shell

    Shell은 석유, 가스, 석유화학부터 풍력, 태양열, 수소에 이르기까지 다양한 에너지 옵션의 포트폴리오를 제공합니다. Shell은 고객이 생활에 필요한 에너지를 공급하는 것을 자랑스럽게 생각합니다. 

    과제: Shell은 모델 구축, 테스트 및 검증을 위해 HPC를 사용합니다. 2020년부터 2022년까지 GPU 사용률은 평균 90% 미만이었으며, 이로 인해 프로젝트가 지연되고 새로운 알고리즘 실험이 제한되었습니다.

    해결책: Shell은 Amazon EC2 클러스터와 Amazon FSx for Lustre를 통해 클라우드로 확장하여 온프레미스 컴퓨팅 파워를 강화합니다. 이 솔루션을 통해 Shell은 신속하게 스케일 업 및 스케일 다운하고 필요할 때만 추가 컴퓨팅 용량을 구매할 수 있습니다. Shell의 GPU는 이제 완전히 활용되어 컴퓨팅 비용을 줄이고 기계 학습 모델 테스트를 가속화합니다.

  • Storengy

    ENGIE 그룹의 자회사인 Storengy는 업계를 선도하는 천연 가스 공급업체입니다. Storengy는 전 세계 기업을 대상으로 가스 저장고, 지열 솔루션, 무탄소 에너지 생산, 저장 기술을 제공합니다.

    Storengy는 생산품을 올바르게 보관하기 위해 하이테크 시뮬레이터를 사용하여 지하 가스 저장고를 평가하는데, 이는 고성능 컴퓨팅(HPC) 워크로드를 광범위하게 사용해야 하는 프로세스입니다. 이 회사는 HPC 기술을 사용하여 천연가스 발굴 및 탐사 작업을 수행하기도 합니다.

    AWS 덕분에 한 번에 수백 개의 시뮬레이션을 수행할 수 있는 확장성과 고가용성을 확보하게 되었습니다. 또한 이 솔루션은 자동으로 확장 또는 축소되어 워크로드가 가장 높은 시간대를 지원하므로, HPC 환경에서 예상치 못한 문제가 발생하는 일이 없습니다.

    Storengy 엔지니어, Jean-Frederic Thebault
  • Smartronix

    Smartronix는 FSx for Lustre를 활용하여 SAS Grid 배포를 위한 안정적인 고성능 환경을 제공합니다.

    Smartronix는 세계 유수의 여러 상용 기관 및 정부 기관을 대상으로 클라우드 솔루션, 사이버 보안, 시스템 통합, 전 세계 C5ISR 및 데이터 분석, 미션 중심의 엔지니어링을 제공합니다. Smartronix는 SAS Grid를 사용하여 전국의 코로나19 일일 통계를 분석하고 제공했으나, 기존의 자체 관리형 병렬 파일 시스템을 관리하고 보호하기가 어렵다는 사실을 알게 되었습니다.

    AWS와 협업하고 FSx for Lustre 같은 관리형 솔루션을 활용하면서 고객에게 더 나은 서비스를 제공할 수 있게 되었습니다. 자체 관리형 파일 시스템에 비해 가용성은 더 높아지고 비용은 29% 낮아졌죠.

    Smartronix, 선임 솔루션 아키텍트, Rob Mounier
  • Netflix

    Netflix는 수상 경력에 빛나는 다양한 TV 프로그램, 영화, 애니메이션, 다큐멘터리 등을 제공하는 스트리밍 서비스입니다.

    과제: Netflix는 미디어 ML 모델, 포스트 프로덕션 썸네일, VFX, 수천 개의 동영상과 수백만 개의 클립에 대한 트레일러 생성을 위한 대규모 분산 훈련을 사용합니다. Netflix는 노드 간 복제와 40%의 GPU 유휴 시간으로 인해 오랜 대기 시간을 겪고 있었습니다.

    해결책: Netflix는 데이터 로드 파이프 라인을 다시 설계하고 모든 동영상/오디오 클립을 사전 컴퓨팅하여 효율성을 개선했습니다. 또한 Netflix는 컴퓨팅 성능을 가속화하기 위해 Amazon UltraClusters(EC2 P4d 인스턴스)를 선택했습니다. Amazon FSx for Lustre의 성능 덕분에 Netflix는 GPU를 포화시키고 GPU 유휴 시간을 사실상 없앨 수 있습니다. Netflix는 이제 사전 컴퓨팅 및 FSx for Lustre를 사용하여 3~4배 개선된 성능을 경험하고 있으며, 모델 훈련 시간이 일주일에서 1~2일로 단축되었습니다.

    동영상 보기: Amazon FSx for Lustre를 사용한 미디어 ML 모델의 대규모 분산 훈련. »
  • Hyundai

    현대자동차는 200여 개국에 브랜드 차량을 수출하는 세계적으로 인정받는 자동차 제조업체로 성장했습니다.

    과제: 자율 주행에서 자주 사용되는 알고리즘 중 하나는 시멘틱 세그멘테이션입니다. 시멘틱 세그멘테이션은 이미지의 모든 픽셀에 객체 클래스로 주석을 추가하는 작업입니다. 이러한 클래스는 도로, 사람, 자동차, 건물, 초목, 하늘 등일 수 있습니다. 현대자동차는 정확도를 테스트하고 추가 이미지를 수집하여 특정 상황에서 불충분한 예측 성능을 보정합니다. 그러나 이는 모델을 훈련시키고 예정된 기한을 준수하는 데 충분한 시간을 남겨두면서 새로운 데이터를 모두 준비하기에는 시간이 충분하지 않은 경우가 많기 때문에 어려울 수 있습니다.

    해결책: 현대자동차는 모델 훈련을 자동화하기 위해 Amazon SageMaker를, 데이터 병렬화를 위해 Amazon SageMaker 라이브러리를 선택하여 단일 GPU에서 분산 훈련으로 전환했습니다. 그들은 데이터 복사를 기다리지 않고 모델을 훈련시키기 위해 Amazon FSx for Lustre를 선택했습니다. 또한 영구 데이터 스토리지로 Amazon S3를 선택했습니다. 현대자동차는 8개 GPU 인스턴스, 즉 총 64개의 GPU로 최대 93%의 확장 효율성을 달성했습니다. 현대자동차는 FSx for Lustre를 사용하여 대기 시간 없이 동일한 데이터에 대해 여러 훈련 작업과 실험을 실행할 수 있었습니다.

    고객 블로그 게시물 보기 »
  • Rivian

    Rivian은 영원히 모험으로 가득 찬 세상을 지키는 것을 사명으로 삼고 있습니다. 당사는 더 책임감 있는 방식으로 세계를 탐험해야 한다고 생각하며 지속 가능한 운송 수단으로 전환하는 과정을 흥미진진한 여정으로 바꾸겠다고 결심했습니다.

    전기차 제조사인 Rivian은 촉박한 엔지니어링 일정을 준수하고 물리적 프로토타입 제작의 필요성을 최소화하기 위해 고급 모델링 기술과 시뮬레이션 기술을 활용합니다. 엔지니어는 고성능 컴퓨팅 능력을 시뮬레이션에 활용하여 새로운 컨셉을 테스트하고 새로운 설계를 시장에 빠르게 선보일 수 있게 되었습니다.

    Amazon과의 파트너십을 통해 Rivian은 IT 작업이 아닌 지속 가능한 차량 개발과 배송에 집중할 수 있게 되었습니다. 또한 Amazon과의 협업으로 인해 주요 개발 애플리케이션을 온프레미스 환경보다 더 빠르게 실행하고 있습니다. 그 예로 Elements에서 56%, Siemens에서 35%, Ansys에서 20% 더 빠른 속도로 실행됩니다.

    Madhavi Osanaka, Rivian CIO
    Rivian 사례 연구 읽기 »
  • DENSO

    Denso는 첨단 운전자 보조 시스템(ADAS, Advanced Driver Assistance Systems)을 위한 이미지 센서를 개발하여 주차 및 차선 변경과 같은 기능을 통해 운전자를 돕습니다.

    과제: ADAS 이미지 인식에 필요한 ML 모델을 개발하기 위해 DENSO는 온프레미스 환경에 GPU 클러스터를 구축했습니다. 그러나 여러 ML 엔지니어가 제한된 GPU 리소스를 공유함으로써 특히 신제품 출시 전 바쁜 기간 동안 생산성에 영향을 미쳤습니다.

    해결책: Amazon SageMaker와 Amazon FSx for Lustre를 채택함으로써 Denso는 데이터 수집, 모델 개발, 학습 및 평가 시간을 단축하여 ADAS 이미지 인식 모델 생성을 가속화할 수 있었습니다.

    “클라우드로의 전환 관행은 인공 지능 및 ML 분야에서 계속 가속화될 것입니다. 계속해서 기능을 추가함에 따라 AWS가 계속해서 지원을 제공할 것이라고 확신합니다.”

    Kensuke Yokoi, DENSO 총괄 관리자
    Denso 사례 연구를 읽어보세요. »
  • Joby Aviation

    Joby Aviation은 AWS를 사용하여 운송을 혁신하고 있습니다.

    과제: Joby Aviation의 엔지니어는 수천 개의 복잡하고 컴퓨팅 집약적인 전산 유체 역학(CFD) 시뮬레이션을 수행하기 위해 고성능 컴퓨팅(HPC)을 사용합니다. 이러한 시뮬레이션은 각각 수백 개의 CPU 코어를 사용하며 완료하는 데 많은 시간이 소요될 수 있습니다.

    해결책: Joby Aviation은 Amazon Elastic Compute Cloud(Amazon EC2) 및 Amazon FSx for Lustre를 사용하여 온프레미스 고성능 컴퓨팅 인프라보다 CFD 워크로드에서 더 빠른 결과를 얻을 수 있게 되었습니다.

    동시에 수십 개의 시뮬레이션을 실행하려고 할 경우, 한 번에 몇 기가바이트의 데이터를 읽고 써야 했는데 이로 인해 모든 작업의 속도가 느려지곤 했습니다. FSx for Lustre는 이러한 용량 문제를 말끔히 해결해주었습니다. 이제 하드 드라이브의 크기를 쉽게 늘릴 수 있게 되었죠.

    Joby Aviation 기체역학 책임자, Alex Stoll
    Joby Aviation 사례 연구 읽기 »
  • T-Mobile

    T-Mobile은 Amazon FSx for Lustre를 사용하여 연간 150만 달러를 절감하고 SAS Grid 워크로드 속도를 두 배로 늘렸습니다.

    과제: T-Mobile은 자체 관리형 SAS Grid 워크로드로 인한 높은 관리 오버헤드 및 성능 문제를 겪고 있었습니다.

    해결책: T-Mobile은 완전관리형 고성능 파일 시스템인 Amazon FSx for Lustre를 배포하여 SAS Grid 인프라를 마이그레이션하고 확장했습니다. 그리고 T-Mobile은 Amazon FSx와 S3의 긴밀한 통합을 활용하여 스토리지 오버헤드를 줄이고 운영을 최적화했습니다.

    Amazon FSx for Lustre를 통해 SAS Grid 워크로드의 속도를 두 배로 늘리고, 총 소유 비용을 83% 절감하며, 운영 부담을 완전히 없앨 수 있었습니다. 우리 회사는 AWS와의 파트너십을 통해 우리가 가장 잘하는 일에 집중하여 고객을 위한 혁신적인 제품을 개발할 수 있게 되었습니다. 그와 동시에 FSx의 최첨단 스토리지 기능과 세계적인 수준의 AWS 호스팅 기능을 활용하고 있죠.

    T-Mobile, 소프트웨어 개발 선임 관리자, Dinesh Korde
  • Netflix

    Netflix는 에피소드 드라마 '더 크라운(The Crown)'의 네 번째 시즌 제작에서 예기치 않은 문제에 봉착했습니다. VFX 후반 제작 작업이 시작될 예정일 때 COVID-19 팬데믹으로 전 세계가 봉쇄 조치에 들어갔던 것입니다. 아티스트 10명으로 구성된 Netflix의 내부 VFX 팀은 AWS의 클라우드 기반 워크플로(처리량 개선을 위한 Amazon FSx Lustre 파일 서버 포함)를 도입하여 완전한 원격 작업으로 단 8개월 만에 시즌의 10개 에피소드에 들어가는 600개 이상의 VFX 장면 촬영을 문제 없이 마칠 수 있었습니다. 

    "클라우드 기반으로 촬영한 '더 크라운'의 사례" 블로그 글 읽기 »
  • Maxar

    Maxar는 AWS를 사용하여 기상 슈퍼컴퓨터보다 58% 더 빠른 예보를 제공합니다.

    과제: 지구 정보 분석 및 우주 인프라 분야의 신뢰할 수 있는 파트너이자 혁신 기업인 Maxar Technologies는 온프레미스 슈퍼컴퓨터보다 더 빠른 속도로 일기 예보를 제공해야 하는 상황에 놓였습니다.

    해결책: Maxar는 AWS와 협업하여 안전하고 매우 안정적인 컴퓨팅 리소스를 위한 Amazon Elastic Compute Cloud(Amazon EC2), 애플리케이션의 읽기/쓰기 처리량을 가속화하는 Amazon FSx for Lustre, AWS에서 HPC 컴퓨팅 환경을 신속하게 구축하기 위한AWS ParallelCluster를 비롯한 주요 기술이 포함된 HPC 솔루션을 개발했습니다.

    Maxar는 AWS HPC 솔루션에서 Amazon FSx for Lustre를 사용하여 NOAA의 기상 수치 예보 모델을 실행했습니다. 이를 통해 컴퓨팅 시간을 58% 단축하여 약 45분 만에 훨씬 더 경제적인 비용으로 예보 자료를 생성할 수 있었습니다. AWS 컴퓨팅 리소스를 극대화하자 성능이 크게 향상되는 결과로 이어진 겁니다.

    Stefan Cecelski, Maxar Technologies의 수석 데이터 사이언티스트 겸 엔지니어(PhD)
    Maxar 사례 연구 읽기 »
  • INEOS TEAM UK

    INEOS TEAM UK는 AWS를 사용하여 아메리카 컵(America’s Cup) 대회 출전용 보트를 설계하는 데 소요되는 시간을 단축하고 있습니다.

    과제: 2018년에 결성된 INEOS TEAM UK의 목표는 세계에서 가장 오래된 국제 스포츠 대회인 아메리카 컵(America’s Cup)의 우승 트로피를 들어 올리는 것입니다. 아메리카 컵은 대회일 이전 150일 이내에만 수상 테스트를 할 수 있도록 제한하고 있으므로, 단동선(monohull) 및 포일(foil)에 대한 고성능 전산유체역학(CFD) 시뮬레이션은 성공적인 보트 설계의 핵심 요소가 되었습니다.  

    해결책: INEOS TEAM UK는 AWS를 사용하여 아메리카 컵 출전용 보트에 대한 수천 개의 설계 시뮬레이션을 일주일 만에 처리할 수 있게 되었으며, 이는 온프레미스 환경을 이용할 경우 한 달 이상 걸리는 것과 대비되는 결과입니다. INEOS TEAM UK는 2021년 제36회 아메리카 컵 대회에 출전했습니다. 이 팀은Amazon EC2 스팟 인스턴스에서 실행되는 HPC 환경을 사용 중입니다.  또한 이 팀은 매주 수천 개의 시뮬레이션 완료를 위한 빠른 디스크 성능을 보장하기 위해 Amazon FSx for Lustre를 사용하여 Amazon Simple Storage Service(S3) 기반의 빠르고 확장 가능하며 안전한 고성능 파일 시스템을 제공하고 있습니다.

    AWS를 활용하면 해당 결과물을 파악하는 데 더 많은 시간을 할애할 수 있으므로, 설계 단계를 더욱 발전시킬 수 있습니다.

    INEOS TEAM UK 설계 책임자, Nick Holroyd
    INEOS TEAM UK 사례 연구 읽기 »
  • Hive VFX

    Hive VFX는 스튜디오 초기 비용을 절감하고 AWS에서 클라우드 VFX 스튜디오로 운영됩니다.

    과제: Hive는 전 세계의 원격 아티스트가 고품질 콘텐츠를 제작할 수 있는 소규모 독립 클라우드 스튜디오를 설립하기 위한 고성능 인프라가 필요했습니다.

    해결책: Amazon S3와 통합된 완전관리형 Amazon FSx for Lustre를 사용하여 대규모 초기 투자나 사내 IT 팀의 전문 지식 없이도 AWS 컴퓨팅 리소스에 빠르게 액세스할 수 있게 되었습니다. Hive VFX는 FSx Lustre와 S3 간에 파일 데이터와 파일 권한을 원활하게 동기화하여 다량의 이미지를 저장하고 여러 국가 간에 프로젝트 데이터를 공유할 수 있었습니다.

    Amazon FSx for Lustre 파일 시스템을 5분 만에 가동할 수 있으며 이 모든 작업은 AWS에서 관리합니다.

    Hive VFX 창립자, Bernie Kimbacher
    Hive VFX 사례 연구 읽기 »
  • Lyell

    Lyell은 Amazon FSx for Lustre를 사용하여 세포 기반 암 치료 연구를 가속화하고 있습니다.

    과제: Lyell은 대규모 단백질 전산 설계를 실행해야 하는 치유 세포 기반 암 치료법을 제공하고 있습니다. 이러한 워크로드는 전통적으로 온프레미스에서 실행되었지만, Lyell은 한 달에 한 번의 실험만 실행하도록 제한하고 있었기 때문에 확장성이 뛰어나고 비용 효율적인 솔루션이 필요했습니다.

    해결책: 파일 시스템을 FSx for Lustre로 마이그레이션한 이후 데이터 사이언티스트들은 EC2 인스턴스와 Amazon FSx 파일 시스템으로 구성된 수천 개의 HPC 클러스터를 스핀업 및 스핀다운할 수 있게 되었습니다. 따라서 이제 처리량이 많은 실험을 신속하게 실행할 수 있으며, 워크로드 기간에 대한 컴퓨팅 및 스토리지 비용만 지불하면 됩니다.

    Amazon for FSx Lustre는 차세대 암 치료제 개발을 위한 연구를 가속화합니다. FSx를 사용한 결과, 실험 수행 시간이 몇 주에서 몇 시간으로 단축되었고 연구진은 이전보다 더 많은 가설을 테스트할 수 있게 되었습니다. 수만 개의 컴퓨팅 노드에서 실행되는 워크로드는 이제 FSx를 사용하여 매우 복합적인 집합의 S3 데이터에 액세스할 수 있습니다.

    Lyell Immunopharma, 데이터 분석 엔지니어링 책임자, Anish Kejariwal
  • BlackThorn Therapeutics

    BlackThorn Therapeutics는 FSx for Lustre를 통해 인사이트 도출 시간을 단축합니다.

    과제: 일반적인 DIY 클라우드 파일 시스템을 사용하여 자기공명영상(MRI) 데이터를 처리할 경우 많은 리소스와 시간이 소요되었습니다. BlackThorn은 데이터 과학 및 기계 학습 워크플로를 단순화하는 데 도움이 되는 컴퓨팅 집약적인 공유 파일 스토리지 솔루션이 필요했습니다.

    해결책: Amazon FSx for Lustre는 Amazon S3 및 Amazon SageMaker와 통합되어 ML 훈련 데이터 집합을 빠르게 처리할 뿐만 아니라, Amazon EC2 인스턴스를 사용하여 컴퓨팅에 원활하게 액세스할 수 있습니다.

    FSx for Lustre를 사용하여 고성능 MRI 데이터 처리 파이프라인을 만들 수 있었습니다. ML 기반 워크플로의 데이터 처리 시간이 며칠이나 몇 주가 아닌 몇 분으로 단축되었죠.

    Oscar Rodriguez, 혁신 및 기술 부문 선임 책임자, BlackThorn Therapeutics
  • Qubole

    Qubole은 Amazon FSx for Lustre를 통해 비용을 절감하는 동시에 데이터 내구성을 개선합니다.

    과제: Qubole은 고객을 위한 분석 및 AI/ML 워크로드를 처리할 고성능 스토리지 솔루션을 찾고 있었습니다. EC2 스팟 플릿에 보관된 중간 데이터를 쉽게 저장하고 처리할 수 있는 기능이 필요했습니다.

    해결책: Qubole은 Amazon FSx for Lustre를 사용하여 병렬 고속 파일 시스템을 통해 중간 데이터를 저장하고 처리했습니다.

    당사의 사용자들이 겪는 가장 큰 두 가지 문제인 높은 비용과 중간 데이터 손실은 유휴 EC2 인스턴스와 EC2 스팟 인스턴스를 사용하여 Hive 및 Spark와 같은 분산 처리 프레임워크에서 생성된 중간 데이터를 처리하고 저장하는 데서 비롯되었습니다. 고성능 파일 시스템인 Amazon FSx for Lustre를 사용하여 중간 데이터를 없애는 방식으로 이 문제를 해결할 수 있었습니다. 이제 사용자는 유휴 인스턴스를 유지하기 위해 비용을 지불할 필요가 없으며 중단된 EC2 스팟 노드의 영향을 받지 않습니다. 사용자는 Amazon FSx를 통해 총 비용을 30% 절감할 수 있게 되었습니다.

    Qubole, CTO, Joydeep Sen Sarma