Amazon SageMaker Data Wrangler
Cara tercepat dan termudah guna menyiapkan data untuk machine learning - sekarang di SageMaker CanvasKenapa SageMaker Data Wrangler?
Amazon SageMaker Data Wrangler mengurangi waktu persiapan data untuk data tabular, gambar, dan teks dari minggu ke menit. Dengan SageMaker Data Wrangler Anda dapat menyederhanakan persiapan data dan rekayasa fitur melalui antarmuka bahasa visual dan alami. Pilih, impor, dan ubah data secara cepat dengan SQL dan lebih dari 300 transformasi bawaan tanpa menulis kode. Hasilkan laporan kualitas data yang intuitif untuk mendeteksi anomali di seluruh tipe data dan memperkirakan performa model. Skalakan untuk memproses petabita data.
Manfaat Pengatur Data SageMaker
Cara kerja
Cara kerjanya
Judul 1: Amazon SageMaker Data Wrangler
Teks deskripsi: Sebuah cara visual yang lebih cepat untuk mengagregasi dan menyiapkan data untuk ML
Judul 2: Pilih dan kueri
Teks deskripsi: Pilih dan kueri data dari berbagai sumber data seperti Amazon S3, Athena, Amazon EMR, Amazon Redshift, Snowflake, Databricks, dan lebih dari 50 sumber pihak ketiga lainnya
Sub-deskripsi: Impor data dari toko fitur seperti Amazon SageMaker Feature Store
Judul 3: Bersihkan dan perkaya
Teks deskripsi: Bersihkan dan eksplorasi data, lakukan rekayasa fitur dengan transformasi data bawaan, dan deteksi bias statistik dengan SageMaker Clarify
Judul 4: Visualisasi
Teks deskripsi: Pahami data menggunakan grafik, deteksi pencilan dengan templat visualisasi yang sudah dikonfigurasi sebelumnya, dan nilai kualitas data dengan laporan bawaan
Judul 5: Pahami
Teks deskripsi: Gunakan contoh set data untuk memperkirakan performa dan akurasi model dengan cepat serta mendiagnosis potensi masalah
Judul 6: Operasikan
Teks deskripsi: Luncurkan pekerjaan pemrosesan SageMaker atau eksperimen SageMaker Autopilot, lakukan deployment alur SageMaker Data Wrangler ke titik akhir SageMaker, atau ekspor sebagai notebook.
Akses, pilih, dan kuerikan data dengan lebih cepat
Dengan SageMaker Data Wrangler, Anda dapat dengan cepat mengakses data tabulasi, teks, dan gambar dari layanan Amazon seperti S3, Athena, Redshift, serta 50+ sumber pihak ketiga. Anda dapat memilih data dengan builder kueri visual, menulis kueri SQL, atau mengimpor data secara langsung dalam berbagai format, seperti CSV dan Parquet.
Buat wawasan data dan pahami kualitas data
SageMaker Data Wrangler memberikan laporan kualitas data dan wawasan yang secara otomatis memverifikasi kualitas data (seperti nilai yang hilang, baris duplikat, dan tipe data) serta membantu mendeteksi anomali (seperti pencilan, ketidakseimbangan kelas, dan kebocoran data) dalam data Anda. Setelah Anda dapat memverifikasi kualitas data secara efektif, Anda dapat dengan cepat menerapkan pengetahuan domain guna memproses set data untuk pelatihan model ML.
Pahami data Anda dengan visualisasi
SageMaker Data Wrangler membantu Anda memahami data melalui templat visualisasi bawaan yang kuat seperti histogram, plot sebaran, tingkat kepentingan fitur, dan korelasi. Percepat eksplorasi data dengan laporan kualitas data intuitif yang mendeteksi anomali di seluruh jenis data dan memberikan rekomendasi untuk meningkatkan kualitas data.
Transformasikan data dengan lebih efisien
SageMaker Data Wrangler menawarkan lebih dari 300 transformasi PySpark prabangun serta antarmuka bahasa alami untuk menyiapkan data tabulasi, deret waktu, teks, dan gambar tanpa pengodean. Kasus penggunaan umum seperti vektorisasi teks, pencantuman tanggal waktu, enkode, penyeimbangan data, atau augmentasi gambar juga dicakup. Anda juga dapat membuat transformasi kustom di PySpark, SQL, dan Pandas atau menggunakan antarmuka bahasa alami untuk menghasilkan kode. Pustaka cuplikan kode bawaan menyederhanakan penulisan transformasi kustom.
Pahami kekuatan prediktif data Anda
SageMaker Data Wrangler menyediakan analisis Model Cepat untuk memperkirakan kekuatan prediktif data Anda. Anda mendapatkan perkiraan akurasi model, tingkat kepentingan fitur, dan matriks kebingungan untuk membantu memvalidasi kualitas data sebelum melatih model.
Otomatiskan dan deploy alur kerja persiapan data ML
SageMaker Data Wrangler memungkinkan Anda menskalakan untuk menyiapkan petabita data tanpa perlu mengodekan PySpark atau memprogram klaster. Luncurkan tugas pemrosesan secara langsung dari UI, atau integrasikan persiapan data ke dalam alur kerja ML dengan mengekspor data ke SageMaker Feature Store atau mengintegrasikannya dengan SageMaker Pipelines. Anda juga dapat mengekspor aliran data sebagai notebook Jupyter atau skrip Python untuk replikasi terprogram langkah-langkah persiapan data Anda.
Pelanggan
“Di INVISTA, kami didorong oleh transformasi dan berupaya mengembangkan produk serta teknologi yang bermanfaat bagi pelanggan di seluruh dunia. Kami melihat ML sebagai cara untuk meningkatkan pengalaman pelanggan. Namun, dengan set data yang menjangkau ratusan juta baris, kami membutuhkan solusi untuk membantu menyiapkan data, dan mengembangkan, melakukan deployment, serta mengelola model ML dalam skala besar. Dengan Amazon SageMaker Data Wrangler, kami sekarang dapat secara interaktif memilih, membersihkan, mengeksplorasi, dan memahami data secara efektif, sehingga dapat memberdayakan tim ilmu data untuk membuat pipeline rekayasa fitur yang dapat menskalakan dengan mudah ke set data yang menjangkau ratusan juta baris. Dengan Amazon SageMaker Data Wrangler, kami dapat mengoperasionalkan alur kerja ML dengan lebih cepat.”
Caleb Wilkinson, Former Lead Data Scientist, INVISTA
_Logo_Resized.f91898f019610a66c5a9284b90b71cf609deb12e.png "3M"){kind=logo}
“Dengan ML, 3M meningkatkan produk yang sudah diuji coba, seperti ampelas, dan mendorong inovasi di beberapa bidang lain, termasuk layanan kesehatan. Seiring dengan rencana kami untuk menskalakan ML ke lebih banyak area di 3M, kami mendapati bahwa jumlah data dan model terus berkembang secara pesat dengan jumlah yang berlipat ganda setiap tahun. Kami sangat antusias terkait fitur SageMaker baru karena fitur tersebut akan membantu kami menskalakan. Amazon SageMaker Data Wrangler memudahkan penyiapan data untuk pelatihan model, dan Amazon SageMaker Feature Store akan menghapus kebutuhan untuk membuat fitur model yang sama berulang kali. Terakhir, Amazon SageMaker Pipelines akan membantu kami mengotomatiskan penyiapan data, pembuatan model, dan deployment model ke dalam alur kerja ujung ke ujung sehingga kami dapat mempercepat waktu masuk pasar untuk model kami. Peneliti kami sangat menantikan untuk dapat memperoleh manfaat kecepatan baru dari sains di 3M.”
David Frazee, Eks Technical Director, 3M Corporate Systems Research Lab
“Amazon SageMaker Data Wrangler membuat kami dapat memulai dengan cepat dalam memenuhi kebutuhan penyiapan data dengan beraneka ragam koleksi alat transformasi yang mempercepat proses penyiapan data ML yang diperlukan untuk menghadirkan produk baru ke pasar. Selanjutnya, klien kami mendapatkan manfaat dari tingkat penskalaan model yang dilakukan deployment sehingga kami dapat memberikan hasil yang terukur dan berkelanjutan yang akan memenuhi kebutuhan klien kami dalam hitungan hari, bukan bulan.”
Frank Farrall, Principal, AI Ecosystems and Platforms Leader, Deloitte
“Sebagai Partner Konsultasi Premier AWS, tim rekayasa kami bekerja sama dengan AWS untuk membangun solusi inovatif guna membantu pelanggan kami agar dapat terus meningkatkan efisiensi operasi mereka. ML adalah inti dari solusi inovatif kami, tetapi alur kerja penyiapan data kami memerlukan teknik penyiapan data canggih yang, oleh karenanya, memerlukan banyak waktu agar dapat dioperasionalkan dalam lingkungan produksi. Dengan Amazon SageMaker Data Wrangler, ilmuwan data kami dapat menyelesaikan setiap langkah alur kerja penyiapan data, termasuk pemilihan, pembersihan, eksplorasi, dan visualisasi data, yang membantu kami mempercepat proses penyiapan data serta menyiapkan data dengan mudah untuk ML. Dengan Amazon SageMaker Data Wrangler, kami dapat menyiapkan data untuk ML secara lebih cepat.”
Shigekazu Ohmoto, Senior Corporate Managing Director, NRI Japan
“Karena jejak kami di pasar manajemen kesehatan populasi terus meluas ke lebih banyak payor kesehatan, penyedia, pengelola manfaat farmasi, dan organisasi kesehatan lainnya, kami membutuhkan sebuah solusi untuk mengotomatiskan proses ujung ke ujung untuk sumber data yang digunakan oleh model ML kami, termasuk data klaim, data pendaftaran, dan data farmasi. Dengan Amazon SageMaker Data Wrangler, kami sekarang dapat mempercepat waktu yang diperlukan untuk mengagregasikan serta menyiapkan data untuk ML menggunakan set alur kerja yang lebih mudah untuk divalidasi dan digunakan kembali. Hal ini secara signifikan mempercepat waktu pengiriman dan kualitas model sehingga meningkatkan efektivitas ilmuwan data kami, dan mengurangi waktu penyiapan data hingga hampir 50%. Selain itu, SageMaker Data Wrangler telah membantu kami menghemat banyak iterasi ML dan waktu GPU secara signifikan sehingga dapat mempercepat seluruh proses ujung ke ujung untuk klien karena kami sekarang dapat membangun data mart dengan ribuan fitur termasuk farmasi, kode diagnosis, kunjungan UGD, rawat inap, serta determinan demografis dan determinan sosial lainnya. Dengan SageMaker Data Wrangler, kami dapat mentransformasikan data dengan efisiensi tinggi untuk membangun set data pelatihan, menghasilkan wawasan data pada set data sebelum menjalankan model ML, dan menyiapkan data dunia nyata untuk inferensi/prediksi dalam skala besar.”
Lucas Merrow, CEO, Equilibrium Point IoT