Apa itu Basis Data Vektor?
Informasi datang dalam berbagai bentuk. Sebagian informasi tidak terstruktur, seperti dokumen teks, media kaya, dan audio; sementara sebagian informasi lainnya terstruktur, seperti log aplikasi, tabel, dan grafik. Inovasi dalam kecerdasan buatan dan machine learning (AI/ML) telah memungkinkan kita untuk membuat jenis model ML—model penyematan. Penyematan mengodekan semua jenis data ke dalam vektor yang menangkap makna dan konteks aset. Hal ini memungkinkan kita untuk menemukan aset serupa dengan mencari titik data tetangga. Metode pencarian vektor memungkinkan pengalaman unik seperti mengambil foto dengan ponsel pintar Anda dan mencari gambar serupa.
Basis data vektor menyediakan kemampuan untuk menyimpan dan mengambil vektor sebagai titik dimensi tinggi. Basis data tersebut memberikan kemampuan tambahan untuk pencarian yang efisien dan cepat dari tetangga terdekat di ruang N-dimensi. Basis data tersebut umumnya didukung oleh indeks k-nearest neighbor (k-NN) dan dibangun dengan algoritme seperti algoritme Hierarchical Navigable Small World (HNSW) dan Inverted File Index (IVF). Basis data vektor menyediakan kemampuan tambahan seperti manajemen data, toleransi kesalahan, autentikasi dan kontrol akses, serta mesin kueri.
Bagaimana basis data vektor digunakan?
Basis data vektor biasanya digunakan untuk mendukung kasus penggunaan pencarian vektor seperti pencarian visual, semantik, dan multimodal. Baru-baru ini, mereka dipasangkan dengan model teks kecerdasan buatan (AI) generatif untuk membuat agen cerdas yang memberikan pengalaman penelusuran percakapan. Mereka juga dapat mencegah model AI generatif berhalusinasi, yang dapat menyebabkan chatbot memberikan respons yang tidak faktual tetapi dapat dipercaya.
Proses pengembangan dimulai dengan membuat model penyematan yang dirancang untuk mengodekan korpus seperti gambar produk ke dalam vektor. Proses impor data juga disebut hidrasi data. Developer aplikasi sekarang dapat menggunakan basis data untuk mencari produk serupa dengan mengodekan gambar produk dan menggunakan vektor untuk meminta gambar serupa.
Dalam model, indeks k-nearest neighbor (k-NN) menyediakan pengambilan vektor yang efisien dan menerapkan fungsi jarak seperti kosinus untuk menentukan peringkat hasil berdasarkan kesamaan.
Mengapa basis data vektor penting?
Developer Anda dapat mengindeks vektor yang dihasilkan dengan penyematan ke dalam basis data vektor. Ini memungkinkan mereka untuk menemukan aset serupa dengan menanyakan vektor tetangga.
Basis data vektor menyediakan metode untuk mengoperasionalkan model penyematan. Pengembangan aplikasi lebih produktif dengan kemampuan basis data seperti manajemen sumber daya, kontrol keamanan, skalabilitas, toleransi kesalahan, dan pengambilan informasi yang efisien melalui bahasa kueri yang canggih.
Basis data vektor pada akhirnya memberdayakan developer untuk menciptakan pengalaman aplikasi yang unik. Misalnya, pengguna Anda dapat mengambil foto di ponsel cerdas mereka untuk mencari gambar serupa.
Developer dapat menggunakan jenis model machine learning lainnya untuk mengotomatiskan ekstraksi metadata dari konten seperti gambar dan dokumen yang dipindai. Mereka dapat mengindeks metadata bersama vektor untuk memungkinkan pencarian hibrida pada kata kunci dan vektor. Mereka juga dapat menggabungkan pemahaman semantik ke dalam peringkat relevansi untuk meningkatkan hasil pencarian.
Inovasi dalam kecerdasan buatan (AI) generatif telah memperkenalkan jenis model baru seperti ChatGPT yang dapat menghasilkan teks dan mengelola percakapan kompleks dengan manusia. Beberapa di antaranya dapat beroperasi dengan berbagai modalitas; misalnya, beberapa model memungkinkan pengguna mendeskripsikan lanskap dan menghasilkan gambar yang sesuai dengan deskripsi.
Namun, model generatif rentan terhadap halusinasi, yang dapat, misalnya, menyebabkan chatbot menyesatkan pengguna. Basis data vektor dapat melengkapi model AI generatif. Mereka dapat memberikan basis pengetahuan eksternal untuk chatbot AI generatif dan membantu memastikan mereka memberikan informasi yang dapat dipercaya.
Siapa yang menggunakan basis data vektor?
Basis data vektor adalah untuk developer yang ingin membuat pengalaman yang didukung pencarian vektor. Developer aplikasi dapat menggunakan model sumber terbuka, alat machine learning (ML), dan layanan model dasar untuk menghasilkan penyematan dan menghidrasi basis data vektor. Ini membutuhkan keahlian ML minimal.
Sebuah tim ilmuwan dan teknisi data dapat membuat penyematan yang disetel dengan ahli dan mengoperasionalkannya melalui basis data vektor. Ini dapat membantu mereka memberikan solusi kecerdasan buatan (AI) lebih cepat.
Tim operasi mendapat manfaat dari mengelola solusi sebagai beban kerja basis data yang sudah dikenal. Mereka dapat menggunakan alat dan buku pedoman yang ada.
Apa manfaat dari basis data vektor?
Basis data vektor memungkinkan developer untuk berinovasi dan menciptakan pengalaman unik yang didukung oleh pencarian vektor. Mereka dapat mempercepat pengembangan aplikasi kecerdasan buatan (AI) dan menyederhanakan operasionalisasi beban kerja aplikasi yang didukung AI.
Basis data vektor memberikan alternatif untuk membangun di atas indeks bare k-nearest neighbor (k-NN). Indeks semacam itu membutuhkan banyak keahlian dan teknik tambahan untuk digunakan, disesuaikan, dan dioperasionalkan.
Basis data vektor yang baik menyediakan aplikasi dengan fondasi melalui fitur-fitur seperti manajemen data, toleransi kesalahan, fitur keamanan kritis, dan mesin kueri. Kemampuan ini memungkinkan pengguna untuk mengoperasionalkan beban kerja mereka untuk menyederhanakan penskalaan, mempertahankan skalabilitas tinggi, dan mendukung persyaratan keamanan.
Kemampuan seperti mesin kueri dan SDK menyederhanakan pengembangan aplikasi. Mereka juga memungkinkan developer untuk melakukan kueri yang lebih canggih (seperti pencarian dan pemfilteran) pada metadata sebagai bagian dari pencarian k-NN. Mereka juga memiliki opsi untuk menggunakan model penilaian relevansi hibrida yang memadukan model frekuensi istilah tradisional seperti BM25 dengan skor vektor untuk meningkatkan pengambilan informasi.
Apa tantangan basis data vektor?
Basis data vektor menghadapi banyak tantangan yang sama yang dihadapi oleh teknologi basis data lainnya. Akan ada dorongan berkelanjutan untuk meningkatkan skalabilitas, akurasi perkiraan, performa latensi, dan ekonomi.
Sebagai teknologi yang relatif baru, banyak basis data vektor perlu matang pada kompetensi basis data inti seperti keamanan, ketahanan, dukungan operasional, dan diversifikasi dukungan beban kerja. Ini menjadi penting karena aplikasi kecerdasan buatan (AI) matang dan membutuhkan lebih dari sekadar pencarian vektor.
Bagaimana AWS dapat mendukung persyaratan basis data vektor Anda?
Amazon Web Services (AWS) menawarkan banyak layanan untuk persyaratan basis data vektor Anda:
- Amazon OpenSearch Service memudahkan Anda melakukan analitik log interaktif, pemantauan aplikasi waktu nyata, pencarian situs web, dan banyak lagi. Untuk basis data vektor, Anda dapat membaca tentang pencarian k-Nearest Neighbor (k-NN) di OpenSearch Service.
- Amazon Aurora Edisi yang Kompatibel dengan PostgreSQL dan Amazon Relational Database Service (Amazon RDS) for PostgreSQL mendukung ekstensi pgvector untuk menyimpan penyematan dari model machine learning (ML) di basis data Anda dan melakukan pencarian kesamaan yang efisien.
- Amazon Neptune ML adalah kemampuan baru Neptune yang menggunakan Graph Neural Networks (GNN), teknik ML yang dibuat khusus untuk grafik, untuk membuat prediksi yang mudah, cepat, dan lebih akurat menggunakan data grafik.
- Pencarian vektor untuk Amazon MemoryDB mendukung penyimpanan jutaan vektor, dengan waktu kueri dan respons pembaruan milidetik satu digit, serta puluhan ribu kueri per detik (QPS) pada penarikan lebih besar dari 99%.
- Amazon DocumentDB (dengan kompatibilitas MongoDB) mendukung pencarian vektor, sebuah kemampuan baru yang memungkinkan Anda menyimpan, mengindeks, dan mencari jutaan vektor dengan waktu respons milidetik. Dengan pencarian vektor untuk Amazon DocumentDB, Anda cukup mengatur, mengoperasikan, dan menskalakan basis data untuk aplikasi ML Anda.
Mulailah dengan basis data vektor di AWS dengan membuat akun sekarang.
