Mari kita mengenal proyek open source Netflix satu per satu:
Proyek Sumber Terbuka Netflix Teratas: Data Besar
jenius
jenius adalah mesin eksekusi pekerjaan gabungan yang menyediakan API REST-ful untuk menjalankan berbagai pekerjaan data besar seperti Hadoop, Pig, Hive, Presto, Sqoop, dan banyak lagi. Ini juga menyediakan API untuk mengelola banyak konfigurasi cluster pemrosesan terdistribusi dan perintah serta aplikasi yang berjalan di atasnya.
inviso
inviso adalah antarmuka untuk mencari dan melihat pekerjaan Hadoop, kinerja pekerjaan, dan data pemanfaatan cluster.
Lipstik
Lipstik itu adalah proyek dewa untuk pengembang babi. Ini menggabungkan representasi grafis dari alur kerja Pig dengan informasi tentang pekerjaan yang sedang berjalan, memberikan wawasan pengembang yang sebelumnya membutuhkan banyak analisis log (atau ahli Babi) untuk berkumpul.
aegisthus
aegisthus memungkinkan abstraksi besar-besaran data Cassandra untuk pemrosesan pasca analisis. Ini dilakukan dengan mengimplementasikan pembaca untuk format SSTable dan menyediakan program peta/pengurangan untuk membuat snapshot data yang dipadatkan dalam keluarga kolom.
Itu tentang proyek sumber terbuka utama Netflix yang terkait dengan data besar. Mari kita bahas alat pembuatan dan pemulihan:
Proyek Sumber Terbuka Netflix Teratas: Alat Penulisan dan Pengiriman
nebula
nebula adalah kumpulan plugin Gradle yang bersumber terbuka dari Netflix untuk membagikan infrastruktur pembangunan internalnya kepada publik. Organisasi nebula-plugins dibuat untuk memudahkan pembuatan, kontrol, dan rilis plugin Gradle. Itu dilakukan dengan menyediakan ruang untuk meng-host plugin, di SCM, CI dan Repositori.
Asgard
Asgard adalah alat berbasis web untuk mengelola aplikasi dan infrastruktur berbasis cloud. Asgard membantu Netflix membangun dan menyebarkan ratusan aplikasi dan layanan di cloud Amazon. Asgard dirilis di bawah Lisensi Apache, versi 2.0. Jangan ragu untuk memotong proyek dan melakukan perbaikan padanya.
Proyek Sumber Terbuka Netflix Teratas: Pustaka dan Layanan Runtime Umum
histrix
histrix adalah perpustakaan latency dan toleransi kesalahan yang dirancang untuk mengisolasi titik akses ke sistem jarak jauh, layanan dan perpustakaan pihak ketiga, menghentikan kegagalan cascading, dan memungkinkan ketahanan dalam sistem terdistribusi yang kompleks di mana kegagalan tidak dapat dihindari. Dalam lingkungan terdistribusi, pasti beberapa dari banyak dependensi layanan akan gagal. Hystrix adalah pustaka yang membantu Anda mengontrol interaksi antara layanan terdistribusi ini dengan menambahkan toleransi latensi dan logika toleransi kesalahan. Hystrix melakukan ini dengan mengisolasi titik akses antar layanan, menghentikan kegagalan cascading di antara mereka, dan menyediakan opsi pencadangan, yang semuanya meningkatkan ketahanan sistem Anda secara keseluruhan.
karyon
karyon itu adalah kerangka kerja dan perpustakaan yang pada dasarnya berisi cetak biru untuk apa artinya mengimplementasikan layanan web siap-cloud. Semua layanan web dan aplikasi berbutir halus lainnya yang membentuk grafik SOA Netflix dapat dianggap sebagai kloning dari model dasar ini.
Turbin
Turbin adalah alat untuk menggabungkan aliran data JSON Server Sent Events (SSE) menjadi satu aliran. Kasus penggunaan target adalah aliran metrik dari instance dalam SOA yang digabungkan untuk dasbor. penggunaan netflix histrix yang memiliki dasbor waktu nyata yang digunakan Turbin untuk mengumpulkan data dari 100 atau 1000 mesin.
Proyek Sumber Terbuka Netflix Teratas: Kegigihan Data
Sakit EVC
Sakit EVC adalah solusi caching berbasis memcached dan spymemcached yang terutama digunakan untuk infrastruktur AWS EC2 untuk menyimpan data yang sering digunakan dalam cache.
dinomit
Terinspirasi oleh buku putih Dynamo Amazon, dinomit adalah implementasi dinamo umum untuk mesin penyimpanan kv yang berbeda.
astyanax
astyanax adalah klien Java tingkat tinggi untuk cassandra apache. Apache Cassandra adalah database berorientasi kolom yang sangat tersedia. Ini meminjam banyak konsep dari Hector, tetapi berbeda dalam implementasi kumpulan koneksi serta API klien. Salah satu pertimbangan desain utama adalah menyediakan abstraksi yang bersih antara kumpulan koneksi dan Cassandra API sehingga masing-masing dapat disesuaikan dan ditingkatkan secara individual. Astyanax menyediakan API gaya lancar yang memandu penelepon untuk mengurangi kueri dari kunci ke kolom, serta menyediakan kueri untuk kasus penggunaan yang lebih kompleks yang dihadapi Netflix. Manfaat operasional Astyanax dibandingkan Hector termasuk latensi yang lebih rendah, varian latensi yang berkurang, dan penanganan kesalahan yang lebih baik.
Ini adalah proyek sumber terbuka utama Netflix yang terkait dengan persistensi data. Mari kita bahas alat wawasan, keandalan, dan kinerja:
Proyek Sumber Terbuka Netflix Teratas: Kesadaran, Keandalan, dan Kinerja
Atlas
Atlas ini digunakan untuk mengelola data deret waktu dimensi untuk wawasan operasional yang mendekati waktu nyata. Atlas memiliki penyimpanan data dalam memori, memungkinkan Anda mengumpulkan dan melaporkan metrik dalam jumlah besar, dengan sangat cepat. Itu dibuat terutama untuk mengatasi masalah skalabilitas dan kemampuan kueri di sistem lama.
Es
Es memberikan pandangan luas tentang lingkungan cloud kami yang besar dan kompleks dari perspektif penggunaan dan biaya. Sumber daya cloud disediakan secara dinamis oleh lusinan tim layanan dalam organisasi, dan snapshot statis apa pun dari alokasi sumber daya memiliki nilai terbatas. Kemampuan untuk membuat tren pola penggunaan dalam skala global, namun membaginya ke wilayah, zona ketersediaan, atau tim layanan memberikan fleksibilitas yang luar biasa. Ice memungkinkan kami mengukur jejak AWS kami dan membuat keputusan yang tepat terkait pembelian reservasi dan realokasi sumber daya.
tentara kera
itu tentara kera ini adalah seperangkat alat untuk menjaga agar cloud Anda tetap beroperasi dalam kondisi prima. Tentara Simian terdiri dari layanan (Monyet) di awan untuk menghasilkan berbagai jenis kesalahan, mendeteksi kondisi abnormal dan menguji kemampuan kita untuk bertahan hidup. Tujuannya adalah untuk menjaga cloud tetap aman, terlindungi, dan sangat tersedia. Kera hari ini termasuk monyet kekacauan, petugas kebersihan monyetkamu monyet konformis.
Setelah analisis dan proyek terkait kinerja, mari kita bicara tentang proyek sumber terbuka Netflix utama yang terkait dengan keamanan:
Proyek Sumber Terbuka Netflix Teratas: Keamanan
jumpsuit keamanan
jumpsuit keamanan memantau perubahan kebijakan dan peringatan tentang konfigurasi tidak aman di akun AWS. Ini juga terbukti menjadi alat yang berguna untuk melacak masalah potensial, karena pada dasarnya adalah sistem pelacakan perubahan.
Scumblr
Scumblr adalah aplikasi web yang memungkinkan Anda melakukan pencarian berkala dan menyimpan/mengambil tindakan pada hasil yang teridentifikasi. Pencarian Scumblr menggunakan plugin yang disebut penyedia pencarian. Setiap Penyedia Pencarian mengetahui cara melakukan pencarian melalui situs atau API tertentu (Google, Bing, eBay, Pastebin, Twitter, dll.). Pencarian dapat dikonfigurasi dari Scumblr berdasarkan opsi yang tersedia oleh penyedia pencarian.
Lapisan keamanan pesan
Lapisan keamanan pesan (MSL) adalah kerangka kerja pesan aman yang dapat diperluas dan fleksibel yang dapat digunakan untuk mengangkut data antara dua atau lebih entitas yang berkomunikasi. Data juga dapat dikaitkan dengan pengguna tertentu dan diperlakukan sebagai rahasia atau tidak dapat direproduksi jika diinginkan.
Daftar proyek open source teratas Netflix di atas Itu dibuat dengan masukan dari Sistem operasi Netflix.
Gunakan bagian komentar kami di bawah ini untuk membagikan pandangan Anda. Beri tahu kami jika kami melewatkan proyek sumber terbuka Netflix populer di daftar kami.
Lihat artikel kami yang lain tentang proyek sumber terbuka di sini.