Wydano Apache Mesos 1.5: Organizacja kontenerów z DC / OS i maratonem

Zarządzanie zasobami, narzędzia programistyczne, monitorowanie zadań, analiza danych, & Bezpieczeństwo w sieci

Apache Mesos to projekt typu open source, który wyodrębnia procesor, pamięć RAM, pamięć masową i inne zasoby komputerowe dostępne w wielu instancjach sprzętowych w centrum danych w ujednolicony sposób, dzięki czemu administratorzy systemów mogą obsługiwać całą sieć jako pojedynczy komputer. Apache Mesos zapewnia zestaw unikalnych interfejsów API do zarządzania zasobami w chmurze, które można skalować do ponad 10 000 węzłów, integrując się z innymi platformami, takimi jak Hadoop, Chronos, Spark, Cassandra, & Kafka do złożonych wdrożeń aplikacji internetowych / mobilnych. Apache Mesos jest używany przez Apple, Microsoft, PayPal, Twitter, Verizon, Samsung, Netflix, eBay, Bloomberg, AirBNB, Yelp, Uber, China Mobile, & wiele innych firm pod względem wymagań dotyczących zarządzania centrum danych. Benjamin Hindman, jeden z głównych założycieli Mesos / Nexus w UC Berkeley, założył w 2013 r. Firmę startową Mesosphere, która produkuje DC / OS (Datacenter Operating System) jako gotową do produkcji dystrybucję kodu zaprojektowanego do użytku w przedsiębiorstwach. Mesosphere DC / OS zawiera elastyczne narzędzia do zarządzania zasobami klastra, które umożliwiają organizację chmury na dużą skalę za pomocą Docker Swarm, Kubernetes lub Marathon. Najnowsza wersja Apache Mesos (wersja 1.5) zawiera obsługę interfejsu CSI (Container Storage Interface), który umożliwia systemowi automatyczne tworzenie partycji pamięci w oparciu o ustawione parametry aplikacji z kompatybilnością z wieloma chmurami. Nowa wersja zawiera także lepszą obsługę konfiguracji dla środowisk Windows, autonomiczny format kontenera oraz ulepszone wyrzucanie elementów bezużytecznych.

Zarządzanie zasobami, narzędzia programistyczne, monitorowanie zadań, analiza danych i bezpieczeństwo sieci

Apache Mesos & Mesosphere DC / OS – system operacyjny centrum danych

Apache Mesos rozpoczął się w 2009 roku na University of California – Berkeley od projektu badawczego o nazwie "Ogniwo" opracowany przez Bena Hindmana, Andy’ego Konwińskiego, & Matel Zaharia. W tym czasie Google nie opublikował jeszcze publicznego kodu Kubernetes, a wiele korporacji szukało sposobu na skopiowanie "Borg" funkcjonalność do zarządzania dużymi centrami danych w korporacjach IT. W 2010 roku trio wygłosiło prezentację na Twitterze na temat projektu i wydało artykuł naukowy zatytułowany "Mesos: platforma do precyzyjnego udostępniania zasobów w centrum danych" w temacie. W tym samym roku Mesos wszedł do inkubatora Apache na podstawie licencji open source do dalszego rozwoju przez programistów na arenie międzynarodowej. Wykorzystanie Mesos w zarządzaniu dużymi centrami danych zostało przyjęte przez Twitter, eBay, PayPal i wiele innych firm rozpoczynających działalność do wdrażania serwerów klastrowych, spełniających wymagania CI / CD w zakresie zwinnego zarządzania projektami, automatyzacji zadań systemowych, & planowanie zagregowanych zasobów dla aplikacji produkcyjnych. Wiele największych firm telekomunikacyjnych i informatycznych korzysta obecnie z Apache Mesos & DC / OS jako wiodący standard branżowy. Na przykład Microsoft wdrożył go jako część swojego pakietu produktów Azure Cloud, Apple używa go do uruchamiania Siri z J.A.R.V.I.S, Netflix implementuje go do swoich wymagań dotyczących aranżacji kontenerów chmurowych Titus, a Uber opracował ich "duże dane" wokół niej platforma analityczna. Apache Mesos & DC / OS są zalecane przez zespoły programistów w tych firmach dla obszernych Jenkins, Chef, Puppet, & Zapewniono elastyczne narzędzia integracyjne, z możliwością niezależnego działania zarówno w chmurze prywatnej, jak i w chmurze publicznej.

Apache Mesos & Mesosphere DC / OS - system operacyjny centrum danych

Mesosphere DC / OS: „Pojęcia takie jak mikrousługi, konteneryzacja, “szybkie dane” analiza i reakcja, przetwarzanie rozproszone oraz zbieranie i przetwarzanie danych brzegowych były przełomowymi koncepcjami, kiedy firma rozpoczęła działalność w 2013 roku. Opierając się na Apache Mesos, Mesosphere dążyło do połączenia wszystkich narzędzi potrzebnych do obsługi nowoczesnych aplikacji intensywnie wykorzystujących dane, takich jak kontener aranżacja, rozproszone bazy danych, kolejki komunikatów, przesyłanie i przetwarzanie danych, uczenie maszynowe, możliwości monitorowania i zarządzania, narzędzia bezpieczeństwa, automatyzacja wdrażania i inne. Od momentu premiery w 2015 r. Mesosphere DC / OS “system operacyjny” ułatwia wdrażanie, łączenie i elastyczne skalowanie ponad 100 usług open source i komercyjnych za pomocą jednego kliknięcia i stanowi podstawę wszystkiego, od aplikacji internetowych, poprzez Internet Rzeczy i samochody autonomiczne, po systemy bankowe i handlowe ”. Dowiedz się więcej o Kubernetes na Mesosphere DC / OS.

Orkiestracja kontenerów: Docker Swarm, Kubernetes, & Maraton

Mesosphere DC / OS jest niezwykle elastyczny zgodnie z wytycznymi licencjonowania typu open source i modułowy zgodnie z obiektowymi zasadami, dzięki czemu programiści i zespoły programistów zewnętrznych, & korporacje mogą tworzyć rozszerzenia dla platformy, które pozwalają na dostosowanie jej w nowy sposób. Podobnie jak Linux, Apache Mesos działa jak "jądro" ujednolicenie wszystkich zasobów sprzętowych centrum danych z wymaganym oprogramowaniem narzędziowym, w którym Mesosphere DC / OS to system operacyjny, który można instalować z różnymi aplikacjami na najwyższych warstwach. Stosy Mesosphere DC / OS integrują się z Apache Hadoop, Spark, Cassandra, Kafka, Infinity, Velocity, Zeppelin itp., Dzięki czemu można opracować nowe aplikacje internetowe / mobilne, w tym funkcje, które nie byłyby możliwe przy użyciu innych narzędzi programowych lub platform baz danych. Mesosphere DC / OS pozwala zaoszczędzić pieniądze firmom, nie wymagając od nich wielokrotnego przebudowywania wszystkich podstawowych elementów zarządzania centrum danych na bazie kodu Apache Mesos, a platforma jest stosunkowo prosta w użyciu "po wyjęciu z pudełka" dla szerokiej gamy różnych scenariuszy. W przypadku aranżacji kontenerów programiści mogą wybrać własny natywny standard kontenerów Docker lub Mesos, który jest częścią podstawowej dystrybucji. Podobnie organizacje mogą wybrać Docker Swarm, Kubernetes lub Marathon do zarządzania serwerami klastrowymi, alokacji zasobów, planowania, synchronizacji i przemieszczania artefaktów w produkcji aplikacji internetowych / mobilnych. Maraton gwarantuje wysoką dostępność przy 100% przestoju dla wielu środowisk uruchomieniowych kontenerów, aplikacji stanowych, wykrywania usług, równoważenia obciążenia, kontroli kondycji, subskrypcji zdarzeń, wirtualnego routingu IP i wskaźników. Mesosphere DC / OS można zainstalować w prywatnych centrach danych działających w chmurze wraz z integracją VMware vSphere lub OpenStack, a także na platformach chmur publicznych, takich jak AWS, Microsoft Azure i Google Cloud Engine. Za pomocą tego systemu firmy mogą konfigurować zasoby w celu obsługi wielu zespołów programistycznych i wdrożeń oprogramowania za pomocą zarządzania tożsamością, kontroli dostępu, szyfrowania podłączonych urządzeń w całym klastrze i zmniejszonej eskalacji uprawnień.

Organizacja kontenerów: Docker Swarm, Kubernetes i Marathon

Mikrousługi: "Aby odnieść sukces, potoki danych opierają się na wielu ściśle powiązanych technologiach. Budowanie potoku danych wymaga zintegrowania różnych technologii, takich jak rozproszone silniki analityczne (Apache Spark), rozproszone kolejki komunikatów (Apache Kafka) i rozproszone systemy pamięci masowej (Apache Cassandra). Jednak wiele organizacji ma trudności z budowaniem i utrzymywaniem potoków danych, ponieważ są one niezwykle złożone, składają się one z wielu komponentów, które wymagają starannej obsługi i administracji w celu uzyskania maksymalnej wartości i uniknięcia utraty danych … Wielkie firmy internetowe jako pionierzy zastosowały menedżerowie klastrów centrów danych, tacy jak Apache Mesos, w celu wydajnego budowania i utrzymywania złożonych systemów rozproszonych. Mesosphere DC / OS, obsługiwany przez Apache Mesos, pomaga inżynierom danych i zespołom DevOps uprościć wdrażanie i działanie potoków danych w dowolnej infrastrukturze." Dowiedz się więcej o korzystaniu z Apache Mesos z Cassandra, Kafka, Zeppelin, & Iskra.

Apache Mesos & Mesosphere DC / OS – zasoby

Jako Apache Mesos & Mesosphere DC / OS jest szeroko stosowany w zarządzaniu centrami danych przedsiębiorstwa i zarządzaniu chmurą dla aplikacji internetowych / mobilnych, rośnie liczba zasobów edukacyjnych dla administratorów systemów, programistów i programistów, którzy chcą współpracować z platformą . Najważniejsze z nich to artykuły naukowe opublikowane przez założycieli, które wyrażają podstawowe zasady i filozofię stojącą za kodem:

  • Mesos: platforma do precyzyjnego udostępniania zasobów w centrum danych (2010)
  • Centrum danych potrzebuje systemu operacyjnego (2011)
  • Omega: elastyczne, skalowalne harmonogramy dla dużych klastrów obliczeniowych (2013)
  • Architektura szybkiego i ogólnego przetwarzania danych w dużych klastrach (2014)

Ponadto istnieje wiele doskonałych książek, pokazów slajdów, filmów i scenariuszy przypadków użycia na ten temat, z GitHub zalecaną witryną zasobów do uzyskiwania dostępu do kodu i informacji o projektach innych firm, które podłączają się do Mesosphere DC / OS w celu rozszerzenia jego funkcjonalności.

Książki:

  • Apache Mesos Essentials – Dharmesh Kakadia (2015)
  • Big Data SMACK: Przewodnik po Apache Spark, Mesos, Akka, Cassandra i Kafka – Raul Estrada & Isaac Ruiz (2016)
  • Mesos in Action – Roger Ignazio (2016)
  • Budowanie aplikacji w Mesos: wykorzystanie elastycznych, skalowalnych i rozproszonych systemów – David Greenberg (2016)
  • Natywna infrastruktura chmurowa: wzorce skalowalnej infrastruktury i aplikacji w dynamicznym środowisku – Justin Garrison &‎ Kris Nova (2017)

Prezentacje slajdów:

  • Wprowadzenie do Apache Mesos (Thomas Barton)
  • Wprowadzenie do Apache Mesos (Joe Stein)
  • Skalowanie jak Twitter z Apache Mesos

Filmy wideo:

  • John Wilkes – Google Faculty Summit (2011)
  • John Wilkes – Omega: elastyczne, skalowalne programy planujące dla dużych klastrów obliczeniowych (2013)
  • Pojemniki na pojemniki z Docker Compose w Apache Mesos (PayPal)
  • MesosCon Europe 2017

Scenariusze użycia przypadku:

  • Uber
  • Netflix
  • jabłko
  • Świergot
  • China Mobile

Projekty GitHub:

  • Maraton
  • Łabędź
  • Fenzo (Netflix)

Apache Mesos & Mesosphere DC / OS - zasoby

Apache Mesos: "Mesos składa się z głównego demona, który zarządza demonami agentów działającymi na każdym węźle klastra, oraz struktur Mesos, które uruchamiają zadania na tych agentach. Wzorzec umożliwia precyzyjne współdzielenie zasobów (procesor, pamięć RAM itp.) W różnych środowiskach poprzez tworzenie ich ofert zasobów. Wzorzec decyduje o tym, ile zasobów zaoferować w każdym środowisku zgodnie z daną polityką organizacyjną, taką jak uczciwe współdzielenie lub ścisły priorytet. Aby obsłużyć różnorodny zestaw zasad, moduł główny stosuje architekturę modułową, która ułatwia dodawanie nowych modułów alokacji za pośrednictwem mechanizmu wtyczek. Struktura działająca na Mesos składa się z dwóch komponentów: programu planującego, który rejestruje się w systemie głównym, aby zaoferować zasoby, oraz procesu wykonawczego uruchamianego w węzłach agenta w celu uruchomienia struktury’Zadania s … Podczas gdy wzorzec określa, ile zasobów jest oferowanych dla każdego frameworka, osoby planujące frameworki wybierają, które z oferowanych zasobów użyć. Gdy środowisko akceptuje oferowane zasoby, przekazuje Mesosowi opis zadań, które chce na nich uruchomić. Z kolei Mesos uruchamia zadania na odpowiednich agentach." Dowiedz się więcej o architekturze Apache Mesos.

Mesosphere otrzymało od 2013 r. 122 mln USD na finansowanie przedsięwzięć typu venture od Microsoft, Hewlett Packard, Khosla Ventures, Andreessen Horowitz, Fuel Capital i innych firm, aby kontynuować rozwój platformy DC / OS. Firma była gospodarzem czterech konwencji MesosCon w Ameryce Północnej, trzech w Europie i dwóch w Azji, umożliwiając firmom prezentowanie swoich aplikacji i metod pracy opinii publicznej. Śledź Mesosphere na Twitterze.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me