Komputery kognitywne: AWS, Google i IBM przedstawiają nowe serwery AI / ML / DL

Cloud HPC z procesorami graficznymi NVIDIA Tesla V100 + AWS P3, Google TPU2, & Procesory IBM Power9

Obliczenia kognitywne obejmują elementy ze sztucznej inteligencji (AI), głębokiego uczenia się (DL) i uczenia maszynowego (ML), przede wszystkim poprzez połączenie szkoleniowych sieci neuronowych z zestawów danych i przetwarzania informacji za pomocą ustalonych algorytmów. Dziesięciolecia badań w dziedzinie informatyki na arenie międzynarodowej doprowadziły do ​​znacznych postępów w stosowaniu tej technologii w praktyczny sposób, na przykład: robotyka, eksploracja danych, rozpoznawanie mowy, autonomiczna lub samodzielna nawigacja pojazdu, odkrywanie farmaceutyków, przetwarzanie obrazów / wideo, zarządzanie ryzykiem kompleksowe modelowanie systemu, generowanie memów, rozpoznawanie wzorców zachowań klientów, rekomendacje produktów w e-commerce itp. Sieci neuronowe sięgają 1944 r., kiedy to Warren McCullough & Walter Pitts (University of Chicago / MIT), tworzący kluczowe aspekty ruchów cybernetycznych (1940-60), łączących (1980-90) i Deep Learning (2006-obecnie). Ostatnie zmiany w dziedzinie przetwarzania w chmurze i projektowania sprzętu doprowadziły do ​​tego, że główne firmy informatyczne i korporacje z listy Fortune 500 wdrożyły "AI-First" strategia, w której firmy takie jak eBay, Uber, SAP, Dropbox, AirBNB, Snapchat, Twitter, Qualcomm, ARM i wiele innych już dużo zainwestowały w uruchamianie aplikacji produkcyjnych. W 2017 r. NVIDIA, Google, AWS, IBM, Facebook, AMD i Microsoft ogłosiły ważne ogłoszenia dotyczące nowej technologii platformy AI / ML / DL, w tym po raz pierwszy udostępniając ten zaawansowany sprzęt firmom, badaczom i programistom na model przetwarzania w chmurze w celu integracji z istniejącymi narzędziami do hostingu i centrów danych. Platformy te skalują się również pod kątem działania jako superkomputery w aplikacjach przetwarzania wysokiej wydajności (HPC) "duże dane" w czasie rzeczywistym i rozwiązywanie złożonych problemów matematycznych, naukowych i badawczych dzięki mocy nowych układów układów GPU / TPU zoptymalizowanych pod kątem wymagań ML.

Cloud HPC z procesorami graficznymi NVIDIA Tesla V100 + AWS P3, Google TPU2 i procesory IBM Power9

The End of Moore’s Law: Zwiększona konkurencja & Innowacje w projektowaniu układów GPU / TPU

Większość konsumentów jest już zaznajomiona z wykorzystaniem procesorów graficznych (Graphics Processing Units) i FPU (Floating-Point Units) z kart graficznych opartych na PCI, takich jak te tradycyjnie produkowane przez NVIDIA, AMD, & Intel do wysokiej klasy stacji roboczych na komputery PC i Mac lub do gier. Procesory graficzne i FPU optymalizują przetwarzanie matematyczne z lepszą wydajnością sprzętową niż zapewnia CPU dzięki połączeniu projektowania układów, funkcji płyty głównej i integracji oprogramowania. Większość układów CPU w obecnych komputerach i serwerach Intel / AMD jest obecnie oparta na architekturze CISC (Complex Instruction Set Computing) (Sandy Bridge, Ivy Bridge, Haswell, Broadwell, Skylake itp.) Ze zintegrowanymi procesorami graficznymi, podczas gdy telefony komórkowe i tablety komputery używają głównie architektury RISC (ang. Reduced Instruction Set Computing) na licencji ARM. Natomiast nowe układy TPU zaprojektowane i wyprodukowane przez Google, NVIDIA i IBM do uczenia maszynowego implementują mikroarchitekturę ASIC (Application Specific Integrated Circuit), która zapewnia znaczny wzrost wydajności w szkoleniowych sieciach neuronowych, chociaż te układy są znacznie większe niż znalezione procesory w komputerach domowych i biznesowych. Niedawny wzrost popytu na karty graficzne wymagane do wydobywania bitcoinów, budowy sieci pojazdów autonomicznych i aplikacji AI w przemyśle spowodowało, że cena akcji NVIDII wzrosła z około 29 USD na początku 2016 r. Do ponad 220 USD pod koniec 2017 r. sukces akceleratorów GPU Tesla P100 dla centrów danych i HPC opartych na architekturze GPU Pascal, NVIDIA wydała procesor graficzny Tesla V100 w 2017 roku – "świat’pierwszy GPU, który przełamał barierę 100 teraflopów (TFLOPS) w zakresie głębokiego uczenia się."

Cloud HPC z procesorami graficznymi NVIDIA Tesla V100 + AWS P3, Google TPU2 i procesory IBM Power9

Zarówno Microsoft, jak i Amazon.com mocno zainwestowały w sprzęt Volta dla swoich centrów danych w chmurze, gdzie korporacje, instytucje akademickie, programiści i programiści mogą teraz dzierżawić sprzęt obsługujący GPU dla aplikacji AI / ML / DL na platformach AWS i Azure. Biorąc jednak pod uwagę koszty i marże związane z zakupem sprzętu NVIDIA na najwyższym poziomie w skali przemysłowej, Google uznał, że bardziej opłacalne jest inwestowanie w projektowanie własnych układów TPU / TPU2 do użytku wewnętrznego, które udostępniono również opinii publicznej Platforma TensorFlow. Niedawne uruchomienie chipsetu POWER9 przez IBM (który wyrósł z ekosystemu sprzętowego używanego do projektowania i uruchamiania "Watson") jest skierowany przede wszystkim do wysokiej klasy korporacyjnych przedsiębiorstw, badań naukowych oraz rządowych / wojskowych aplikacji AI za pomocą serwera IBM Power Systems AC922, który może działać "do sześciu akceleratorów graficznych Tesla V100 opartych na NVIDIA Volta w obudowie chłodzonej powietrzem lub wodą."

Cloud HPC z procesorami graficznymi NVIDIA Tesla V100 + AWS P3, Google TPU2 i procesory IBM Power9

"Dzięki 640 rdzeniom tensorowym Tesla V100 jest światem’pierwszy procesor graficzny, który przełamał barierę 100 teraflopów (TFLOPS) w zakresie głębokiego uczenia się. Następna generacja NVIDIA NVLink ™ łączy wiele procesorów graficznych V100 z prędkością do 300 GB / s, aby stworzyć świat’najbardziej wydajne serwery obliczeniowe. Modele AI, które zużywałyby tygodnie zasobów obliczeniowych na poprzednich systemach, można teraz trenować za kilka dni … Dzięki połączeniu rdzeni NVIDIA CUDA® i rdzeni Tensor w ramach jednolitej architektury pojedynczy serwer z procesorami graficznymi Tesla V100 może zastąpić setki procesorów – tylko serwery dla tradycyjnych obciążeń HPC i AI." Dowiedz się więcej o procesorach graficznych NVIDIA Tesla V100.

Cloud HPC z procesorami graficznymi NVIDIA Tesla V100 + AWS P3, Google TPU2 i procesory IBM Power9

AWS, Google i Microsoft Azure obecnie oferują na swoich platformach chmurowych produkty Machine Learning-as-a-Service (MLaaS), które pozwalają programistom od razu zacząć budować aplikacje w oparciu o wiodące zestawy narzędzi programistycznych AI o otwartym kodzie źródłowym. Tam, gdzie platformy Amazon i Microsoft są zbudowane na sprzęcie GPU NVIDIA Volta, Google obecnie oferuje opcję wyboru między serwerami chmurowymi opartymi na TPU2 lub Volta. Serwery AWS są zbudowane wokół instancji P2 / P3 (z instancjami G3 / EG1 dostępnymi dla aplikacji intensywnie korzystających z grafiki).

  • Amazon ML
  • Amazon SageMaker
  • Azure ML Studio
  • Google Cloud ML Engine

Serwery P3 Amazon, dostępne z maksymalnie 8 dedykowanymi procesorami graficznymi Volta 100, działają 14 razy lepiej w aplikacjach uczenia maszynowego niż seria P2 oparta na akceleratorach Tesla K80 z procesorami graficznymi NVIDIA GK210. Amazon Sagemaker to zoptymalizowane środowisko wykonawcze z obsługą wielu platform głębokiego uczenia i obejmuje hostowane notebooki Jupyter, szkolenie modelowe oparte na wstępnie zainstalowanych algorytmach zoptymalizowanych pod kątem sprzętu oraz możliwość integracji z pamięcią masową AWS S3 do przetwarzania jezior danych. Azure Machine Learning Studio obsługuje również notesy Jupyter i jest przeznaczony do obsługi języka programowania Python i R. Google Cloud ML Engine działa na TensorFlow i jest przeznaczony do przetwarzania "duże dane" dla aplikacji graficznych, mowy i wideo lub w celu przyspieszenia rekomendacji treści / produktów dostarczanych klientom w aplikacjach internetowych. Wszystkie te usługi można skalować do poziomu superkomputera dla instytucji badawczo-rozwojowych, które muszą podpisać umowę na sprzęt HPC na czas określony, zgodnie z podejściem typu „pay-as-you-go” popularnym na kontach hostingowych w chmurze.

Cloud HPC z procesorami graficznymi NVIDIA Tesla V100 + AWS P3, Google TPU2 i procesory IBM Power9

"Uczenie maszynowe jako usługa (MLaaS) to ogólna definicja automatycznych i półautomatycznych platform chmurowych, które obejmują większość problemów związanych z infrastrukturą, takich jak wstępne przetwarzanie danych, szkolenie modeli i ocena modelu, z dalszymi prognozami. Wyniki prognoz można łączyć z wewnętrzną infrastrukturą IT za pomocą interfejsów API REST." Dowiedz się więcej o Amazon ML, Azure ML, & Google Cloud AI.

Programiści budujący nowe aplikacje do głębokiego uczenia się w celach biznesowych lub badawczych mają obecnie możliwość korzystania z zasobów głównych firm informatycznych za pomocą usług w chmurze, które zapewniają rozpoznawanie mowy, rozpoznawanie obrazu, automatyczne tłumaczenie, przetwarzanie wideo, rekomendację treści itp., Które mogą łączyć się z aplikacjami internetowymi / mobilnymi poprzez API RESTful. IBM dokonał "Watson" Aplikacja AI-as-a-Service, AWS pozwala programistom zintegrować rozpoznawanie głosu Alexa z aplikacjami sterowanymi mową nowej generacji & Urządzenia IoT, podczas gdy Microsoft ma Cortanę "nerw" usługa na platformie Azure, której można użyć na przykład do budowania i hostowania chatbotów pod kątem wymagań obsługi klienta. Wszystkie te firmy oferują zaawansowane aplikacje obliczeniowe kognitywne, które są wstępnie przeszkolone z ogromnymi zestawami danych, które małe firmy mogą wykorzystać do uzyskania znacznie potężniejszych możliwości oprogramowania, niż byłyby w stanie samodzielnie opracować w przystępnej cenie. Amazon ma Lex do automatycznego rozpoznawania mowy (ASR), Polly do przetwarzania tekstu na mowę, a także dobrze wyszkolone rozpoznawanie obrazów, transkrypcję wideo, tłumaczenia języków i eksplorację danych. Microsoft Azure ma usługi poznawcze dostępne za pośrednictwem interfejsów API w chmurze, które obejmują przetwarzanie języka naturalnego (NLP), podczas gdy GCP ma Dialogflow dla chatbotów, a także wiodące w branży narzędzia do tłumaczenia, rozpoznawania mowy, analizy obrazu i analizy wideo opracowane z eksploracji ich ekosystemu właściwości internetowych . Możliwość dostępu do tych narzędzi DL / ML w przystępnej cenie i łatwe wbudowanie funkcjonalności w istniejące strony internetowe lub aplikacje mobilne przy użyciu starszych danych klientów to jeden z głównych sposobów, w jaki sztuczna inteligencja przenosi się na popularne platformy konsumenckie.

Cloud HPC z procesorami graficznymi NVIDIA Tesla V100 + AWS P3, Google TPU2 i procesory IBM Power9

"Volta, która jest na publicznej mapie drogowej Nvidii od 2013 roku, opiera się na zupełnie innej architekturze niż Pascal, a nie na zwykłym skurczu. Układ V100 jest wytwarzany w procesie produkcyjnym Finn-FET 12 nm TSMC i pakuje potężne 21,1 miliarda tranzystorów na matrycy 815 mm². Dla porównania, P100 zarządza zaledwie 15,3 miliardami tranzystorów na matrycy 610 mm², a najnowszy Titan Xp ma zaledwie 12 miliardów tranzystorów na 471 mm² … Połączenie wielkości matrycy i kurczenia się procesu pozwoliło Nvidii zwiększyć liczbę strumieniowych multiprocesorów (SM) do 84. Każdy SM ma 64 rdzenie CUDA, co daje łącznie 5 376 – znacznie więcej niż którykolwiek z jego poprzedników. To powiedziawszy, V100 nie jest w pełni aktywną częścią, z włączonymi tylko 80 SM (najprawdopodobniej ze względu na wydajność), co daje 5120 rdzeni CUDA. Ponadto V100 posiada również 672 rdzenie tensorowe (TC), nowy typ rdzenia specjalnie zaprojektowany do operacji uczenia maszynowego." Dowiedz się więcej o procesorze graficznym NVIDIA Tesla V100.

Cloud HPC z procesorami graficznymi NVIDIA Tesla V100 + AWS P3, Google TPU2 i procesory IBM Power9

Aby budować nowe aplikacje dla architektury GPU NVIDIA Volta, programiści muszą korzystać z zestawu narzędzi do tworzenia oprogramowania CUDA 9. CUDA 9 obsługuje języki programowania C, C ++, Fortran i Python, integrując się z Microsoft Visual Studio 2017, clang 3.9, PGI 17.1 & GCC 6.x. Dzięki CUDA 9 aplikacje mogą korzystać z doskonałej prędkości przesyłu nowej architektury NVIDIA NVLINK, do tworzenia obrazów używaj NVIDIA Performance Primitive & przetwarzanie sygnałów, a także wdrożenie zaawansowanej obsługi funkcji dostępnych w cuFFT, cuSOLVER, cuBLAS, & nvGRAPH. CUDA 9 zawiera także nowe algorytmy translacji maszyn neuronowych i operacji modelowania sekwencji przy użyciu rdzeni Volta Tensor. Niektóre z innych popularnych platform programistycznych i programistycznych do tworzenia aplikacji do głębokiego uczenia się i uczenia maszynowego obsługiwanych obecnie przez AWS, GCP, & Azure to:

  • TensorFlow
  • Caffe2
  • Apache MXNet
  • PyTorch
  • Microsoft Cognitive Toolkit (CNTK)
  • Theano
  • Pochodnia
  • Gluon
  • Keras

We wrześniu 2017 r. Facebook i Microsoft uruchomiły Open Neural Network Exchange (ONNX) jako próbę zbudowania otwartych standardów między tymi wszystkimi różnymi platformami programistycznymi dla aplikacji do głębokiego uczenia się. Dowiedz się więcej o ONNX.

Cloud HPC z procesorami graficznymi NVIDIA Tesla V100 + AWS P3, Google TPU2 i procesory IBM Power9

"Google’Dyrektor generalny, Sundar Pichar, jasno stwierdził, że firma’Strategia zmieniła się z „Mobile First” na „AI First”. Google’Chmura TPU jest o wiele bardziej strategiczna niż tylko dostęp do tańszej alternatywy dla GPU. TPU i Google TensorFlow Framework dają firmie’Inżynierowie i naukowcy danych to kompleksowa i zoptymalizowana platforma wspierająca ich badania i rozwój produktów. Zespoły Google mogą potencjalnie zyskać na czasie na rynku, zwiększeniu wydajności i zalet funkcji, ponieważ kontrolują zarówno sprzęt, jak i oprogramowanie swoich produktów i usług ulepszonych w zakresie uczenia maszynowego. TPU może nawet zapewnić przyszłą platformę do wspierania firmy’aspiracje pojazdów autonomicznych. Oprócz wewnętrznych sterowników Google Cloud może skorzystać na konkurencji z Amazon Web Services i Microsoft Azure Cloud, oferując sprzęt o doskonałej cenie / wydajności dla projektów programistycznych TensorFlow." Dowiedz się więcej o strategicznych implikacjach Google TPU2.

Cloud HPC z procesorami graficznymi NVIDIA Tesla V100 + AWS P3, Google TPU2 i procesory IBM Power9

"Nadzorowany algorytm głębokiego uczenia na ogół osiąga akceptowalną wydajność z około 5000 oznaczonych przykładów na kategorię i będzie odpowiadał lub przewyższał ludzką wydajność, gdy zostanie przeszkolony z zestawem danych zawierającym co najmniej 10 milionów oznakowanych przykładów." Dowiedz się więcej o sieciach neuronowych w TensorFlow.

Cloud HPC z procesorami graficznymi NVIDIA Tesla V100 + AWS P3, Google TPU2 i procesory IBM Power9

"Zbudowany od podstaw dla sztucznej inteligencji dla przedsiębiorstw, IBM Power Systems AC922 ma dwa wielordzeniowe procesory P9 i do sześciu akceleratorów graficznych Tesla V100 opartych na NVIDIA Volta w obudowie chłodzonej powietrzem lub wodą. Aby osiągnąć najwyższą wydajność dostępną w tych najnowocześniejszych procesorach graficznych, system wyposażono w połączenie nowej generacji NVIDIA NVLink dla procesora CPU-GPU, co poprawia przepływ danych między procesorami P9 i procesorami graficznymi NVIDIA Tesla V100 do 5,6x w porównaniu do magistrali PCIe Gen3 używanych w systemach x86. Oprócz tego, że jest to jedyny serwer z następną generacją NVLink CPU-to-GPU, jest to również pierwszy w branży serwer z PCIe 4.0, który podwaja przepustowość PCIe Gen3, do którego obecnie jest zaangażowany x86." Dowiedz się więcej o procesorze IBM POWER9 (P9).

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me