DeepInfra oficjalnie uruchomiła nowe centrum danych AI w Toronto, co stanowi pierwsze zagraniczne wdrożenie firmy poza Stanami Zjednoczonymi i dziewiąty obiekt na świecie. Ta nowa witryna, zaprezentowana 8 lipca, poszerza globalny zasięg infrastruktury wnioskowania DeepInfra w obliczu powszechnej zmiany zapotrzebowania branży na sztuczną inteligencję z szkoleń modelowych na komercyjne obciążenia wnioskowania.
Centrum danych w Toronto ma moc 1,7 MW i pomieści ponad 1000 procesorów graficznych NVIDIA Blackwell B300. Po pełnym uruchomieniu nowy klaster obliczeniowy zwiększy globalną skalę wnioskowania DeepInfra i zapewni zmniejszone opóźnienia sieci użytkownikom końcowym w Kanadzie i innych regionach świata.
Ekspansja ta jest zgodna z wyraźną transformacją obejmującą całą branżę. W miarę jak przedsiębiorstwa przyspieszają wdrażanie produkcyjne narzędzi generatywnej sztucznej inteligencji, zapotrzebowanie na infrastrukturę centrów danych w coraz większym stopniu koncentruje się na obciążeniach związanych z wnioskowaniem, a nie na zadaniach szkoleniowych. Wnioskowanie z modelu wielkojęzykowego wymaga stałej dostępności procesora graficznego, sieci o niskim opóźnieniu i geograficznie rozproszonej infrastruktury do obsługi interaktywnych aplikacji, inteligentnych agentów AI i usług API o wysokiej przepustowości. Z badania McKinsey & Company, o którym mowa w ogłoszeniu, wynika, że do 2030 r. obciążenie wnioskowaniem przekroczy 40% całkowitego zapotrzebowania na centra danych, przy złożonej rocznej stopie wzrostu wynoszącej 35%.
DeepInfra twierdzi, że wdrożenie w Toronto zostało zaprojektowane specjalnie, aby sprostać tym zmieniającym się potrzebom, umieszczając zasoby obliczeniowe procesora graficznego bliżej użytkowników końcowych i lokalnych źródeł danych, jednocześnie zwiększając ogólną przepustowość platformy. Firma niezależnie jest właścicielem i operatorem pełnego stosu infrastruktury GPU, obsługującego ponad 200 modeli sztucznej inteligencji typu open source. Jej zarządzana platforma wnioskowania przetwarza prawie pięć bilionów tokenów tygodniowo, obejmując zarówno wdrożenia modeli otwartych, jak i zastrzeżonych.
Premiera podkreśla także rosnące wykorzystanie w branży architektury Blackwell firmy NVIDIA w nowoczesnej infrastrukturze wnioskowania. W porównaniu ze sprzętem poprzedniej generacji Hopper, procesory graficzne Blackwell zapewniają zwiększoną przepustowość wnioskowania i lepszą efektywność energetyczną w przypadku dużych modeli językowych i multimodalnych obciążeń AI. Chociaż DeepInfra nie ujawniła dalszych szczegółów na temat architektury sieci i pamięci masowej, wdrożenia tego kalibru na dużą skalę zazwyczaj wykorzystują połączenia wzajemne o dużej przepustowości i rozproszoną pamięć masową, aby utrzymać pełne wykorzystanie procesora graficznego.
Jak zauważył Nikola Borisov, dyrektor generalny i współzałożyciel DeepInfra, sztuczna inteligencja przedsiębiorstw przeszła od prób eksperymentalnych do wdrożeń produkcyjnych na dużą skalę, generując większe zapotrzebowanie na globalnie rozproszoną infrastrukturę o małych opóźnieniach i skalowalnych możliwościach wnioskowania. Wyjaśnił, że klaster w Toronto wyznacza inauguracyjną międzynarodową ekspansję firmy poza granice Stanów Zjednoczonych, umieszczając zasoby obliczeniowe najbliżej klientów na całym świecie i ich zbiorów danych.
Obiekt w Toronto powstał po niedawnej rundzie finansowania serii B DeepInfra i stanowi kluczowy element długoterminowego planu rozwoju infrastruktury. Firma potwierdza, że analizuje dodatkowe międzynarodowe centra danych, aby sprostać rosnącemu zapotrzebowaniu rynku na usługi wnioskowania zasilane przez procesor graficzny.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang/dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storageserver.com
Koncentracja biznesowa:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami, aby dostarczać niezawodne produkty i profesjonalne usługi.
„Wykorzystanie technologii do budowy inteligentnego świata”Twój zaufany dostawca usług produktów ICT!
Sandy Yang/dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storageserver.com
Koncentracja biznesowa:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami, aby dostarczać niezawodne produkty i profesjonalne usługi.
„Wykorzystanie technologii do budowy inteligentnego świata”Twój zaufany dostawca usług produktów ICT!



