BMS, busz, ipari és műszerkábelekhez.
Ahogy a Tavaszi Fesztivál a végéhez közeledik, a DeepSeek körüli izgalom továbbra is erős. A közelmúltbeli ünnep rávilágított a technológiai iparágon belüli jelentős versenyre, sokan vitatták meg és elemezték ezt a „harcsát”. A Szilícium-völgy példátlan válságot él át: a nyílt forráskódú szoftverek hívei ismét hangot adnak véleményüknek, sőt, még az OpenAI is újraértékeli, hogy a zárt forráskódú stratégiája volt-e a legjobb választás. Az alacsonyabb számítási költségek új paradigmája láncreakciót indított el az olyan chipóriások körében, mint az Nvidia, ami rekordméretű egynapos piaci értékvesztéshez vezetett az amerikai tőzsde történetében, miközben a kormányzati szervek vizsgálják a DeepSeek által használt chipek megfelelőségét. A DeepSeek külföldi vegyes véleményei ellenére belföldön rendkívüli növekedést mutat. Az R1 modell bevezetése után a kapcsolódó alkalmazás forgalma megugrott, ami azt jelzi, hogy az alkalmazási szektorok növekedése előre fogja lendíteni az egész MI-ökoszisztémát. A pozitívum, hogy a DeepSeek szélesíti az alkalmazási lehetőségeket, ami arra utal, hogy a ChatGPT-re való támaszkodás a jövőben nem lesz olyan drága. Ez a változás tükröződik az OpenAI legutóbbi tevékenységeiben, beleértve az o3-mini nevű érvelési modell ingyenes felhasználók számára történő biztosítását a DeepSeek R1-re válaszul, valamint a későbbi frissítéseket, amelyek nyilvánossá tették az o3-mini gondolatláncát. Számos külföldi felhasználó fejezte ki háláját a DeepSeeknek ezekért a fejlesztésekért, bár ez a gondolatlánc összefoglalóként szolgál.
Optimista módon egyértelmű, hogy a DeepSeek egyesíti a hazai szereplőket. A betanítási költségek csökkentésére összpontosítva különféle upstream chipgyártók, köztes felhőszolgáltatók és számos startup csatlakozik aktívan az ökoszisztémához, növelve a DeepSeek modell használatának költséghatékonyságát. A DeepSeek tanulmányai szerint a V3 modell teljes betanítása mindössze 2,788 millió H800 GPU órát igényel, és a betanítási folyamat rendkívül stabil. A MoE (Mixture of Experts) architektúra kulcsfontosságú a betanítás előtti költségek tízszeres csökkentéséhez a 405 milliárd paraméterrel rendelkező Llama 3-hoz képest. Jelenleg a V3 az első nyilvánosan elismert modell, amely ilyen magas ritkaságot mutat a MoE-ben. Ezenkívül az MLA (Multi Layer Attention) szinergikusan működik, különösen az érvelési szempontokban. „Minél ritkább a MoE, annál nagyobb kötegméretre van szükség az érvelés során a számítási teljesítmény teljes kihasználásához, a KVCache mérete a fő korlátozó tényező; az MLA jelentősen csökkenti a KVCache méretét” – jegyezte meg a Chuanjing Technology kutatója az AI Technology Review elemzésében. Összességében a DeepSeek sikere a különféle technológiák kombinációjában rejlik, nem csak egyetlenben. Az iparági szakértők dicsérik a DeepSeek csapat mérnöki képességeit, kiemelve kiválóságukat a párhuzamos képzés és az operátorok optimalizálása terén, úttörő eredményeket elérve minden részlet finomításával. A DeepSeek nyílt forráskódú megközelítése tovább ösztönzi a nagyméretű modellek általános fejlesztését, és várható, hogy ha a hasonló modellek képekké, videókká és egyebekké bővülnek, az jelentősen ösztönözni fogja a keresletet az egész iparágban.
Lehetőségek harmadik féltől származó érvelési szolgáltatásokra
Az adatok azt mutatják, hogy a megjelenése óta a DeepSeek mindössze 21 nap alatt 22,15 millió napi aktív felhasználót (DAU) szerzett, ezzel elérve a ChatGPT felhasználói bázisának 41,6%-át, és meghaladva a Doubao 16,95 milliós napi aktív felhasználóját, így a világ leggyorsabban növekvő alkalmazásává vált, 157 országban/régióban megelőzve az Apple App Store-t. Miközben azonban a felhasználók tömegesen özönlöttek, a hackerek könyörtelenül támadták a DeepSeek alkalmazást, jelentős terhet róva a szervereire. Az iparági elemzők úgy vélik, hogy ez részben annak köszönhető, hogy a DeepSeek kártyákat használ a betanításhoz, miközben nem rendelkezik elegendő számítási teljesítménnyel az érveléshez. Egy iparági bennfentes elmondta az AI Technology Review-nak: „A gyakori szerverproblémák könnyen megoldhatók díjak felszámításával vagy további gépek vásárlásához szükséges finanszírozással; végső soron ez a DeepSeek döntésein múlik.” Ez kompromisszumot jelent a technológiára és a termékesítésre való összpontosítás között. A DeepSeek nagyrészt a kvantumkvantálásra támaszkodott az önfenntartás érdekében, mivel kevés külső finanszírozást kapott, ami viszonylag alacsony cash flow nyomást és tisztább technológiai környezetet eredményezett. Jelenleg a fent említett problémák fényében egyes felhasználók a közösségi médiában arra ösztönzik a DeepSeeket, hogy emelje meg a használati küszöböket, vagy vezessen be fizetős funkciókat a felhasználói kényelem fokozása érdekében. Ezenkívül a fejlesztők elkezdték használni a hivatalos API-kat vagy harmadik féltől származó API-kat az optimalizáláshoz. A DeepSeek nyílt platformja azonban nemrégiben bejelentette: „A jelenlegi szervererőforrások szűkösek, és az API-szolgáltatások feltöltését felfüggesztették.”
Ez kétségtelenül több lehetőséget nyit meg a külső szolgáltatók számára az AI infrastruktúra szektorban. A közelmúltban számos hazai és nemzetközi felhőóriás indította el a DeepSeek modell API-jait – a külföldi óriások, mint a Microsoft és az Amazon, az elsők között csatlakoztak január végén. A hazai vezető Huawei Cloud tette meg az első lépést, és február 1-jén a Silicon-alapú Flow-val együttműködve kiadta a DeepSeek R1 és V3 érvelési szolgáltatásokat. Az AI Technology Review jelentései szerint a Silicon-alapú Flow szolgáltatásai felhasználók beáramlását tapasztalták, ami gyakorlatilag "összeomlott" a platformon. A három nagy technológiai vállalat – a BAT (Baidu, Alibaba, Tencent) és a ByteDance – szintén alacsony költségű, korlátozott ideig érvényes ajánlatokat tett közzé február 3-tól, amelyek a tavalyi, a DeepSeek V2 modelljének bevezetése által kirobbant felhőszolgáltatói árháborúkra emlékeztetnek, ahol a DeepSeeket kezdték "árvágónak" nevezni. A felhőszolgáltatók kétségbeesett akciói a Microsoft Azure és az OpenAI közötti korábbi erős kapcsolatokat idézik, ahol 2019-ben a Microsoft jelentős, 1 milliárd dolláros befektetést hajtott végre az OpenAI-ba, és a ChatGPT 2023-as indulása után learatotta az előnyeit. Ez a szoros kapcsolat azonban megromlani kezdett, miután a Meta nyílt forráskódúvá tette a Llamát, lehetővé téve a Microsoft Azure ökoszisztémán kívüli más szállítók számára, hogy versenyezzenek nagy modelljeikkel. Ebben az esetben a DeepSeek nemcsak a termékhő tekintetében múlta felül a ChatGPT-t, hanem az o1 megjelenését követően nyílt forráskódú modelleket is bevezetett, hasonlóan a Llama GPT-3 felélesztését övező izgalomhoz.
A valóságban a felhőszolgáltatók a mesterséges intelligencia alkalmazások forgalmi átjáróiként is pozicionálják magukat, ami azt jelenti, hogy a fejlesztőkkel való kapcsolatok elmélyítése megelőző előnyöket jelent. A jelentések szerint a Baidu Smart Cloudnak több mint 15 000 ügyfele volt, akik a DeepSeek modellt használták a Qianfan platformon keresztül a modell bevezetésének napján. Emellett számos kisebb cég is kínál megoldásokat, köztük a Silicon-based Flow, a Luchen Technology, a Chuanjing Technology, valamint különböző mesterséges intelligencia infrastruktúra-szolgáltatók, amelyek elindították a DeepSeek modellek támogatását. Az AI Technology Review megtudta, hogy a DeepSeek lokalizált telepítéseinek jelenlegi optimalizálási lehetőségei elsősorban két területen léteznek: az egyik a MoE modell ritkasági jellemzőinek optimalizálása vegyes érvelési megközelítés alkalmazásával, a 671 milliárd paraméteres MoE modell helyi telepítéséhez, hibrid GPU/CPU következtetés alkalmazásával. Ezenkívül az MLA optimalizálása létfontosságú. A DeepSeek két modellje azonban továbbra is kihívásokkal néz szembe a telepítés optimalizálása terén. „A modell mérete és számos paramétere miatt az optimalizálás valóban összetett, különösen a helyi telepítéseknél, ahol a teljesítmény és a költségek közötti optimális egyensúly elérése kihívást jelent” – nyilatkozta a Chuanjing Technology kutatója. A legnagyobb akadály a memóriakapacitási korlátok leküzdésében rejlik. „Heterogén együttműködési megközelítést alkalmazunk a CPU-k és más számítási erőforrások teljes kihasználása érdekében, a ritka MoE-mátrixnak csak a nem megosztott részeit helyezzük el a CPU/DRAM-on a nagy teljesítményű CPU-operátorok általi feldolgozáshoz, míg a sűrű részek a GPU-n maradnak” – magyarázta tovább. A jelentések azt mutatják, hogy a Chuanjing nyílt forráskódú keretrendszere, a KTransformers elsősorban egy sablonon keresztül injektál különböző stratégiákat és operátorokat az eredeti Transformers implementációba, jelentősen növelve a következtetési sebességet olyan módszerek használatával, mint a CUDAGraph. A DeepSeek lehetőségeket teremtett ezeknek a startupoknak, mivel a növekedési előnyök nyilvánvalóvá válnak; sok cég számolt be észrevehető ügyfélnövekedésről a DeepSeek API bevezetése után, miután korábbi ügyfelektől kaptak optimalizálási kérdéseket. Az iparági szakértők megjegyezték: „A múltban a némileg bevált ügyfélcsoportok gyakran a nagyobb vállalatok szabványosított szolgáltatásaihoz voltak kötve, szorosan a méretbeli költségelőnyeik miatt. Miután azonban a DeepSeek-R1/V3 telepítését a Tavaszi Fesztivál előtt befejeztük, hirtelen együttműködési felkérést kaptunk több ismert ügyféltől, sőt, korábban inaktív ügyfelek is kezdeményeztek kapcsolatfelvételt DeepSeek szolgáltatásaink bemutatása érdekében.” Jelenleg úgy tűnik, hogy a DeepSeek egyre kritikusabbá teszi a modellkövetkeztetési teljesítményt, és a nagy modellek szélesebb körű elterjedésével ez továbbra is jelentősen befolyásolja majd az AI Infra iparág fejlődését. Ha egy DeepSeek-szintű modellt helyben, alacsony költséggel lehetne telepíteni, az nagyban segítené a kormányzati és vállalati digitális transzformációs erőfeszítéseket. A kihívások azonban továbbra is fennállnak, mivel egyes ügyfelek magas elvárásokat támaszthatnak a nagy modellek képességeivel kapcsolatban, ami nyilvánvalóbbá teszi, hogy a teljesítmény és a költségek egyensúlyba hozása létfontosságúvá válik a gyakorlati telepítés során.
Annak megállapításához, hogy a DeepSeek jobb-e a ChatGPT-nél, elengedhetetlen megérteni a főbb különbségeket, erősségeket és felhasználási eseteket. Íme egy átfogó összehasonlítás:
| Jellemző/Aspektus | DeepSeek | ChatGPT |
|---|---|---|
| Tulajdon | Egy kínai cég fejlesztette ki | OpenAI által fejlesztve |
| Forrásmodell | Nyílt forráskódú | Szabadalmazott |
| Költség | Ingyenes használat; olcsóbb API-hozzáférési lehetőségek | Előfizetéses vagy használatalapú árképzés |
| Testreszabás | Rendkívül testreszabható, lehetővé téve a felhasználók számára, hogy finomhangolják és továbbfejlesszék | Korlátozott testreszabási lehetőség |
| Teljesítmény meghatározott feladatokban | Bizonyos területeken, például az adatelemzésben és az információkeresésben jeleskedik | Sokoldalú, kiváló teljesítménnyel rendelkezik kreatív írásban és társalgási feladatokban |
| Nyelvi támogatás | Nagy hangsúlyt fektetnek a kínai nyelvre és kultúrára | Széleskörű nyelvi támogatás, de USA-központú |
| Képzési költség | Alacsonyabb képzési költségek, hatékonyságra optimalizálva | Magasabb képzési költségek, amelyek jelentős számítási erőforrásokat igényelnek |
| Válaszvariáció | Különböző válaszokat kínálhat, amelyeket esetleg a geopolitikai kontextus is befolyásolhat | Konzisztens válaszok a betanítási adatok alapján |
| Célközönség | Rugalmasságra vágyó fejlesztők és kutatók számára készült | Általános felhasználóknak szól, akik társalgási képességeket keresnek |
| Használati esetek | Hatékonyabb kódgeneráláshoz és gyors feladatokhoz | Ideális szövegek generálására, kérdések megválaszolására és párbeszéd folytatására |
Kritikus nézőpont az „Nvidia felforgatásáról”
Jelenleg a Huawei mellett számos hazai chipgyártó, mint például a Moore Threads, a Muxi, a Biran Technology és a Tianxu Zhixin is alkalmazkodik a DeepSeek két modelljéhez. Egy chipgyártó az AI Technology Review-nak elmondta: „A DeepSeek struktúrája innovációt mutat, mégis továbbra is LLM. A DeepSeekhez való adaptációnk elsősorban az alkalmazások logikai megoldásaira összpontosít, így a műszaki megvalósítás meglehetősen egyszerű és gyors.” Az MoE megközelítés azonban magasabb igényeket támaszt a tárolás és az elosztás tekintetében, valamint a hazai chipekkel való telepítés során biztosítani kell a kompatibilitást, ami számos mérnöki kihívást jelent, amelyeket az adaptáció során meg kell oldani. „Jelenleg a hazai számítási teljesítmény nem éri el az Nvidia szintjét a használhatóság és a stabilitás tekintetében, ami eredeti gyári részvételt igényel a szoftverkörnyezet beállításához, a hibaelhárításhoz és az alapvető teljesítményoptimalizáláshoz” – mondta egy iparági szakember a gyakorlati tapasztalatok alapján. Ugyanakkor: „A DeepSeek R1 nagy paraméterskálája miatt a hazai számítási teljesítmény több csomópontot igényel a párhuzamosításhoz. Ezenkívül a hazai hardverspecifikációk még mindig némileg elmaradnak; például a Huawei 910B jelenleg nem tudja támogatni a DeepSeek által bevezetett FP8 következtetést.” A DeepSeek V3 modell egyik kiemelkedő pontja egy FP8 vegyes pontosságú betanítási keretrendszer bevezetése, amelyet egy rendkívül nagyméretű modellen hatékonyan validáltak, ami jelentős eredmény. Korábban olyan nagy szereplők, mint a Microsoft és az Nvidia, hasonló munkákat javasoltak, de az iparágban továbbra is kétségek merülnek fel a megvalósíthatósággal kapcsolatban. Úgy tudni, hogy az INT8-hoz képest az FP8 elsődleges előnye, hogy a betanítás utáni kvantálás szinte veszteségmentes pontosságot érhet el, miközben jelentősen növeli a következtetési sebességet. Az FP16-hoz képest az FP8 akár kétszeres gyorsulást is képes elérni az Nvidia H20-án, és több mint másfélszeres gyorsulást a H100-on. Figyelemre méltó, hogy ahogy a hazai számítási teljesítmény és a hazai modellek trendjét övező viták lendületet vesznek, egyre elterjedtebbek a találgatások arról, hogy az Nvidia megzavarható-e, és hogy megkerülhető-e a CUDA-árok. Tagadhatatlan tény, hogy a DeepSeek valóban jelentős visszaesést okozott az Nvidia piaci értékében, de ez a változás kérdéseket vet fel az Nvidia csúcskategóriás számítási teljesítményének integritásával kapcsolatban. A tőkevezérelt számítási felhalmozással kapcsolatos korábban elfogadott narratívákat megkérdőjelezik, mégis továbbra is nehéz az Nvidia számára, hogy teljes mértékben helyettesítse a betanítási forgatókönyvekben. A DeepSeek CUDA mély használatának elemzése azt mutatja, hogy a rugalmasság – például az SM használata kommunikációhoz vagy a hálózati kártyák közvetlen manipulálása – nem megvalósítható a hagyományos GPU-k számára. Az iparági nézőpontok hangsúlyozzák, hogy az Nvidia várárka magában foglalja a teljes CUDA ökoszisztémát, nem csak magát a CUDA-t, és a DeepSeek által alkalmazott PTX (Parallel Thread Execution) utasítások továbbra is a CUDA ökoszisztéma részét képezik. „Rövid távon az Nvidia számítási teljesítményét nem lehet megkerülni – ez különösen a betanításban egyértelmű; azonban a hazai kártyák logikai telepítése viszonylag könnyebb lesz, így a haladás valószínűleg gyorsabb lesz. A hazai kártyák adaptálása elsősorban a következtetésre összpontosít; még senkinek sem sikerült a DeepSeek teljesítményének modelljét hazai kártyákon nagy léptékben betanítani” – jegyezte meg egy iparági elemző az AI Technology Review-nak. Összességében a következtetés szempontjából a körülmények biztatóak a hazai nagyméretű chipek számára. A hazai chipgyártók lehetőségei a következtetés területén még nyilvánvalóbbak a betanítás túlzottan magas követelményei miatt, amelyek akadályozzák a piacra lépést. Az elemzők szerint elegendő a hazai következtetési kártyák egyszerű kihasználása; szükség esetén egy további gép beszerzése is megvalósítható, míg a betanítási modellek egyedi kihívásokat jelentenek – a megnövekedett számú gép kezelése megterhelővé válhat, és a magasabb hibaszázalék negatívan befolyásolhatja a betanítási eredményeket. A betanításnak specifikus klaszterszint-követelményei is vannak, míg a klaszterekkel szemben támasztott követelmények a következtetéshez nem olyan szigorúak, így enyhítik a GPU-követelményeket. Jelenleg az Nvidia egyetlen H20-as kártyájának teljesítménye nem haladja meg a Huawei vagy a Cambrian teljesítményét; erőssége a klaszterezésben rejlik. A számítási teljesítmény piacára gyakorolt általános hatás alapján a Luchen Technology alapítója, You Yang az AI Technology Review-nak adott interjújában megjegyezte: "A DeepSeek ideiglenesen alááshatja az ultra-nagy betanító számítási klaszterek létrehozását és bérlését. Hosszú távon a nagy modellek betanításával, érvelésével és alkalmazásával kapcsolatos költségek jelentős csökkentésével a piaci kereslet valószínűleg megugrott. Az ezen alapuló MI későbbi iterációi ezért folyamatosan növelik a keresletet a számítási teljesítmény piacán." Továbbá „A DeepSeek érvelési és finomhangolási szolgáltatások iránti megnövekedett igénye jobban összeegyeztethető a hazai számítási környezettel, ahol a helyi kapacitások viszonylag gyengék, ami segít mérsékelni a klaszterek létrehozása utáni kihasználatlan erőforrásokból származó pazarlást; ez életképes lehetőségeket teremt a gyártók számára a hazai számítási ökoszisztéma különböző szintjein.” A Luchen Technology együttműködött a Huawei Clouddal a DeepSeek R1 sorozatú érvelési API-k és felhőalapú képalkotási szolgáltatások elindításában, amelyek a hazai számítási teljesítményen alapulnak. You Yang optimizmust fejezett ki a jövővel kapcsolatban: „A DeepSeek bizalmat kelt a hazai gyártású megoldások iránt, nagyobb lelkesedést és befektetést ösztönöz a hazai számítási képességekbe a jövőben.”
Következtetés
Az, hogy a DeepSeek „jobb”-e a ChatGPT-nél, a felhasználó konkrét igényeitől és céljaitól függ. A rugalmasságot, alacsony költségeket és testreszabhatóságot igénylő feladatokhoz a DeepSeek lehet a jobb. Kreatív írás, általános kérdések és felhasználóbarát társalgási felületek esetén a ChatGPT kerülhet az élre. Minden eszköz más célt szolgál, így a választás nagymértékben függ attól a kontextustól, amelyben használják őket.
Vezérlőkábelek
Strukturált kábelezési rendszer
Hálózat és adat, optikai kábel, patch kábel, modulok, előlap
2024. április 16-18. Közel-Kelet-Energia Dubaiban
2024. április 16-18. Securika Moszkvában
2024. május 9. ÚJ TERMÉKEK ÉS TECHNOLÓGIÁK BEMUTATÓ RENDEZVÉNYE Sanghajban
2024. október 22-25., SECURITY CHINA Pekingben
2024. november 19-20. CONNECTED WORLD Szaúd-Arábia
Közzététel ideje: 2025. február 10.