Věk „AI PC“ je za námi a brzy budete mít možnost spouštět některé funkce AI lokálně bez připojení k internetu i na relativně skromných systémech. Možná si však neuvědomujete, že navzdory tomu, že mají AI akcelerátory, budou tyto počítače stále potřebovat hromadu paměti a úložiště, aby mohly nabízet místní funkce AI.
Počítače s umělou inteligencí mají výkon pro místní zpracování
Funkce Copilot AI společnosti Microsoft je jedním z hlavních důvodů, proč na trh přichází nová generace počítačů se specializovanými jednotkami NPU (Neural Processing Units). To je jeden z důvodů, proč mají nová zařízení Surface Pro procesory ARM Snapdragon, které se obvykle vyskytují v telefonech. Právě teď je minimálním požadavkem pro počítač Copilot AI PC NPU se 40 TOPS (biliony operací za sekundu) a to je to, co tyto nové čipy obsahují.
Existuje mnoho důvodů, proč chtít místní funkce AI. Je to rychlé, nesoutěžíte o zdroje s ostatními uživateli a nemusíte platit nad rámec nákladů na hardware. Dát vašemu notebooku chytrost něčeho na stejném kontinuu jako ChatGPT a jeho současníků je rozhodně vzrušující.
I „malé“ LLM jsou obrovské
Jde o to, že tyto „modely“ AI jsou docela velké. Nejmenší a nejúčinnější LLM (Large Language Models) mohou potřebovat 1–3 GB paměti, ale nejsou tak chytré. Jak model získává parametry a stává se schopnějším, potřebuje více prostoru. Superchytré LLM, ke kterým přistupujete přes web, se mohou pohybovat v řádu stovek gigabajtů RAM, pokud jde o jejich modelové velikosti. Se stovkami miliard nebo v některých případech dokonce více než bilionem parametrů nejsou tyto modely s umělou inteligencí vhodné pro malé notebooky. Pak máme LLM dostatečně malé na to, aby běžely na smartphonu, jako je phi-3-mini, který má kapacitu 2,4 GB. To je více v souladu s tím, co bude na těchto AI laptopech skutečně běžet, i když pravděpodobně ne tak chudokrevné.
Modely musí žít v RAM
I když to, že model AI zabírá několik GB místa, nemusí znít jako velký problém, musíte pochopit, že celý model musí být v paměti RAM, aby technologie fungovala s dobrým výkonem. Tyto NPU jsou specializované paralelní procesory, které drtí čísla na těchto virtuálních neuronových sítích s miliardami „parametrů“ zároveň.
Pokud model není v paměti RAM, pak nelze NPU napájet dostatečně rychle, abyste získali výsledky dostatečně rychle. Ovlivnilo by to rychlost, jakou LLM odpovídá, nebo funkce, jako je překlad v reálném čase nebo generování obrázků. Pokud tedy chcete, aby byly funkce umělé inteligence dostupné stisknutím tlačítka nebo pouhým mluvením do počítače, model si v podstatě musí vyhradit tolik paměti RAM, kolik potřebuje.
Jistě, všechny tyto nové počítače mají ultrarychlé SSD, které dokážou rychle vyměňovat data z RAM, ale kromě dalšího opotřebení, které způsobuje váš SSD, stále není dostatečně rychlý, aby vše běželo hladce. A nezapomeňte, že stále chcete spouštět všechny ostatní aplikace současně. Pokud by váš počítač musel ukládat prohlížeč a další aplikace z paměti RAM na disk pokaždé, když chcete, aby AI něco provedla, nebyl by to skvělý zážitek.
16GB je absolutní minimum
Zatímco 8 GB paměti RAM je stále naprosto v pořádku pro moderní kancelářský stolní počítač nebo notebook používaný pro obecnou produktivitu a spotřebu médií, počítače s Windows s funkcemi AI by s tak malým prostorem prostě nevyšly. To je důvod, proč společnost Microsoft učinila 16 GB paměti RAM absolutním minimem pro počítače Copilot.
I když je to pro normální PC bez AI zdravé množství, u počítačů, na kterých jsou neustále na pozadí spuštěni místní asistenti AI, to bude spíše 8GB PC plus AI, pokud nezakážete AI část rovnice.
Některé počítače s umělou inteligencí nebudou mít upgradovatelnou paměť RAM
Pokud váš nový počítač s umělou inteligencí Windows používá integrovaný systém na čipu nebo má RAM trvale připájenou, jak je tomu u mnoha tenkých a lehkých notebooků, pak vám zůstane libovolná velikost RAM, se kterou systém přišel, což znamená, že potřebujete získat potřebné množství paměti RAM hned na začátku, jinak budete nakonec potřebovat úplně nový počítač, pokud se ukáže, že jste své sumy udělali špatně.
Pokud vám záleží na AI, získejte více paměti
Záleží samozřejmě na tom, zda vám záleží na místních funkcích umělé inteligence. Pokud ne, pak je skvělé, že tyto počítače Copilot tlačí RAM na minimum na 16 GB. Jednoduše deaktivujte nebo ignorujte část rovnice AI a budete v pohodě. Ve skutečnosti, pokud nemáte nějaký přesvědčivý alternativní důvod, tyto počítače s umělou inteligencí úplně přeskočte a zůstaňte u mainstreamovějších možností.
Pokud jste naopak nadšení z místních funkcí umělé inteligence a vidíte spoustu způsobů, jak tyto nástroje v budoucnu využít, nespokojte se s minimálním požadavkem, pokud nebudete mít možnost později přidat další RAM.
