Refresh železa 2025

Začalo to zase úplně nenápadně a můžou za to lokální modely umělé inteligence.

Paměť 64 GB

Nejdřív jsem si říkal, že by bylo fajn moci spouštět i něco většího než 13B (které mají přes 7 GB a je to maximum pro 16 GB stroj). Našel jsem si specifikaci základní desky, zjistil kolik je maximum (64 GB), ověřil jak je to s frekvencemi a jestli 3200 GHz paměti umí jet pomaleji (ano), dokonce jsem si je našel v compatibility sheetu desky, a honem objednal 2 balení 32GB kitu „Kingston FURY 32GB KIT DDR4 3200MHz CL16 Beast Black“.

Druhý den byly doma, takže jsem otevřel bednu, vycvakal staré 4 GB, dal nové, zase všechno zakrytoval, vždyť co by se mohlo stát, že, zapnul – a nic. Počítač nefungoval, akorát na desce blikala nějaká dioda. Takže znovu, odebrat na polovinu, zase nic. Vrátit staré 2400 GHz moduly a začít pátrat v BIOSu. Najít XMP, zapnout (ale asi jsem to neuložil!), vyměnit moduly, zase nic. Další kolo, kontrola XMP, znovu zapnout, tentokrát uložit a konečně to běží.

Procesor I7-9700F

Tady už jsem musel lovit po bazarech, nový procesor do staré patice se už snad ani koupit nedá. Ale podařilo se mi najít téměř nejvýkonnější, co deska zvládne, za únosnou cenu, tedy osmijádrový I7-9700F (specifikace). Má stejnou spotřebu (65 W), běží na nižší frekvenci než původní i3-8100, ale výkon je o polovinu větší (a tam, kde se použije více jader, je to samozřejmě více než dvojnásobek, což se mi na ty LLM určitě hodí).

Když procesor dorazil, pustil jsem se do výměny. Nejdřív si vzpomenout, jak se sundává větrák (kovová spona na jedné straně, na druhé vyháknout), po zjištění, že pak stejně nevyklopím procesor, znovuobjevit jak se sundává držák větráku (vytáhnout čtyři rozpínací kolíky, pak celý opatrně vytáhnout z desky na všech čtyřech místech), vyklopit procesor, dát tam nový, pomazat teplovodivou pastou a v opačném pořadí všechno zpět.

První spuštění, BIOS se tváří že jede, GRUB také, začne startovat Linux – a zamrzne to. To opravdu nepotěší. Takže všechno ven a zase znovu sestavit s původním procesorem. Pak jsem prohledal web výrobce, našel nejnovější BIOS a postup na jeho aktualizaci (v popisu jedné z verzí zmínka „přidání podpory pro i9“, hurá), zaktualizoval… a dal si sundávání větráku a výměnu procesoru potřetí.

Od té doby ale běží bez problémů. A protože tenhle procesor by měl být schopen pracovat s pamětí DDR 2666 Hz, chtěl jsem ověřit, jestli nezískám ještě pár procent výkonu. Deska disponuje masivní konfigurací pro overclocking, včeně nějakých voleb pro bezpečné testování „Try me“, takže jsem si nejdřív pustil sysbench na změření aktuálního výkonu:

sysbench memory --memory-block-size=1M --memory-total-size=10G run

Total operations: 10240 (27129.54 per second)
10240.00 MiB transferred (27129.54 MiB/sec)

pak změnil profil na 2666 a pustil pro porovnání sysbench znovu. Výsledek mě překvapil, protože byl menší.

Total operations: 10240 (24241.78 per second)
10240.00 MiB transferred (24241.78 MiB/sec)

Pokorně jsem tedy vrátil všude volbu Auto a nechám to tak, jak BIOS vybírá.

Grafická karta nVidia GTX 1650 SUPER

U LLM se ale jedním dechem mluví o využití výkonu grafických karet. Přehled grafických karet, které ollama umí využít, je v dokumentaci, takže jsem věděl, z čeho vybírat. Opět se mi povedlo najít za velmi pěknou cenu kartu, která je s compute capability 7.5 poměrně vysoko – Gigabyte GTX 1650 Super Windforce 4G. No a oproti té mé dosavadní má výkon více než trojnásobný (velikost skoro taky).

Takže jsem ji nainstaloval, dokonce nezapomněl na dodatečné napájení, zapnul počítač – a nenaběhlo nic. Žádný signál na výstupu a na desce svítí dioda indikace chyby VGA:

Tady jsem se docela zapotil, vrátil jsem původní grafiku a taky nefungovala (!), pak jsem ji dal do jiného slotu, kde to aspoň naběhlo a mohl jsem zkoušet nastavení v BIOSu (třeba takové věci jako Above 4G Decoding).

Celkem jsem se bál, že mi karta odpálila celý slot… Pak se ukázalo, že tak v jednom případě ze tří to naběhne (ale bez možnosti dostat se do BIOSu), ve dvou zamrzne při startu. Zdá se zkrátka, že to už je příliš nový HW , aby to deska zvládla (Přestože výrobce chipset v compatibility sheetu má, ale jen u své karty, tj. MSI).

Takže tohle je bohužel fail, karta šla do skříně a já si zkusil koupit ještě nějakou nejlevnější GTX, abych si ověřil, jestli náhodou zdroj nemá problém kartu napájet.

Grafická karta nVidia GTX 950

To byl vážně jen experiment, ASUS GeForce GTX 950 2Gb GDDR5 STRIX, karta za 350 Kč – ale všechno šlo jako po másle. Blesková komunikace s prodávajícím, rychlé doručení, namontování, zapnutí a vše funkční.

Oproti té, co teď mám ve skříni, je sice výkon sotva poloviční, Ale proti té původní je to pořád dvojnásobek.

A protože jsem mezitím dostudoval, jak vlastně ollama zachází s grafikou a zdá se, že umí kartu(karty) využít jen když se do ní model vejde celý, stejně pro mě ani 4 GB karta nemá smysl, tak malý model je rychlý i na procesoru.

While algorithmically possible, Ollama does not support it. Algorithmically you can load a few model layers into the GPU VRAM. Then the input matrix can be multiplied using GPU acceleration for the layers that are loadable into VRAM. Ollama does not support this. (zdroj)