S umělými inteligencemi si dnes už může hrát každý, a to nejen jako zákazník velkých firem. Existuje totiž řada volně dostupných modelů, vytrénovaných na různých skupinách dat. Přehled najdete na webu Hugging Face, tedy platformě, kde může komunita kolem strojového učení spolupracovat na aplikacích, souborech dat i modelech.

A pokud máte dostatečně výkonný počítač, můžete si modely spouštět lokálně (a mít tak jistotu, že se o vaší konverzaci nikdo nemůže dozvědět).

Ollama - instalace

Ollama je nástroj právě pro takové spouštění. Instalace, alespoň linuxová, je naprosto přímočará; kompletní popis je zde, ale stačí pouze spustit

curl -fsSL https://ollama.com/install.sh | sh

To provede stažení, nainstalování, nakonfigurování služby i její start.

LLM modely

Pak už stačí vybrat model a spustit ho. Než se do toho ale pustíme, je třeba si říct něco o velikostech modelů a jejich nárocích. Počet parametrů, což bychom mohli přirovnat k počtu synapsí (kdy každá modifikuje signál), se počítá v miliardách. Opensourcové modely mají často hodnoty 7B, 13B nebo 70B (B, anglicky bilion, je miliarda). Čím vyšší číslo, tím přesnější odpovědi, ale také pomalejší. Přibližné paměťové nároky:

• 7B model – 8 GB RAM
• 13B model – 16 GB RAM
• 70B model – 64 GB RAM

Z toho vyplývá, že já se svými 16 GB končím na 13B.

Mimochodem pro srovnání, ChatGPT 3.5 pracuje s 175B a ChatGPT 4 s desetinásobkem, tedy 1,76 bilionu. Google Gemini 1,6 bilionu a Gemini Pro snad až ke 100 bilionů. Tomu se bude těžko konkurovat, že.

(Přiblížit k ChatGPT by se dalo na CPU s nejméně 16 jádry, nejméně 64 GB RAM, high-end grafickou kartou s 16 GB VRAM a stovkami GB až jedním TB na disku.)

Ale pozor, i malé modely poskytují překvapivě dobré výsledky.

Ollama - výběr a spuštění modelu

Přehled modelů, které ollama podporuje, se dá vyčíst na library. Když si nějaký vyberete, třeba Samanthu, osobní asistentku vzdělanou ve filozofii, psychologii a vztazích, klikněte si na záložku tags a tam vidíte, co přesně máte v příkazové řádce spustit:

ollama run samantha-mistral:7b

proběhne stažení,

načtení – a můžete začít konverzovat. Mě třeba zajímalo, jaké jsou překryvy a rozdíly mezi biblickou knihou Kazatel a theravádovým buddhismem (protože jsem o tom psal tuhle).

Both the Book of Kohelet (Ecclesiastes) and Theravada Buddhism emphasize the transient nature of life, the fleeting nature of earthly pleasures, and the pursuit of spiritual enlightenment. They both encourage individuals to seek meaning and purpose beyond the material world and to recognize the futility of pursuing wealth, power, or fame as sources of lasting happiness.

However, there are some differences between the two:

1. Religious context: The Book of Kohelet is part of the Hebrew Bible while Theravada Buddhism is a branch of Buddhism that originated in ancient India and has its roots in the teachings of Siddhartha Gautama, the historical Buddha.

2. Cosmology and metaphysics: Kohelet is rooted in the monotheistic belief system of Judaism, while Theravada Buddhism generally avoids making assertions about a creator deity or other metaphysical entities. Instead, it focuses on understanding the nature of existence and attaining liberation from the cycle of rebirth.

3. Philosophical approach: Kohelet presents its teachings as the wise reflections of an aging king who has come to realize the emptiness of worldly pursuits. Theravada Buddhism, on the other hand, is a more systematic and comprehensive spiritual path that encompasses a variety of practices, such as meditation, morality, wisdom, and effort, aimed at achieving spiritual awakening and liberation from suffering.

Overall, while both Kohelet and Theravada Buddhism emphasize the impermanent nature of life and encourage seeking meaning beyond material possessions, they have different origins, cosmologies, and philosophical approaches.

Ollama - výpis a odmazání modelu

Modely se stahují a ukládají na cestu /usr/share/ollama/.ollama/models, což bývá typicky systémový disk s menší kapacitou. Časem tedy můžete zjistit, že se prostor zaplňuje zbytečně rychle. Pochopitelně tam můžete namapovat větší úložiště, ale i tak – pročištění se hodí.

Stažené modely si vypíšete pomocí

ollama list

A konkrétní model odmažete pomocí

ollama rm [jméno modelu]

Ollama - logy

Model běží lokálně, odpovědi se nelogují, ale vaše prompty ano – ukládají se na cestu ~/.ollama/history, kde si je můžete prohlížet… nebo smazat.

---

LM Studio

LM Studio je další nástroj, který ale funguje v grafickém rozhraní. Stahuje se jako AppImage, tedy spustitelný balík. Po stažení mu akorát nastavíte atribut x a můžete spouštět.

V UI se vybre odkud má stahovat modely, zvolíte model, odešlete a pak můžete během konverzace sledovat v dolním okně, jak stahování probíhá. Po jeho dokončení máte nového konverzačního partnera k dispozici.

Bohužel u mě se stalo, že ačkoliv se rozjel procesor a tedy se zjevně odpověď generovala, do promptu se nevypsalo nic. Zkusil jsem dva modely a několik dotazů, ale marně, takže jsem se vrátil k ollama. Ostatně, na prompty nic víc než prompt stejně není třeba, že?