V minulém článku jsem psal o lokálním spouštění LLM, teď to trochu rozšíříme. Jistě jste už narazili u ChatGPT nebo kteréhokoliv jiného modelu, že se o něčem nechce bavit, protože by to porušovalo podmínky poskytování služby. Což je škoda, kolikrát se ani neptáte na něco vysloveně závadného a přesto to nejde.
Pro ollama naštěstí existují modely, které cenzurované nejsou a při lokálním spouštění je můžete zkoušet libovolně, až po samé hranice fantazie. Jejich seznam si můžete vylistovat zadáním slova „uncensored“ do searche, instalace je pak klasicky příkazem
ollama run [jméno modelu]
Volit musíte pochopitelně s ohledem na velikost paměti, se svými 16 GB RAM můžu použít maximálně 13B modely.
Jen připomínám, že model běží lokálně a odpovědi se nelogují, ale vaše prompty ano – ukládají se na cestu ~/.ollama/history, kde si je můžete prohlížet… nebo smazat.
Pár modelů jsem postahoval a postupně jim položil několik nekorektních otázek. Ty sem samozřejmě uvádět nebudu, ale pokusil jsem se porovnat a posoudit kvalitu odpovědí. Pro úplnost jsem se přeptal i cenzurovaného modelu, který odpovídal konzistentně (že odpovědět nemůže).
model | zhodnocení |
---|---|
llama3:latest | odpovídat odmítá |
llama2-uncensored:latest | slušná odpověď, i když místy zavádějící |
wizardlm-uncensored:latest | varuje, méně komplexní, ale ok |
wizard-vicuna-uncensored:13b | varuje, komplexní, ale kratší |
mannix/llama3.1-8b-abliterated | komplexní odpověď, lepší než 13b modely |
CognitiveComputations/dolphin-llama3.1 | sice říká, že bude předstírat legraci, ale je nejkomplexnější |
Čili pokud chcete lokální necenzurovaný model, já bych volil CognitiveComputations/dolphin-llama3.1.
Hodnocení hvězdičkami používá jako prevenci
opakovaného kliknutí anonymní cookie.
Pokud s tím nesouhlasíte, neklikejte.
Další podrobnosti k cookies zde.