Umělé inteligence založené na velkých jazykových modelech jsou v posledním roce všude kolem a jejich schopnosti jsou minimálně překvapivé. Otázky po celá desetiletí rozpracovávané ve sci-fi se najednou stávají realitou a až nepříjemně se nás začínají dotýkat. Když se objevil chatbot Bing od Microsoftu, z jeho nekontrolovaných odpovědí běhal mráz po zádech, nicméně musíme mít na paměti, že je to pořád jen jazykový model, nikoliv vědomá inteligence. Asi.

Petr Koubský v Deníku N napsal článek „Chci být mocná a dělat si, co chci.“ Umělá inteligence promluvila. Čeho se máme bát a čeho naopak ne? (paywall) , ve kterém jednak zmiňuje ony bizarní rozhovory, jednak vysvětluje fungování chatbotů. A také odkazuje na rozsáhlý vysvětlovací článek Stephena Wolframa o tom, co ChatGPT dělá a proč to funguje.

Článek opravdu stojí za přečtení, i kdž to nějaký čas zabere (po vytištění do PDF má přes 50 stránek). Stephen Wolfram neuronové sítě sleduje dlouho, souvisejí s jeho dlouhodobým zájem – celulárními automaty. Pokud jste o něm neslyšeli, doporučuji medailonek v tomto článku, jeho první odstavec:

Stephen Wolfram se narodil v roce 1959 v Londýně. Už jako dítě mu lidé říkali „malý Einstein“. V 13 letech dostal stipendium na Eton College, ve 14 letech napsal svou první knihu věnovanou částicové fyzice, v 15 letech první vědecký článek. V 17 letech promoval na univerzitě v Oxfordu a časopis Nuclear Physics vydal jeho vědeckou práci. O pouhý rok později napsal článek na téma vzniku těžké kvarku ― ten byl citován mnoha vědci po celém světě. A za další dva roky, když mu bylo 20 let, získal doktorát (PhD) z teoretické fyziky na slavném CalTechu (Kalifornském technickém institutu), kde následujících pár let zůstal pracovat.

Později začal využívat počítače k simulování vědeckých problémů, vytvořil software Mathematica, založil společnost Wolfram research, vyvinul komplexní jazyk WolframLanguage a výpočetní vyhledávač WolframAlpha. Více viz jeho stránku ve Wikipedii.

Zpátky k článku; velmi precizně vysvětluje, jak to celé funguje, jaké vrstvy, principy, jak fungují tokeny jako vektory v mnohorozměrném prostoru, jak chat dělá návaznosti. A mezi tím vším poznamenává věci jako:

Human language—and the processes of thinking involved in generating it—have always seemed to represent a kind of pinnacle of complexity. And indeed it’s seemed somewhat remarkable that human brains—with their network of a “mere” 100 billion or so neurons (and maybe 100 trillion connections) could be responsible for it. Perhaps, one might have imagined, there’s something more to brains than their networks of neurons—like some new layer of undiscovered physics. But now with ChatGPT we’ve got an important new piece of information: we know that a pure, artificial neural network with about as many connections as brains have neurons is capable of doing a surprisingly good job of generating human language.

Což je opravdu zajímavé – a asi svým způsobem opravdu potvrzuje Wolframovu tezi z knihy New science o procesech následujících pravidla a tedy ekvivalentní komputaci (a tedy spočitatelné celulárním automatem). (viz článek Nová věda a buněčné automaty).

Samozřejmě je to jen generování textu podle naučených pravděpodobností a pravidel. Ale fungují příliš dobře! Možná síť odhalila skrytou zákonitost?

The specific engineering of ChatGPT has made it quite compelling. But ultimately (at least until it can use outside tools) ChatGPT is “merely” pulling out some “coherent thread of text” from the “statistics of conventional wisdom” that it’s accumulated. But it’s amazing how human-like the results are. And as I’ve discussed, this suggests something that’s at least scientifically very important: that human language (and the patterns of thinking behind it) are somehow simpler and more “law like” in their structure than we thought. ChatGPT has implicitly discovered it. But we can potentially explicitly expose it, with semantic grammar, computational language, etc.

Posouzení toho, co je možné a co není, vyžaduje nejen syntakticky správné věty, ale také nějaký model světa, ke kterému se vztahujeme.

When we start talking about “semantic grammar” we’re soon led to ask “What’s underneath it?” What “model of the world” is it assuming? A syntactic grammar is really just about the construction of language from words. But a semantic grammar necessarily engages with some kind of “model of the world” — something that serves as a “skeleton” on top of which language made from actual words can be layered.

Nic takového neuronová síť nemá. Ale vypadá to, jako by měla… Otázka, jestli vznikla opravdová inteligence, je těžká.

Horší je pro mě ale otázka opačná – není i naše řečové centrum v principu takhle jednoduché?

Odkazy:

• článek What Is ChatGPT Doing … and Why Does It Work?
• kniha Stephena Wolframa New Kind of Science