Transformer: Izum, ki je Spremenil Vse
Junija 2017 je osem raziskovalcev iz Google objavilo dvanajststrani članek. Še vedno niso vedeli, da so ravno vžgali fitil revolucije, ki bo preoblikovala človeštvo.
Transformer — tako se imenuje — je nadomestil ponavljajoče se nevronske mreže z mehanizmom pozornosti, ki omogoča masivno vzporedno obdelavo podatkov. Za razliko od prejšnjih arhitektur, ki so obdelovale besede eno za drugo, Transformer vidi celoten stavek naenkrat. Ta subtilna razlika spremeni vse.
Šest let kasneje, januarja 2026, open source ekosistem prevladuje v globalni umetni inteligenci. To, kar je bilo nekoč le akademski dodatek lastniškim velikanom, je postalo motor industrijske inovacije. Kako smo prišli sem?
Prvi Pionirji (2018-2021)
GPT-2: Iskra, ki je Prebudila Skupnost
Junij 2018. OpenAI objavi GPT-2. Model je zastrašujoč — tako zastrašujoč, da OpenAI okleva z njegovo objavo. Njihov argument? Sposobnost generiranja koherentnega besedila bi lahko služila dezinformaciji.
Napačen izračun. Skupnost ne tolerira, da ji skrivajo igrače. Ko je GPT-2 končno izdan pod licenco MIT, raziskovalci z vsega sveta ga takoj zgrabijo. Tvori se kolektiv: EleutherAI. Njihova misija? Dokazati, da je mogoče modele z milijardami parametrov trenirati brez sredstev multinacionalke.
"Želeli smo dokazati, da odprta znanost ne potrebuje milijard dolarjev za napredek."
Google Odgovarja z BERT in T5
Medtem Google ne sedi križem rok. BERT (oktober 2018) revolucionizira dvosmerno razumevanje jezika. T5 (februar 2020) predlaga enoten okvir, kjer vsaka naloga postane transformacija besedila v besedilo.
Ti modeli, objavljeni pod licenco Apache 2.0, postanejo temelj tisočev akademskih raziskovalnih projektov. Dokazujejo eno ključno stvar: masivno predhodno usposabljanje, ki mu sledi fino prilagajanje, je kraljeva pot.
Zgodnji Uspehi Skupnosti
Marca 2021 EleutherAI objavi GPT-Neo s 2,7 milijardi parametrov. To je tehnični uspeh: model tekmuje s takratnim GPT-3, v celoti usposobljen na darovani računalniški moči in prostovoljnem delu.
Sporočilo je jasno: open source se more kosati z velikani.
2022: Odprta Znanost Pod Pritiskom
BigScience in BLOOM: Beprecedenčen Pristop
Leto 2022 označuje prelomnico. OpenAI zapre svoje modele za plačljivimi API. Skupnost odreagira drugače.
BigScience, ki ga koordinira Hugging Face, zbere 1000 raziskovalcev iz 60 držav. Njihov cilj? Ustvariti največji večjezični open source model, kar so jih kdaj zgradili. Rezultat: BLOOM, 176 milijard parametrov, 46 jezikov, 13 programskih jezikov.
To, kar BLOOM dela zgodovinskega, ni njegova velikost. To je popolnoma preglednost: javni podatki za usposabljanje, odprtokodna koda, popoln dnevnik usposabljanja. Prvič lahko resnično razumemo, kako se je rodil LLM.
Meta Udari Močno z OPT
Skoraj istočasno Meta AI zažene OPT (Open Pre-trained Transformer). Enaka velikost kot GPT-3, toda z eno ključno razliko: popolna dokumentacija postopka usposabljanja.
Raziskovalci lahko končno preučujejo model tega obsega brez obratnega inženiringa.
Galactica: Predznanje
November 2022. Meta poskuša specializirati AI z Galactico, posvečeno znanstveni literaturi. Model se umakne v 48 urah po kritikah zaradi halucinacij.
Napaka? Ne povsem. Galactica postavlja temelje za usposabljanje na specializiranih korpusih. Trend, ki bo eksplodiral čez tri leta.
2023: Leto, ko se je Vse Spremenilo
24. Februar 2023: Učinek Llama
Tega dne Meta objavi Llama. Model ni namenjen široki javnosti — samo raziskovanju. Toda njegove uteži prvejo v splet v nekaj dneh.
Sprožilec revolucije.
Llama dokazuje, da je skromnejši model (od 7 do 65 milijard parametrov), usposobljen na več žetonih, lahko preseže velikane. Skupnost ga takoj zgrabi.
| Model | Datum | Ključna Inovacija | Licenca |
|---|---|---|---|
| Alpaca | Marec 2023 | Nizkostroškovno fino prilagajanje prek self-instruct | Ne-komercialna |
| Vicuna | April 2023 | 90% kakovosti ChatGPT pri 500 USD stroških usposabljanja | Ne-komercialna |
| Falcon 40B | Junij 2023 | Prvi open source model, ki prevlada v primerjalnih testih | Apache 2.0 |
| Mistral 7B | Oktober 2023 | Ekstremna učinkovitost z Sliding Window Attention | Apache 2.0 |
| Mixtral 8x7B | December 2023 | Demokratizirana Mixture of Experts (MoE) | Apache 2.0 |
QLoRA: Lokalna Demokratizacija
April 2023. Ena tehnika spremeni vse: QLoRA (Quantized Low-Rank Adaptation).
Rezultat? Fino prilagajanje modela s 65 milijardami parametrov na enem samem potrošniškem GPU. Majhna podjetja lahko zdaj ustvarijo lastni AI brez masivne infrastrukture.
Ovire padajo ena za drugo.
2024-2025: Tehnična Enakopravnost
DeepSeek: Kitajska Stopi na Sceno
Poletje 2024 označuje prihod novega pomembnega igralca: DeepSeek, kitajski laboratorij, povezan z High-Flyer Quant.
Njihova mojstrska poteza? Ultra-učinkovita MoE arhitektura in mehanizem MLA (Multi-head Latent Attention), ki zmanjša potrebe po pomnilniku KV predpomnilnika za 93%.
Rezultat januarja 2025: DeepSeek-V3 se izenači z GPT-4 za delček stroškov. Mednarodna skupnost odkrije, da open source ni več sledilec — je vodja.
OpenAI Popusti Pod Pritiskom
Avgust 2025. OpenAI, po letih zaprtosti, objavi GPT-OSS. Prvi model z odprtimi utežmi od GPT-2. Optimiziran za agentne delovne tokove in dolgi kontekst.
Zakaj ta obrat? Tekmovalni pritisk open source je postal premočan. Ko se brezplačni modeli izenačijo z vašimi, zaprtost ni več dovolj.
Meta Odgovarja z Llama 4
Takojšnji odgovor Meta: Llama 4. Nastalno večmodalen, zmožen obdelati 10 milijonov kontekstnih žetonov.
Predstavljajte si: analiza celotne baze kode v eni poizvedbi. Zdaj je to mogoče — in brezplačno.
Januar 2026: Open Source Vladar
Lestvica Najboljših Modelov
Tu smo danes:
| Mesto | Model | Razvijalec | Kakovostna Ocena | Specializacija |
|---|---|---|---|---|
| 1 | Kimi K2.5 (Reasoning) | Moonshot AI | 46,77 | Matematika, kompleksno sklepanje |
| 2 | GLM-4.7 (Thinking) | Zhipu AI | 41,70 | Programiranje, Vid-Jezik |
| 3 | DeepSeek V3.2 | DeepSeek | 41,20 | Učinkovitost, nizki stroški sklepanja |
| 4 | GPT-OSS-120B | OpenAI | 40,50 | Uporaba orodij, agentnost |
| 5 | Llama 4 (70B) | Meta | 39,80 | Večmodalnost, ekosistem |
| 6 | Qwen3-235B | Alibaba | 39,20 | Večjezičnost, RAG |
Sodba je kruta: od 6 najboljših modelov jih je 5 open source. Samo GPT-OSS, ironično, nosi ime nekdanjega lastniškega vodje.
Inovacije, ki so Spremenile Igro
MLA in DeepSeek Sparse Attention: Obdelava milijonov kontekstnih žetonov je zahtevala prepovedani pomnilnik KV predpomnilnika. MLA agresivno stisne ta predpomnilnik. DSA zmanjša računsko zahtevnost z obdelavo samo relevantnih delov sekvence.
BitNet 1.58b: Najbolj radikalna inovacija leta 2025. Namesto kodiranja uteži na 16 bitih, BitNet uporablja ternarne vrednosti {-1, 0, 1} — približno 1,58 bita na parameter.
Posledica:
- 70-80% zmanjšanje porabe energije
- 2,3x do 6,1x pospešitev na standardnih CPU
- Model s 100 milijardami parametrov, ki teče na standardnem namiznem računalniku
Suverenost AI ni več sanje. To je tehnična resničnost.
Lokalno Sklepanje Postane Standard
RTX 5090: Srce AI Delovnih Postaj
Zgodaj leta 2025 NVIDIA izda RTX 5090. 32 GB pomnilnika GDDR7, pasovna širina 1,79 TB/s (+77% v primerjavi s prejšnjo generacijo).
Rezultati na potrošniški kartici:
- Llama 4 8B (4-bit): 180 žetonov/sekundo
- DeepSeek-R1 14B (4-bit): 89 žetonov/sekundo
- Qwen 2.5 32B (4-bit): 45 žetonov/sekundo
Modeli 70B+ zdaj tečejo na lokalnih več-GPU konfiguracijah z industrijsko zmogljivostjo.
vLLM vs Ollama
Dva ekosistema prevladujeta:
- vLLM: Produkcijski standard. PagedAttention pogon, optimizirano upravljanje KV predpomnilnika, več istočasnih uporabnikov.
- Ollama: Najljubši razvijalcev. Ekstremna preprostost, nič konfiguracije, domača podpora za macOS/Linux/Windows.
Agentna Doba: Od Klepeta do Dejanja
Devstral 2: AI v Službi Kode
December 2025. Mistral AI zažene Devstral 2, 123 milijarde parametrov, optimiziranih za razvoj programske opreme.
SWE-bench Verified rezultat: 72,2%. Enako kot Claude Sonnet 4, vendar sedemkrat dražji.
Cena: 0,40 $ na milijon žetonov. Razvoj, podprt z AI, postane ekonomsko življenjsko sposoben za mala podjetja in samostojneže.
Vibe CLI: AI, ki Programira Sam
Isti mesec Mistral izda Vibe CLI. To orodje avtonomno orkestrira kompleksne spremembe v celotnih bazah kode.
Agentni modeli leta 2026 lahko:
- Navigirajo po kompleksnih sistemih datotek
- Prepoznajo odvisnosti med ogrodji
- Zaznajo neuspehe testov in se samopopravijo
- Zanesljivo proizvajajo strukturirane JSON izhode za integracijo programske opreme
Prehajamo od “klepetalne AI” k “akcijski AI”.
Regulacija: Kaj Ostane od Odprtega?
OSAID 1.0: Uradna Definicija
Oktober 2024. Open Source Initiative končno objavi uradno definicijo Open Source AI.
Za kvalifikacijo kot open source mora sistem zagotoviti štiri svoboščine: uporaba, študij, spreminjanje in deljenje. Tri ključne komponente:
- Koda: Popolna koda predhodnega usposabljanja, filtriranja in sklepanja
- Parametri: Uteži, nastavitve optimizatorja, konfiguracije arhitekture
- Podatki: Podrobna dokumentacija o izvoru, izbiri in obdelavi
Rezultat? Večina trenutnih “open source” modelov ni skladnih. Llama 4, Mistral, celo GPT-OSS manjkajo popolni podatkovni preglednost.
Samo Pythia (EleutherAI) in OLMo (AI2) prejmeta oznako “resnično open source”.
EU AI Act Strukturira Trg
Od februarja 2025 velja EU AI Act. Open source modeli imajo korist od pomembnih izjem — pod pogojem, da niso razvrščeni kot “sistemsko tveganje”.
Za modele, ki presegajo 10^25 FLOP, veljajo obveznosti dokumentacije in kibernetske varnosti, neodvisno od licence.
2026-2030: Kaj Prihaja
Trendi, ki Oblikujejo Prihodnost
Post-Transformer: Nove arhitekture nastajajo za zmanjšanje kvadratične zahtevnosti pozornosti. BitNet je šele začetek.
Edge AI: Modeli, kot je Ministral 3B, tečejo na pametnih telefonih z masivnim kontekstom. Domača avtomatizacija in osebna robotika bosta eksplodirali.
Suverenost Inteligence: Podjetja ne želijo več “najemati” inteligence prek API. Želijo imeti lastne digitalne možgane, usposobljene na svojih industrijskih skrivnostih.
Multi-Agent Sodelovanje: Prihodnost leži v komunikaciji med modeli različnih ponudnikov. Reševanje problemov s sodelovanjem namesto monolitne surove moči.
Novi SEO Paradigma
Masivna integracija LLM v iskalnike je preoblikovala spletno vidnost. Zdaj govorimo o GEO (Generative Engine Optimization).
Leta 2026 približno 25% tradicionalnega organskega prometa zajamejo AI generirani neposredni odgovori. Uporabniki ne klikajo več — berejo sintezo.
Za blagovno znamko uspeh ni več merjen z uvrstitvijo na Google. Meri se s pogostostjo in stabilnostjo citatov v generativnih odgovorih Gemini 3 ali GPT-5.
In Zdaj?
Ekosistem open source leta 2026 je dokazal eno ključno stvar: preglednost in sodelovanje nista etična ideala, sta superiorni konkurenčni prednosti.
S tem ko je prelomil monopole inteligence, je open source spremenil AI iz ekskluzivne storitve v globalno javno infrastrukturo — tako temeljno kot elektrika ali internet.
Tehnična enakopravnost je dosežena. Naslednja meja? Popolna avtonomija sistemov v službi človeštva.
Masivni generalistični modeli se dopolnjujejo, včasih nadomeščajo, z ozvezdji specializiranih, ekonomičnejših, natančnejših, suverenejših modelov.
Open source je zmagal. Ostalo je samo zgodovina.