Transformer: Leidus, mis Muutis Kõike
Juunis 2017 avaldas kaheksa Google’i teadlast kaheteistkümmel leheküljel artikli. Nad ei teadnud seda veel, kuid olid just süütamas revolutsiooni tõrvikut, mis muudab inimkonda.
Transformer — nii seda nimetatakse — asendas korduvad närvivõrgud tähelepanumehhanismiga, mis võimaldab andmete massiivset paralleelset töötlemist. Erinevalt varasematest arhitektuuridest, mis töötasid sõnu ükshaaval läbi, näeb Transformer kogu lauset korraga. See peenike erinevus muudab kõike.
Kuus aastat hiljem, jaanuaris 2026, domineerib open source ökosüsteem globaalset tehisintellekti. See, mis oli kunagi vaid akadeemiline täiendus omanduses olevatele hiiglastele, on saanud tööstusinnovatsiooni mootoriks. Kuidas me siia jõudsime?
Esimesed Teejuhid (2018-2021)
GPT-2: Säde, mis Ärkatas Kogukonna
Juuni 2018. OpenAI avaldab GPT-2. Mudel on hirmutav — nii hirmutav, et OpenAI kõhkleb seda avalikustamast. Nende argument? Kooskõlastatud teksti genereerimise võime võib teenida desinformatsiooni.
Vale arvutus. Kogukond ei talu, kui nende eest mänge peidetakse. Kui GPT-2 lõpuks MIT litsentsi all välja antakse, haaravad seda teadlased üle maailma. Moodustub kollektiiv: EleutherAI. Nende missioon? Näidata, et mudeleid miljardite parameetritega saab treenida ilma rahvusvahelise ettevõtte ressurssideta.
"Tahtsime näidata, et avatud teadus ei vaja miljardeid dollareid, et edasi liikuda."
Google Vastab BERT-i ja T5-ga
Selle ajal Google ei istu passiivselt. BERT (oktoober 2018) revolutsioneerib kahesuunalist keele mõistmist. T5 (veebruar 2020) pakub ühtset raamistikku, kus iga ülesanne muutub tekst-tekstiks transformatsiooniks.
Need mudelid, mis avaldatakse Apache 2.0 litsentsi all, saavad tuhandete akadeemiliste uurimisprojektide aluseks. Nad tõestavad üht olulist asja: massiivne eeltreenimine, millele järgneb peen häälestamine, on kuninglik tee.
Kogukonna Varased Edu
Märtsis 2021 avaldab EleutherAI GPT-Neo 2,7 miljardi parameetriga. See on tehniline edu: mudel konkureerib tolleaegse GPT-3-ga, täielikult treenitud annetatud arvutusvõimsusel ja vabatahtlikul tööl.
Sõnum on selge: open source suudab hiiglastele vastu astuda.
2022: Avatud Teadus Surve All
BigScience ja BLOOM: Esmakordne Lähenemine
Aasta 2022 tähistab pöördepunkti. OpenAI sulgeb oma mudelid tasuliste API-de taha. Kogukond reageerib teisiti.
BigScience, mida koordineerib Hugging Face, koondab 1000 teadlast 60 riigist. Nende eesmärk? Luua kõigi aegade suurim mitmekeelne open source mudel. Tulemus: BLOOM, 176 miljardit parameetrit, 46 keelt, 13 programmeerimiskeelt.
See, mis teeb BLOOM-i ajalooliseks, ei ole tema suurus. See on täielik läbipaistvus: avalikud treeningandmed, open source kood, täielik treeningulogi. Esimest korda saame tõeliselt aru, kuidas LLM sündis.
Meta Lööb Tugevalt OPT-iga
Peaaegu samaaegselt käivitab Meta AI OPT (Open Pre-trained Transformer). Sama suurus kui GPT-3-l, kuid ühe olulise erinevusega: täielik treeningprotsessi dokumentatsioon.
Teadlased saavad lõpuks uurida sellise mastaabi mudelit ilma vastupidise insenerita.
Galactica: Eelaimdus
November 2022. Meta proovib spetsialiseerida AI-d Galactica-ga, mis on pühendatud teaduskirjandusele. Mudel võetakse 48 tunni jooksul pärast kriitikat hallutsinatsioonide pärast tagasi.
Ebaõnnestumine? Mitte päris. Galactica seab aluse spetsialiseeritud korpustel treenimisele. Trend, mis plahvatab kolm aastat hiljem.
2023: Aasta, mil Kõik Muutus
24. Veebruar 2023: Llama Efekt
Sel päeval avaldab Meta Llama. Mudel ei ole mõeldud laiale avalikkusele — ainult uurimiseks. Kuid tema kaalud lekivad võrgus päevade jooksul.
Revolutsiooni süütaja.
Llama tõestab, et tagasihoidlikum mudel (7 kuni 65 miljardit parameetrit), mis on treenitud rohkematel tokenitel, suudab hiiglasi ületada. Kogukond haarab sellest kohe kinni.
| Mudel | Kuupäev | Võtmeuuendus | Litsents |
|---|---|---|---|
| Alpaca | Märts 2023 | Madala kuluga peen häälestamine self-instructi kaudu | Mitteäriline |
| Vicuna | Aprill 2023 | 90% ChatGPT kvaliteeti 500 USD treeningkuluga | Mitteäriline |
| Falcon 40B | Juuni 2023 | Esimene open source mudel, mis domineerib võrdlusmõõdikuid | Apache 2.0 |
| Mistral 7B | Oktoober 2023 | Ekstreemne efektiivsus Sliding Window Attentioni kaudu | Apache 2.0 |
| Mixtral 8x7B | Detsember 2023 | Demokratiseeritud Mixture of Experts (MoE) | Apache 2.0 |
QLoRA: Kohalik Demokratiseerimine
Aprill 2023. Üks tehnika muudab kõike: QLoRA (Quantized Low-Rank Adaptation).
Tulemus? 65 miljardi parameetriga mudeli peen häälestamine ühelainsal tarbija GPU-l. Väikesed ettevõtted saavad nüüd luua oma AI ilma massiivse infrastruktuurita.
Tõkked langevad ükshaaval.
2024-2025: Tehniline Võrdsus
DeepSeek: Hiina Astub Lavale
Suvi 2024 tähistab uue olulise mängija saabumist: DeepSeek, Hiina labor, mis kuulub High-Flyer Quant-i.
Nende meistriteos? Ultra-efektiivne MoE arhitektuur ja MLA (Multi-head Latent Attention) mehhanism, mis vähendab KV vahemälu mälu vajadust 93% võrra.
Tulemus jaanuaris 2025: DeepSeek-V3 võrdub GPT-4-ga murdosa hinnaga. Rahvusvaheline kogukond avastab, et open source ei ole enam järgija — ta on juht.
OpenAI Anna Surve All Järele
August 2025. OpenAI, pärast aastatepikkust suletust, avaldab GPT-OSS. Esimene avatud kaaludega mudel alates GPT-2-st. Optimeeritud agentlike töövoogude ja pika konteksti jaoks.
Miks see pööre? Open source’i konkurents surve oli muutunud liiga tugevaks. Kui tasuta mudelid võrdsustavad teie omad, ei ole sulgemine enam piisav.
Meta Vastab Llama 4-ga
Meta viivitamatu vastus: Llama 4. Kaasasündinult mitmemodalne, suuteline töötlema 10 miljonit konteksti tokenit.
Kujutlege ette: kogu koodibaasi analüüs ühes päringus. Nüüd on see võimalik — ja tasuta.
Jaanuar 2026: Open Source Valitseb
Parimate Mudelite Edetabel
Siin me täna oleme:
| Koht | Mudel | Arendaja | Kvaliteedi Skoor | Spetsialiseerumine |
|---|---|---|---|---|
| 1 | Kimi K2.5 (Reasoning) | Moonshot AI | 46,77 | Matemaatika, keerukad järeldused |
| 2 | GLM-4.7 (Thinking) | Zhipu AI | 41,70 | Kodeerimine, Nägemine-Keel |
| 3 | DeepSeek V3.2 | DeepSeek | 41,20 | Efektiivsus, madal järelduskulu |
| 4 | GPT-OSS-120B | OpenAI | 40,50 | Tööriistade kasutamine, agentlikkus |
| 5 | Llama 4 (70B) | Meta | 39,80 | Mitmemodaalsus, ökosüsteem |
| 6 | Qwen3-235B | Alibaba | 39,20 | Mitmekeelsus, RAG |
Otsus on julm: 6-st parimast mudelist 5 on open source. Ainult GPT-OSS, irooniliselt, kannab endise omandilise juhi nime.
Mängu Muutnud Uuendused
MLA ja DeepSeek Sparse Attention: Miljonite konteksti tokenite haldamine nõudis keelatud KV vahemälu. MLA surub seda vahemälu agressiivselt kokku. DSA vähendab arvutuskeerukust, töödeldes ainult asjakohaseid jadaosi.
BitNet 1.58b: 2025. aasta kõige radikaalsem uuendus. Selle asemel, et kodeerida kaale 16 bitiga, kasutab BitNet ternaarseid väärtusi {-1, 0, 1} — umbes 1,58 bitti parameetri kohta.
Tagajärg:
- 70-80% energiatarbimise vähenemine
- 2,3x kuni 6,1x kiirendus standardsetel CPU-del
- 100 miljardi parameetriga mudel, mis töötab standardse lauaarvutil
AI suveräänsus ei ole enam unistus. See on tehniline reaalsus.
Kohalik Järeldus Muutub Standardiks
RTX 5090: AI Tööjaamade Süda
- aasta alguses avaldab NVIDIA RTX 5090. 32 GB GDDR7 mälu, 1,79 TB/s ribalaius (+77% võrreldes eelmise põlvkonnaga).
Tulemused tarbijakaardil:
- Llama 4 8B (4-bit): 180 tokenit/sekundis
- DeepSeek-R1 14B (4-bit): 89 tokenit/sekundis
- Qwen 2.5 32B (4-bit): 45 tokenit/sekundis
70B+ mudelid töötavad nüüd kohalikes mitme GPU konfiguratsioonides tööstusliku jõudlusega.
vLLM vs Ollama
Kaks ökosüsteemi domineerivad:
- vLLM: Tootmise standard. PagedAttention mootor, optimeeritud KV vahemälu haldamine, mitmed samaaegsed kasutajad.
- Ollama: Arendajate lemmik. Ekstreemne lihtsus, null konfigureerimine, emakeelne macOS/Linux/Windows tugi.
Agendi Ajastu: Vestlusest Tegevuseks
Devstral 2: AI Koodi Teenistuses
Detsember 2025. Mistral AI käivitab Devstral 2, 123 miljardi parameetriga, optimeeritud tarkvaraarenduseks.
SWE-bench Verified skoor: 72,2%. Võrdne Claude Sonnet 4-ga, kuid seitse korda kallim.
Hind: 0,40 $ miljoni tokeni kohta. AI-toetatud arendus muutub majanduslikult elujõuliseks väikestele ettevõtetele ja iseseisvatele.
Vibe CLI: AI, mis Kodeerib Ise
Samal kuul avaldab Mistral Vibe CLI. See tööriist orkestreerib autonoomselt keerukaid muudatusi kogu koodibaasides.
- aasta agendimudelid suudavad:
- Navigeerida keerukates failisüsteemides
- Tuvastada sõltuvusi raamistikute vahel
- Tuvastada testide ebaõnnestumisi ja ise parandada
- Usaldusväärselt toota struktureeritud JSON väljundeid tarkvara integreerimiseks
Me liigume “vestlus AI”-lt “tegevuse AI”-le.
Regulatsioon: Mis Jääb Avatust Alles?
OSAID 1.0: Ametlik Määratlus
Oktoober 2024. Open Source Initiative avaldab lõpuks ametliku Open Source AI määratluse.
Open source’iks kvalifitseerumiseks peab süsteem tagama neli vabadust: kasutamine, uurimine, muutmine ja jagamine. Kolm võtmetegurit:
- Kood: Täielik eeltreenimise, filtreerimise ja järeldamise kood
- Parameetrid: Kaalud, optimeerija seaded, arhitektuuri konfiguratsioonid
- Andmed: Üksikasjalik dokumentatsioon päritolu, valiku ja töötlemise kohta
Tulemus? Enamik tänapäeva “open source” mudeleid ei ole vastavuses. Llama 4, Mistral, isegi GPT-OSS puudub täielik andmete läbipaistvus.
Ainult Pythia (EleutherAI) ja OLMo (AI2) saavad “tõeliselt open source” sildi.
EU AI ACT Struktureerib Turu
Alates 2025. aasta veebruarist kehtib EU AI ACT. Open source mudelid saavad kasu olulistest eranditest — tingimusel, et neid ei klassifitseerita kui “süsteemne risk”.
Mudelitele, mis ületavad 10^25 FLOP-i, kohaldatakse dokumentatsiooni ja küberturvalisuse kohustusi, olenemata litsentsist.
2026-2030: Mis Ees Ootab?
Kujunevad Trendid
Post-Transformer: Uued arhitektuurid tekivad, et vähendada tähelepanu ruutkeerukust. BitNet on alles algus.
Edge AI: Mudelid nagu Ministral 3B töötavad nutitelefonides massiivse kontekstiga. Kodu automatiseerimine ja isiklik robootika plahvatavad.
Intelligentsuse Suveräänsus: Ettevõtted ei taha enam “rentida” intelligentsust API-de kaudu. Nad tahavad omada oma digitaalseid aju, treenitud oma tööstussaladustel.
Multi-Agent Koostöö: Tulevik peitub erinevate pakkujate mudelite vahelises suhtluses. Probleemide lahendamine koostöö kaudu, mitte monoliitse jõu abil.
Uus SEO Paradigma
LLM-ide massiivne integreerimine otsingumootoritesse on muutnud veebis nähtavust. Nüüd räägime GEO-st (Generative Engine Optimization).
- aastal haaratakse umbes 25% traditsioonilisest orgaanilisest liiklusest AI loodud otsevastustega. Kasutajad ei kliki enam — loevad sünteesi.
Brändi jaoks ei mõõdeta edu enam Google järjestusega. Seda mõõdetakse viidete sageduse ja stabiilsusega Gemini 3 või GPT-5 generatiivsetes vastustes.
Ja Nüüd?
- aasta open source ökosüsteem tõestas üht olulist asja: läbipaistvus ja koostöö ei ole eetilised ideaalid, need on ülemised konkurentsieelised.
Intelligentsuse monopolide purustades muutis open source AI eksklusiivsest teenusest globaalseks avalikuks infrastruktuuriks — sama fundamentaalseks kui elekter või internet.
Tehniline võrdsus on saavutatud. Järgmine piir? Süsteemide täielik autonoomsus inimkonna teenistuses.
Massiivsed generalistlikud mudelid täiendatakse, mõnikord asendatakse, spetsialiseeritud, ökonoomsemate, täpsemate, suveräänsemate mudelite konstellatsioonidega.
Open source võitis. Ülejäänu on ainult ajalugu.