Transformer: Išradimas, kuris Pakeitė Viską
2017 m. birželį aštuoni Google tyrėjai paskelbė dvylikos puslapių straipsnį. Jie dar nežinojo, bet ką tik įžiebė revoliucijos, kuri pakeis žmoniją, degtuką.
Transformer — taip jis vadinamas — pakeitė pasikartojančias neuronines tinklus dėmesio mechanizmu, leidžiančiu masinį duomenų apdorojimą lygiagrečiai. Skirtingai nuo ankstesnių architektūrų, kurios apdorodavo žodžius po vieną, Transformer mato visą sakinį vienu metu. Šis subtilus skirtumas keičia viską.
Po šešių metų, 2026 m. sausį, atvirojo kodo ekosistema dominuoja globalioje dirbtinėje inteligencijoje. Tai, kas kažkada buvo tik akadeeminis papildymas nuosavybės gigantams, tapo pramonės inovacijų varikliu. Kaip mes čia patekome?
Pirmieji Pionieriai (2018-2021)
GPT-2: Kibirkštis, kuri Pažadino Bendruomenę
2018 m. birželis. OpenAI išleidžia GPT-2. Modelis yra bauginantis — tiek, kad OpenAI abejoja, ar jį padaryti viešą. Jų argumentas? Gebėjimas generuoti nuoseklų tekstą galėtų paskatinti dezinformaciją.
Blogas skaičiavimas. Bendruomenė nepakelia, kai iš jų slepiami žaislai. Kai GPT-2 pagaliau išleidžiamas pagal MIT licenciją, tyrėjai iš viso pasaulio jį pasiima. Susiformuoja kolektyvas: EleutherAI. Jų misija? Įrodyti, kad modelius su milijardais parametrų galima mokyti be tarptautinės korporacijos išteklių.
"Norėjome įrodyti, kad atvirajai mokslui nereikia milijardų dolerių, kad galėtų žengti į priekį."
Google Atsako su BERT ir T5
Tuo tarpu Google nesėdi sudėjęs rankų. BERT (2018 m. spalis) revoliucionizuoja dvipusį kalbos supratimą. T5 (2020 m. vasaris) siūlo vieningą sistemą, kurioje kiekviena užduotis tampa teksto į tekstą transformacija.
Šie modeliai, išleisti pagal Apache 2.0 licenciją, tampa tūkstančių akademinių tyrimų projektų pagrindu. Jie įrodo vieną esminį dalyką: masinis išankstinis mokymas, po kurio seka tikslus derinimas, yra karališkasis kelias.
Ankstyvieji Bendruomenės Pasiekimai
2021 m. kovą EleutherAI išleidžia GPT-Neo su 2,7 milijardo parametrų. Tai techninis pasiekimas: modelis konkuruoja su tuometiniu GPT-3, visiškai apmokytas naudojant paaukotą skaičiavimo galią ir savanorių darbą.
Žinutė aiški: atvirasis kodas gali konkuruoti su milžinais.
2022: Atvirasis Mokslas Spaudžiamas
BigScience ir BLOOM: Beprecedentis Požiūris
2022-ieji žymi lūžį. OpenAI uždaro savo modelius už mokamų API. Bendruomenė reaguoja kitaip.
BigScience, koordinuojamas Hugging Face, suburia 1000 tyrėjų iš 60 šalių. Jų tikslas? Sukurti didžiausią kada nors sukurtą daugiakalbį atvirojo kodo modelį. Rezultatas: BLOOM, 176 milijardai parametrų, 46 kalbos, 13 programavimo kalbų.
Tai, kas daro BLOOM istoriniu, nėra jo dydis. Tai visiškas skaidrumas: vieši mokymo duomenys, atvirojo kodo kodas, išsamus mokymo žurnalas. Pirmą kartą galime tikrai suprasti, kaip gimė LLM.
Meta Smogia Stipriai su OPT
Beveik tuo pačiu metu Meta AI paleidžia OPT (Open Pre-trained Transformer). Toks pat dydis kaip GPT-3, bet su vienu esminiu skirtumu: išsami mokymo proceso dokumentacija.
Tyrėjai pagaliau gali studijuoti tokio masto modelį be atvirkštinės inžinerijos.
Galactica: Preliudija
2022 m. lapkritis. Meta bando specializuoti DI su Galactica, skirta mokslinės literatūros. Modelis atšaukiamas per 48 valandas dėl kritikos dėl haliucinacijų.
Nesėkmė? Ne visai. Galactica padeda pagrindus mokymuisi specializuotuose korpusuose. Tendencija, kuri sprogs po trejų metų.
2023: Metai, kai Viskas Pasikeitė
2023 m. Vasario 24 d.: Llama Efektas
Tą dieną Meta paskelbia Llama. Modelis nėra skirtas plačiajai visuomenei — tik moksliniams tyrimams. Bet jo svoriai nuteka internetu per kelias dienas.
Revoliucijos kibirkštis.
Llama įrodo, kad kuklesnis modelis (nuo 7 iki 65 milijardų parametrų), apmokytas su daugiau tokenų, gali pranokti milžinus. Bendruomenė jį iškart priima.
| Modelis | Data | Raktinis Naujovė | Licencija |
|---|---|---|---|
| Alpaca | 2023 m. kovas | Pigus tikslus derinimas per self-instruct | Ne komercinė |
| Vicuna | 2023 m. balandis | 90% ChatGPT kokybė už 500 USD mokymo išlaidų | Ne komercinė |
| Falcon 40B | 2023 m. birželis | Pirmasis atvirojo kodo modelis, dominuojantis etalonuose | Apache 2.0 |
| Mistral 7B | 2023 m. spalis | Ekstremalus efektyvumas per Sliding Window Attention | Apache 2.0 |
| Mixtral 8x7B | 2023 m. gruodis | Demokratizuota Mixture of Experts (MoE) | Apache 2.0 |
QLoRA: Vietinė Demokratizacija
2023 m. balandis. Viena technika keičia viską: QLoRA (Quantized Low-Rank Adaptation).
Rezultatas? 65 milijardų parametrų modelio tikslus derinimas vienoje vartotojo GPU. Mažos įmonės dabar gali sukurti savo DI be masinės infrastruktūros.
Kliūtys krenta viena po kitos.
2024-2025: Techninė Lygybė
DeepSeek: Kinija Įžengia į Sceną
2024 m. vasara žymi naujo svarbaus žaidėjo atvykimą: DeepSeek, kinų laboratorija, priklausanti High-Flyer Quant.
Jų meistro ėjimas? Ultra efektyvi MoE architektūra ir MLA (Multi-head Latent Attention) mechanizmas, kuris sumažina KV podėlio atminties poreikius 93%.
Rezultatas 2025 m. sausį: DeepSeek-V3 prilygsta GPT-4 už dalį kainos. Tarptautinė bendruomenė atranda, kad atvirasis kodas nebėra pasekėjas — jis yra lyderis.
OpenAI Pasiduoda Spaudimui
2025 m. rugpjūtis. OpenAI, po metų uždarumo, išleidžia GPT-OSS. Pirmasis modelis su atviromis svori nuo GPT-2. Optimizuotas agentiniams darbo eigoms ir ilgam kontekstui.
Kodėl šis posūkis? Atvirojo kodo konkurencinis spaudimas tapo per stiprus. Kai nemokami modeliai prilygsta jūsų, uždarumas nebeužtenka.
Meta Atsako su Llama 4
Meta neatidėliotas atsakas: Llama 4. Giminingai daugiamodalis, galintis apdoroti 10 milijonų konteksto tokenų.
Įsivaizduokite: visos kodo bazės analizė viena užklausa. Dabar tai įmanoma — ir nemokamai.
2026 m. Sausis: Atvirasis Kodas Valdo
Geriausių Modelių Reitingas
Štai kur mes šiandien:
| Vieta | Modelis | Kūrėjas | Kokybės Balas | Specializacija |
|---|---|---|---|---|
| 1 | Kimi K2.5 (Reasoning) | Moonshot AI | 46,77 | Matematika, sudėtingas samprotavimas |
| 2 | GLM-4.7 (Thinking) | Zhipu AI | 41,70 | Programavimas, Vizija-Kalba |
| 3 | DeepSeek V3.2 | DeepSeek | 41,20 | Efektyvumas, mažos išvados kaina |
| 4 | GPT-OSS-120B | OpenAI | 40,50 | Įrankių naudojimas, agentinis |
| 5 | Llama 4 (70B) | Meta | 39,80 | Daugiamodalumas, ekosistema |
| 6 | Qwen3-235B | Alibaba | 39,20 | Daugiakalbystė, RAG |
Nuosprendis žiaurus: 5 iš 6 geriausių modelių yra atvirojo kodo. Tik GPT-OSS, ironiškai, neša buvusio nuosavybės lyderio vardą.
Žaidimą Pakeitusios Naujovės
MLA ir DeepSeek Sparse Attention: Milijonų konteksto tokenų tvarkymas reikalavo draudžiamos KV podėlio atminties. MLA agresyviai suspaudžia šį podėlį. DSA sumažina skaičiavimo sudėtingumą apdorodamas tik atitinkamas sekos dalis.
BitNet 1.58b: Radikaliausia 2025 m. naujovė. Užuot kodavęs svorius 16 bitais, BitNet naudoja ternarines reikšmes {-1, 0, 1} — apie 1,58 bito parametrui.
Pasekmė:
- 70-80% energijos suvartojimo sumažėjimas
- 2,3x iki 6,1x pagreitėjimas standartiniuose CPU
- 100 milijardų parametrų modelis, veikiantis standartiniame staliniame kompiuteryje
DI suverenumas nebe svajonė. Tai techninė realybė.
Vietinė Išvada Tampa Standartu
RTX 5090: DI Darbo Stočių Širdis
2025 m. pradžioje NVIDIA išleidžia RTX 5090. 32 GB GDDR7 atminties, 1,79 TB/s pralaidumas (+77% palyginti su ankstesne karta).
Rezultatai vartotojo kortoje:
- Llama 4 8B (4-bit): 180 tokenų/sekundę
- DeepSeek-R1 14B (4-bit): 89 tokenų/sekundę
- Qwen 2.5 32B (4-bit): 45 tokenų/sekundę
70B+ modeliai dabar veikia vietinėse daugelio GPU konfigūracijose su pramoniniu našumu.
vLLM vs Ollama
Dvi ekosistemos dominuoja:
- vLLM: Gamybos standartas. PagedAttention variklis, optimizuotas KV podėlio valdymas, keli vienu metu vartotojai.
- Ollama: Kūrėjų mėgstamiausias. Ekstremalus paprastumas, nulinė konfigūracija, gimininga macOS/Linux/Windows palaikymas.
Agentinė Era: Nuo Pokalbio prie Veiksmo
Devstral 2: DI Kodo Tarnyboje
2025 m. gruodį Mistral AI paleidžia Devstral 2, 123 milijardus parametrų, optimizuotų programinės įrangos kūrimui.
SWE-bench Verified balas: 72,2%. Lygus Claude Sonnet 4, tačiau septynis kartus brangesnis.
Kaina: 0,40 $ už milijoną tokenų. DI paremtas kūrimas tampa ekonomiškai gyvybingas mažoms įmonėms ir nepriklausomiems.
Vibe CLI: DI, Kuri Programuoja Pati
Tą patį mėnesį Mistral išleidžia Vibe CLI. Šis įrankis autonomiškai orkestruoja sudėtingus pokyčius visose kodo bazėse.
2026 m. agentiniai modeliai gali:
- Naršyti sudėtingose failų sistemose
- Identifikuoti priklausomybes tarp sistemų
- Aptikti testų nesėkmes ir patys pasitaisyti
- Patikimai gaminti struktūruotus JSON išvestis programinei integracijai
Pereiname nuo “pokalbio DI” prie “veiksmo DI”.
Reguliavimas: Kas Lieka iš Atviro?
OSAID 1.0: Oficialus Apibrėžimas
2024 m. spalis. Open Source Initiative pagaliau skelbia oficialų Open Source AI apibrėžimą.
Norint kvalifikuotis kaip atvirasis kodas, sistema turi garantuoti keturias laisves: naudoti, studijuoti, keisti ir dalintis. Trys pagrindiniai komponentai:
- Kodas: Išsamus išankstinio mokymo, filtravimo ir išvados kodas
- Parametrai: Svoriai, optimizatoriaus nustatymai, architektūros konfigūracijos
- Duomenys: Išsami dokumentacija apie kilmę, atranką ir apdorojimą
Rezultatas? Dauguma šiuolaikinių “atvirojo kodo” modelių neatitinka. Llama 4, Mistral, net GPT-OSS trūksta visiško duomenų skaidrumo.
Tik Pythia (EleutherAI) ir OLMo (AI2) gauna “tikrai atvirojo kodo” etiketę.
EU AI Act Struktūruoja Rinką
Nuo 2025 m. vasario EU AI Act galioja. Atvirojo kodo modeliai naudojasi reikšmingomis išimtimis — su sąlyga, kad nėra klasifikuojami kaip “sisteminė rizika”.
Modeliams, viršijantiems 10^25 FLOP, taikomi dokumentacijos ir kibernetinio saugumo įsipareigojimai, nepriklausomai nuo licencijos.
2026-2030: Kas Mūsų Laukia
Formuojančios Tendencijos
Post-Transformer: Atsiranda naujų architektūrų, kad būtų sumažintas dėmesio kvadratinis sudėtingumas. BitNet tik pradžia.
Edge AI: Modeliai, tokie kaip Ministral 3B, veikia išmaniuosiuose telefonuose su masiniu kontekstu. Namų automatizavimas ir asmeninė robotika sprogs.
Intelekto Suverenumas: Įmonės nebenori “nuomotis” intelekto per API. Jie nori turėti savo skaitmeninius smegenis, apmokytus savo pramonės paslapčių.
Daugiagentinis Bendradarbiavimas: Ateitis slypi skirtingų teikėjų modelių bendravime. Problemų sprendimas bendradarbiaujant, o ne monolitine žiauria jėga.
Naujoji SEO Paradigma
Masinė LLM integracija į paieškos sistemas transformavo interneto matomumą. Dabar kalbame apie GEO (Generative Engine Optimization).
2026 m. maždaug 25% tradicinio organinio srauto užfiksuoja AI sugeneruoti tiesioginiai atsakymai. Vartotojai nebeklika — skaito sintezę.
Prekės ženklui sėkmė nebematuojama Google reitingu. Jis matuojamas citavimo dažnumu ir stabilumu Gemini 3 ar GPT-5 generaciniuose atsakymuose.
O Dabar?
2026 m. atvirojo kodo ekosistema įrodė vieną esminį dalyką: skaidrumas ir bendradarbiavimas nėra etiniai idealai, jie yra pranašesni konkurenciniai pranašumai.
Sulaužę intelekto monopolius, atvirasis kodas transformavo DI iš išskirtinės paslaugos į globalią viešąją infrastruktūrą — tokia pati pamatinė kaip elektra ar internetas.
Techninė lygybė pasiekta. Kitas pasienis? Visiška sistemų autonomija žmonijos tarnyboje.
Masiniai generalistiniai modeliai papildomi, kartais pakeičiami, specializuotų, ekonomiškesnių, tikslesnių, suverenesnių modelių žvaigždynais.
Atvirasis kodas pergalejo. Visa kita tik istorija.