Transformer: Izgudrojums, kas Mainīja Visu
- gada jūnijā astoņi Google pētnieki publicēja divpadsmit lapaspusju garu rakstu. Viņi vēl nezināja, bet tieši tikko aizdedzināja revolūcijas degturi, kas pārveidos cilvēci.
Transformer — tā tas saucas — aizvietoja atkārtotās neironu tīkļus ar uzmanības mehānismu, kas ļauj masīvu paralēlo datu apstrādi. Atšķirībā no iepriekšējām arhitektūrām, kas apstrādāja vārdus pa vienam, Transformer redz visu teikumu uzreiz. Šī niansētā atšķirība maina visu.
Sešus gadus vēlāk, 2026. gada janvārī, atvērtā koda ekosistēma dominē globālajā mākslīgajā intelektā. Tas, kas kādreiz bija tikai akadēmisks papildinājums patentētajiem gigantiem, kļuva par rūpniecības inovāciju dzinējspēku. Kā mēs nonācām līdz šim?
Pirmie Ceļu Licēji (2018-2021)
GPT-2: Dzirkstele, kas Modināja Kopien
- gada jūnijs. OpenAI izlaiž GPT-2. Modelis ir biedējošs — tik ļoti, ka OpenAI šaubās, vai to padarīt publisku. Viņu arguments? Spēja ģenerēt saliktu tekstu varētu kalpot dezinformācijai.
Nepareizs aprēķins. Kopiena nepiecietīgi uztver, ja no tās slēpj rotaļlietas. Kad GPT-2 beidzot tiek izdots ar MIT licenci, pētnieki no visas pasaules to satver. Veidojas kolektīvs: EleutherAI. Viņu misija? Pierādīt, ka modeļus ar miljardiem parametru var apmācīt bez starptautiskā uzņēmuma resursiem.
"Mēs gribējām pierādīt, ka atvērtajai zinātnei nav vajadzīgi miljardi dolāru, lai virzītos uz priekšu."
Google Atbild ar BERT un T5
Pa to laiku Google nesēž ar saliktām rokām. BERT (2018. gada oktobris) revolucionizē divvirzienu valodas izpratni. T5 (2020. gada februāris) piedāvā vienotu sistēmu, kurā katrs uzdevums kļūst par teksta-teksta transformāciju.
Šie modeļi, kas izdoti ar Apache 2.0 licenci, kļūst par tūkstošiem akadēmisko pētniecības projektu pamatu. Tie pierāda vienu būtisku lietu: masīva priekšapmācība, kam seko precīza regulēšana, ir karaliskais ceļš.
Kopienas Agrīnie Panākumi
- gada martā EleutherAI izdod GPT-Neo ar 2,7 miljardiem parametru. Tas ir tehnisks panākums: modelis konkurē ar tā laika GPT-3, pilnībā apmācīts, izmantojot ziedoto skaitļošanas jaudu un brīvprātīgo darbu.
Vēstījums ir skaidrs: atvērtais kods var konkurēt ar milžiem.
2022: Atvērtā Zinātne Zem Spiediena
BigScience un BLOOM: Bezprecedenta Pieeja
- gads ir pagrieziena punkts. OpenAI aizver savus modeļus aiz maksas API. Kopiena reaģē savādāk.
BigScience, ko koordinē Hugging Face, pulcē 1000 pētniekus no 60 valstīm. Viņu mērķis? Izveidot lielāko jebkad izveidoto daudzvalodu atvērtā koda modeli. Rezultāts: BLOOM, 176 miljardi parametru, 46 valodas, 13 programmēšanas valodas.
To, kas padara BLOOM par vēsturisku, nav tā izmērs. Tā ir pilnīga pārredzamība: publiski apmācības dati, atvērtā koda kods, pilnīgs apmācības žurnāls. Pirmo reizi mēs patiešām varam saprast, kā dzimis LLM.
Meta Iebrauc ar Spēku OPT
Gandrīz vienlaicīgi Meta AI palaiž OPT (Open Pre-trained Transformer). Tāds pats izmērs kā GPT-3, bet ar vienu būtisku atšķirību: pilnīga apmācības procesa dokumentācija.
Pētnieki beidzot var izpētīt šāda mēroga modeli bez inženierijas.
Galactica: Priekšnojauta
- gada novembris. Meta mēģina specializēt AI ar Galactica, kas veltīta zinātniskajai literatūrai. Modelis tiek atsaukts 48 stundu laikā pēc kritikas par halucinācijām.
Neveiksme? Ne gluži. Galactica liek pamatus specializētu korpusu apmācībai. Tendence, kas eksplodēs pēc trim gadiem.
2023: Gads, kad Viss Mainījās
2023. gada 24. februāris: Llama Efekts
Tajā dienā Meta publicē Llama. Modelis nav paredzēts plašai sabiedrībai — tikai pētniecībai. Bet tā svari noplūst tiešsaistē dienu laikā.
Revolūcijas aizdedzinātājs.
Llama pierāda, ka pieticīgāks modelis (no 7 līdz 65 miljardiem parametru), kas apmācīts ar vairāk žetoniem, var pārspēt milžus. Kopiena to uzreiz satver.
| Modelis | Datums | Galvenā Inovācija | Licence |
|---|---|---|---|
| Alpaca | 2023. gada marts | Zemas izmaksas precīza regulēšana caur self-instruct | Ne-komerciāla |
| Vicuna | 2023. gada aprīlis | 90% ChatGPT kvalitāte par 500 USD apmācības izmaksām | Ne-komerciāla |
| Falcon 40B | 2023. gada jūnijs | Pirmais atvērtā koda modelis, kas dominē etalonos | Apache 2.0 |
| Mistral 7B | 2023. gada oktobris | Ekstremāla efektivitāte ar Sliding Window Attention | Apache 2.0 |
| Mixtral 8x7B | 2023. gada decembris | Demokratizēta Mixture of Experts (MoE) | Apache 2.0 |
QLoRA: Vietējā Demokratizācija
- gada aprīlis. Viena tehnoloģija maina visu: QLoRA (Quantized Low-Rank Adaptation).
Rezultāts? 65 miljardu parametru modeļa precīza regulēšana uz vienas patērētāju GPU. Mazie uzņēmumi tagad var izveidot savu AI bez masīvas infrastruktūras.
Šķēršļi krīt viens pēc otra.
2024-2025: Tehniskā Vienlīdzība
DeepSeek: Ķīna Ienāk Scenā
- gada vasara iezīmē jauna nozīmīga spēlētāja ierašanos: DeepSeek, ķīņu laboratorija, kas pieder High-Flyer Quant.
Viņu meistardarbs? Ultra-efektīva MoE arhitektūra un MLA (Multi-head Latent Attention) mehānisms, kas samazina KV kešatmiņas vajadzības par 93%.
Rezultāts 2025. gada janvārī: DeepSeek-V3 vienlīdzinās ar GPT-4 par daļu izmaksu. Starptautiskā kopiena atklāj, ka atvērtais kods vairs nav sekotājs — tas ir līderis.
OpenAI Padodas Spiedienam
- gada augusts. OpenAI, pēc gadiem ilgas slēgtības, izdod GPT-OSS. Pirmais modelis ar atvērtiem svariem kopš GPT-2. Optimizēts aģentu darba plūsmām un garam kontekstam.
Kāpēc šis pagrieziens? Atvērtā koda konkurences spiediens kļuva pārāk spēcīgs. Kad bezmaksas modeļi vienlīdzinās ar jūsu, slēgšana vairs nepietiek.
Meta Atbild ar Llama 4
Meta tūlītējā atbilde: Llama 4. Iedzimti multimodāls, spējīgs apstrādāt 10 miljonus konteksta žetonu.
Iedomājieties: visas koda bāzes analīze vienā pieprasījumā. Tagad tas ir iespējams — un bez maksas.
2026. gada Janvāris: Atvērtais Kods Valda
Labāko Modeļu Reitings
Šeit mēs esam šodien:
| Vieta | Modelis | Izstrādātājs | Kvalitātes Rezultāts | Specializācija |
|---|---|---|---|---|
| 1 | Kimi K2.5 (Reasoning) | Moonshot AI | 46,77 | Matemātika, sarežģīta spriešana |
| 2 | GLM-4.7 (Thinking) | Zhipu AI | 41,70 | Programmēšana, Redze-Valoda |
| 3 | DeepSeek V3.2 | DeepSeek | 41,20 | Efektivitāte, zemas izsecināšanas izmaksas |
| 4 | GPT-OSS-120B | OpenAI | 40,50 | Rīku izmantošana, aģentiskums |
| 5 | Llama 4 (70B) | Meta | 39,80 | Multimodalitāte, ekosistēma |
| 6 | Qwen3-235B | Alibaba | 39,20 | Daudzvalodība, RAG |
Spriedums ir nežēlīgs: 5 no 6 labākajiem modeļiem ir atvērtā koda. Tikai GPT-OSS, ironiski, nes bijušā patentētā līdera vārdu.
Spēli Mainošās Inovācijas
MLA un DeepSeek Sparse Attention: Miljonu konteksta žetonu apstrāde prasīja aizliegtu KV kešatmiņu. MLA agresīvi saspiest šo kešatmiņu. DSA samazina skaitļošanas sarežģītību, apstrādājot tikai atbilstošās secības daļas.
BitNet 1.58b: 2025. gada visradikālākā inovācija. Tā vietā, lai kodētu svarus ar 16 bitiem, BitNet izmanto ternāras vērtības {-1, 0, 1} — aptuveni 1,58 bitus parametram.
Sekas:
- 70-80% enerģijas patēriņa samazinājums
- 2,3x līdz 6,1x paātrinājums standarta CPU
- 100 miljardu parametru modelis, kas darbojas standarta datorā
AI suverenitāte vairs nav sapnis. Tā ir tehniska realitāte.
Vietējā Izvade Kļūst par Standartu
RTX 5090: AI Darbstaciju Sirds
- gada sākumā NVIDIA izlaiž RTX 5090. 32 GB GDDR7 atmiņas, 1,79 TB/s caurlaide (+77% salīdzinājumā ar iepriekšējo paaudzi).
Rezultāti uz patērētāju kartes:
- Llama 4 8B (4-bit): 180 žetonu/sekundē
- DeepSeek-R1 14B (4-bit): 89 žetonu/sekundē
- Qwen 2.5 32B (4-bit): 45 žetonu/sekundē
70B+ modeļi tagad darbojas vietējās vairāku GPU konfigurācijās ar rūpniecisko veiktspēju.
vLLM vs Ollama
Divas ekosistēmas dominē:
- vLLM: Ražošanas standarts. PagedAttention dzinējs, optimizēta KV kešatmiņas pārvaldība, vairāki vienlaicīgi lietotāji.
- Ollama: Izstrādātāju favorīts. Ekstrēma vienkāršība, nulles konfigurācija, dzimtais macOS/Linux/Windows atbalsts.
Aģentu Ēra: No Tērzēšanas uz Darbību
Devstral 2: AI Koda Pakalpojumā
- gada decembris. Mistral AI palaiž Devstral 2, 123 miljardi parametru, optimizēti programmatūras izstrādei.
SWE-bench Verified rezultāts: 72,2%. Vienāds ar Claude Sonnet 4, tomēr septiņas reizes dārgāks.
Cena: 0,40 $ par miljonu žetonu. AI atbalstīta izstrāde kļūst ekonomiski dzīvotspējīga mazajiem uzņēmumiem un neatkarīgajiem.
Vibe CLI: AI, kas Programmē Pati
Tajā pašā mēnesī Mistral izdod Vibe CLI. Šis rīks autonomi orķestrē sarežģītas izmaiņas visās koda bāzēs.
- gada aģentu modeļi var:
- Navigēt sarežģītās failu sistēmās
- Identificēt atkarības starp ietvariem
- Noteikt testu neveiksmes un pašlaboties
- Uzticami ražot strukturētus JSON izvades programmatūras integrācijai
Mēs pārejam no “tērzēšanas AI” uz “darbības AI”.
Regulēšana: Kas Paliek no Atvērtā?
OSAID 1.0: Oficiālā Definīcija
- gada oktobris. Open Source Initiative beidzot publicē oficiālu Open Source AI definīciju.
Lai kvalificētos kā atvērtais kods, sistēmai jāgarantē četras brīvības: izmantošana, studēšana, modifikācija un kopīgošana. Trīs būtiskās sastāvdaļas:
- Kods: Pilnīgs priekšapmācības, filtrēšanas un izsecināšanas kods
- Parametri: Svari, optimizatora iestatījumi, arhitektūras konfigurācijas
- Dati: Detalizēta dokumentācija par izcelsmi, atlasi un apstrādi
Rezultāts? Lielākā daļa mūsdienu “atvērtā koda” modeļu neatbilst. Llama 4, Mistral, pat GPT-OSS trūkst pilnīgas datu pārredzamības.
Tikai Pythia (EleutherAI) un OLMo (AI2) iegūst “patiesi atvērtā koda” etiķeti.
EU AI Act Strukturē Tirgu
No 2025. gada februāra EU AI Act ir spēkā. Atvērtā koda modeļi gūst ievērojamus izņēmumus — ar nosacījumu, ka tie netiek klasificēti kā “sistemātisks risks”.
Modeļiem, kas pārsniedz 10^25 FLOP, piemēro dokumentācijas un kiberdrošības pienākumus, neatkarīgi no licences.
2026-2030: Kas Mūs Sagaida
Veidojošās Tendences
Post-Transformer: Jaunas arhitektūras parādās, lai samazinātu uzmanības kvadrātisko sarežģītību. BitNet ir tikai sākums.
Edge AI: Modeļi, piemēram, Ministral 3B, darbojas viedtālruņos ar masīvu kontekstu. Mājas automatizācija un personiskā robotika eksplodēs.
Intelekta Suverenitāte: Uzņēmumi vairs nevēlas “īrēt” intelektu caur API. Viņi vēlas būt par saviem digitālajiem smadzenēm, apmācītiem uz savas rūpniecības noslēpumiem.
Multi-Agent Sadarbība: Nākotne slēpjas komunikācijā starp dažādu piegādātāju modeļiem. Problēmu risināšana sadarbībā, nevis monolītā spēkā.
Jaunā SEO Paradigma
Masīvā LLM integrācija meklētājprogrammās ir transformējusi tiešsaistes redzamību. Tagad mēs runājam par GEO (Generative Engine Optimization).
- gadā aptuveni 25% no tradicionālās organiskās plūsmas tiek iegūts no AI ģenerētām tiešajām atbildēm. Lietotāji vairs neklikšķina — lasa sintēzi.
Zīmolam panākums vairs netiek mērīts ar Google reitingu. To mēra ar citātu biežumu un stabilitāti Gemini 3 vai GPT-5 ģeneratīvajās atbildēs.
Un Tagad?
- gada atvērtā koda ekosistēma pierādīja vienu būtisku lietu: pārredzamība un sadarbība nav ētiski ideāli, tie ir pārāki konkurences priekšrocības.
Salaužot intelekta monopolus, atvērtais kods pārveidoja AI no ekskluzīva pakalpojuma par globālu publisko infrastruktūru — tikpat fundamentālu kā elektrība vai internets.
Tehniskā vienlīdzība ir sasniegta. Nākamā robeža? Sistēmu pilnīga autonomija cilvēces labā.
Masīvie ģenerālistu modeļi tiek papildināti, dažreiz aizstāti, ar specializētu, ekonomiskāku, precīzāku, suverēnāku modeļu kopumiem.
Atvērtais kods uzvarēja. Viss pārējais ir tikai vēsture.