Przejdź do głównej treści
Back to Insights
Meta AI Llama Sztuczna Inteligencja Open Source MoE Deep Learning NVIDIA Mark Zuckerberg

Dziedzictwo i Metamorfoza Ekosystemu Meta AI: Llama (2023-2026)

By Mordehai Attia 25 min read

Meta AI: Początki Osobistej Superinteligencji i Koniec Niewinności

W styczniu 2026 branża sztucznej inteligencji przekroczyła Rubikon. To, co w 2023 roku było szaloną rywalizacją o rozmiar modeli, przekształciło się w wojnę pozycyjną infrastrukturalną, ekonomiczną i geopolityczną. Meta Platforms pod kierownictwem Marka Zuckerberga odegrała centralną, niemal paradoksalną rolę w tej ewolucji. Decydując się początkowo na drogę otwartą (tzw. "open weights") z rodziną modeli Llama, firma skomunizowała sztuczną inteligencję generatywną, niszcząc marże konkurentów własnościowych takich jak OpenAI i Google. Jednak rok 2026 oznacza krytyczny punkt zwrotny: z inwestycjami w kapitał (CAPEX) szacowanymi na 115-135 miliardów dolarów w bieżącym roku fiskalnym, presja na zyskowność tych tytanicznych infrastruktur nigdy nie była większa.

Niniejszy raport ma na celu drobiazgowe zdekonstruowanie ekosystemu Meta AI. Nie poprzestaniemy na chronologii liniowej. Przeanalizujemy głębokie zerwania architektoniczne — od przejścia od monolitycznych modeli gęstych do rzadkich architektur mieszanki ekspertów (MoE) z Llama 4 — oraz wyzwania inżynieryjne programowe i sprzętowe, które towarzyszyły każdej iteracji. Od publicznej katastrofy Galactiki w 2022 roku po przewlekłe pogłoski o zamkniętym projekcie "Avocado" w 2026 roku, zbadamy, jak Meta poruszała się między ideałem akademickim, pragmatyzmem open-source a imperatywami komercyjnymi.

Ta analiza opiera się na wielu źródłach technicznych, raportach finansowych i opinii społeczności, aby zapewnić perspektywę 360-stopniową na jedno z najbardziej wpływowych zjawisk technologicznych XXI wieku.

Rozdział 1: Przesłanki i Przypadkowa Geneza (2022-2023)

1.1 Zapomniana Awangarda: Galactica i OPT-175B

Zanim nazwa "Llama" stała się synonimem open-source'owej SI, Meta AI (wówczas FAIR) eksplorowała już granice dużych modeli językowych, ale z rygorystycznym podejściem akademickim, które wkrótce miało zderzyć się z rynkową rzeczywistością.

W maju 2022 Meta opublikowała OPT-175B (Open Pretrained Transformer). Ten model, zaprojektowany do replikacji możliwości GPT-3, był bezpośrednią odpowiedzią na rosnącą nieprzejrzystość OpenAI. Trenowany na 992 lub 1024 GPU NVIDIA A100 80GB przez prawie dwa miesiące, OPT miał na celu zapewnienie badaczom dostępnej alternatywy. Jednak jego wydajność była nierówna, a architektura, choć standardowa, cierpiała na zauważalne niestabilności numeryczne podczas treningu. OPT dostarczył kluczowej lekcji o zarządzaniu infrastrukturą wielkoskalową — umiejętności, która stanie się kluczowa dla przyszłych generacji.

Lekcja OPT-175B: Rozproszony trening wielkoskalowy wymaga wyrafinowanych technik równoległości i rygorystycznego zarządzania awariami sprzętowymi — umiejętności, które Meta doskonaliła z Llama.

Bardziej tragiczny był los Galactiki, uruchomionej pod koniec 2022 roku. Ten model o 120 miliardach parametrów był wyspecjalizowany w literaturze naukowej, trenowany na ogromnym korpusie 106 miliardów tokenów obejmujących artykuły, encyklopedie i sekwencje białkowe. W przeciwieństwie do modeli ogólnych, Galactica używała specjalizowanej tokenizacji dla wzorów chemicznych (SMILES) i sekwencji aminokwasów. Jednak jej publiczny debiut zmienił się w katastrofę PR. Zdolna do generowania przekonujących, lecz zmyślonych artykułów naukowych, została wycofana w ciągu kilku dni pod presją społeczności naukowej.

Ta porażka głęboko odcisnęła się na kulturze Meta, wpoiwając ostrożność, która opóźniła wypuszczenie ich przyszłych chatbotów dla szerokiej publiczności, ale paradoksalnie przygotowała grunt dla innej strategii: dostarczania silnika (modelu) zamiast samochodu (gotowego produktu).

1.2 Llama 1: "Moment Netscape" Lokalnej SI

Luty 2023 zapisał się jako moment, w którym monopol zamkniętych laboratoriów się rozpadł. Meta ogłosiła Llamę (Large Language Model Meta AI), kolekcję modeli od 7 do 65 miliardów parametrów.

Innowacja Techniczna: Prawo Chinchilla

Zasadniczy wkład Llama 1 nie był architektoniczny (to był klasyczny Transformer dekoderowy), ale empiryczny. Opierając się na prawach skalowania Hoffmanna (tzw. prawa Chinchilla), badacze Meta wykazali, że mniejszy model trenowany na znacznie większej ilości danych może prześcignąć gigantyczne modele podtrenowane. Model 65B, trenowany na 1,4 biliona tokenów, rywalizował z GPT-3 (175B), będąc znacznie tańszym w inferencji.

Wydajność Llama 1 65B

  • Parametry: 65 miliardów (vs 175B dla GPT-3)
  • Tokeny treningowe: 1,4 biliona
  • Inferencja: ~3x tańsza niż GPT-3

Wyciek i Eksplozja Kambryjska

Początkowo zarezerwowane dla akredytowanych badaczy, wagi modelu wyciekły na 4chan i rozprzestrzeniły się przez BitTorrent w mniej niż tydzień. To, co mogło być katastrofą własności intelektualnej, zamieniło się w niezamierzony sukces. Światowa społeczność deweloperów przejęła model. W ciągu kilku tygodni Georgi Gerganov opublikował llama.cpp, umożliwiając inferencję na CPU Apple Silicon przez kwantyzację 4-bitową.

To było narodziny "lokalnej SI". Nagle MacBook Air mógł uruchomić kompetentny model językowy. To wymuszone zdemokratyzowanie stworzyło ekosystem narzędzi (Ollama, LM Studio, LoRA), który dziś stanowi fosę obronną Meta: po co używać innego modelu, skoro wszystkie narzędzia na świecie są zoptymalizowane pod Llama?

Rozdział 2: Industrializacja i Standaryzacja (2023-2024)

2.1 Llama 2: Komercyjna Adopcja i Dostrojenie RLHF

Lipiec 2023 przyniósł premierę Llamy 2, oznaczającą przejście z eksperymentacji do produkcji. Główna różnica leżała w licencji: Llama 2 zezwalała na użytek komercyjny (z klauzulą restrykcyjną dla firm mających ponad 700 milionów aktywnych użytkowników), pozwalając startupom i firmom z Fortune 500 na integrację tych modeli.

Architektura i Bezpieczeństwo

Llama 2 podwoiła okno kontekstu do 4096 tokenów i wprowadziła Grupowaną Uwagę Zapytań (GQA) w większych modelach w celu optymalizacji pamięci podręcznej KV. Ale to w zakresie dostrojenia wysiłek był najbardziej intensywny. Wykorzystując masowo RLHF (Uczenie ze Wzmocnieniem na Podstawie Informacji Zwrotnej od Człowieka), Meta stworzyła bardzo bezpieczne modele "Chat", czasem zbyt bezpieczne, co prowadziło do krytyki za skłonność do odmawiania nieszkodliwych próśb.

2.2 Llama 3: Dążenie do Szczytu Gęstego

Rok 2024 został poświęcony na przesuwanie granic architektury gęstej. Z serią Llama 3 (i jej wariantami 3.1), Meta próbowała udowodnić, że model o otwartych wagach może dorównać "modelowi granicznemu" odniesienia, GPT-4.

Potwór 405B

W lipcu 2024 Llama 3.1 405B została uwolniona. To było techniczne tour de force:

  • Masowy trening: Trenowana na ponad 15 bilionach tokenów wielojęzycznych.
  • Infrastruktura: Wymagała klastra 16 000 GPU H100, zarządzanego złożonymi technikami równoległości 4D, aby uniknąć częstych awarii sprzętowych na tej skali.
  • Możliwości: Stała się pierwszym otwartym modelem doskonałym w złożonym rozumowaniu matematycznym i generowaniu kodu wysokiego poziomu, rywalizując z GPT-4o w publicznych benchmarkach.

Rozszerzenie Kontekstu (128k)

Wersja 3.1 wprowadziła okno kontekstu 128 000 tokenów. Ta zdolność przekształciła korporacyjne użycie modeli Llama, umożliwiając analizę długich dokumentów (RAG) bez nadmiernego dzielenia. Stało się to możliwe dzięki precyzyjnym dostrojeniom częstotliwości Obracających się Osadzeń Pozycyjnych (RoPE), pozwalającym modelowi na generalizację poza początkową długość treningową.

2.3 Llama 3.2: Przejście Multimodalne

Pod koniec 2024 Llama 3.2 wypełniła ostatnią główną lukę: wizję.

  • Modele 11B i 90B: Te modele integrowały adaptery wizualne, umożliwiając rozumowanie na obrazach (wykresy, zdjęcia) z konkurencyjną wydajnością.
  • Modele Edge (1B i 3B): Wykorzystując destylację (transfer wiedzy z modelu 405B do mniejszych architektur) i uporządkowane przycinanie (pruning), Meta umożliwiła wykonywanie generatywnej SI bezpośrednio na smartfonach, wyprzedzając przyszłą integrację w okularach Ray-Ban.

Rozdział 3: Architektoniczna Rewolucja 2025 – Llama 4 i Mieszanka Ekspertów

Rok 2025 zapisał się jako ten, w którym Meta porzuciła dogmat architektury gęstej na rzecz złożoności Mieszanki Ekspertów (MoE – Mixture of Experts). W obliczu eksplozji kosztów energetycznych i opóźnień, nie było już opłacalne powiększanie modeli w sposób monolityczny.

3.1 Anatomia Llama 4: Scout i Maverick

Wydane w kwietniu 2025 modele Llama 4 wprowadziły przełom w nomenklaturze i technice.

Cecha Llama 4 "Scout" Llama 4 "Maverick"
Typ MoE (Rzadki) MoE (Rzadki)
Parametry Całkowite ~109 Miliardów ~402 Miliardy
Parametry Aktywne ~17 Miliardów ~17 Miliardów
Liczba Ekspertów 16 Ekspertów 128 Ekspertów (Drobna granulacja)
Okno Kontekstu 10 Milionów (Teoretyczne) 1 Milion
Docelowe Zastosowanie Masowy RAG, Analiza Dokumentów Rozumowanie Ogólne

Funkcjonowanie MoE w Meta

W przeciwieństwie do podejścia Mixtral (8 ekspertów), Llama 4 Maverick używa znacznie drobniejszej granulacji z 128 ekspertami.

Rutowanie Rzadkie: Dla każdego generowanego tokenu sieć rutująca (router network) wybiera garstkę ekspertów (top-k) spośród 128. Pozwala to modelowi posiadać ogromną bazę wiedzy (400B parametrów), jednocześnie wydając energię obliczeniową tylko modelu skromnego (17B aktywnych).

Alternacja Gęste/MoE: Dla stabilizacji uczenia, Maverick naprzemiennie przełącza się między gęstymi warstwami uwagi (współdzielonymi) a warstwami MoE, technika poprawiająca spójność rozumowania.

3.2 Przełom "Nieskończonego" Kontekstu: iRoPE

Flagową innowacją Llama 4 Scout jest jej okno kontekstu 10 milionów tokenów, napędzane technologią zwaną iRoPE (Infinite Rotary Positional Embedding). Ta technika pozwala na dynamiczne manipulowanie częstotliwościami pozycyjnymi, umożliwiając modelowi teoretyczne przetwarzanie całych bibliotek w jednym przebiegu. W praktyce miało to na celu uczynienie przestarzałymi złożone architektury RAG (bazy wektorowe) dla wielu przypadków użycia, umożliwiając kompletne "zrzucenie" dokumentów do promptu.

3.3 Odbiór Krytyczny: Paradoks Wydajności

Pomimo tych postępów, premiera Llama 4 została przyjęta przez społeczność techniczną "LocalLLaMA" i deweloperów korporacyjnych z mieszanymi, a nawet wrogimi opiniami.

1. Regresja Kodu

Benchmarki i opinie użytkowników wykazały, że Maverick często wypadał gorzej niż poprzednia Llama 3.1 405B w zadaniach czystego generowania kodu (Python, C++). Dominująca hipoteza głosi, że fragmentacja wiedzy poprzez 128 ekspertów utrudnia utrzymanie ścisłej spójności logicznej niezbędnej do programowania, w przeciwieństwie do "pamięci mięśniowej" zunifikowanego modelu gęstego.

2. Mur VRAM

Architektura MoE stawia główne wyzwanie sprzętowe: pamięć. Chociaż obliczenia są lekkie (17B aktywnych), całość wag (400B) musi rezygnować w VRAM.

Wymagania VRAM Llama 4 Maverick:

  • FP16: ~800 GB VRAM (10-12 H100)
  • Q4_K_M (4-bit): ~250 GB VRAM
  • Koszt sprzętu: ~500 000 $ za konfigurację FP16

Nawet przy kwantyzacji 4-bit (Q4_K_M), model wymaga około 250 GB, eliminując konfiguracje konsumenckie (takie jak RTX 4090) i nawet skromne stacje robocze. Tylko użytkownicy Mac Studio Ultra (z pamięcią unifikowaną 192GB) lub serwerów multi-GPU mogli wykorzystać go lokalnie.

Rozdział 4: Wrzący Ekosystem (2025-2026)

Siła Llama nie leży wyłącznie w wagach dostarczonych przez Meta, ale w armii narzędzi open-source, które je otaczają. Rok 2025 był rokiem testu wytrzymałości dla tego ekosystemu.

4.1 Saga llama.cpp i Wsparcie MoE

Projekt llama.cpp, kamień węgielny lokalnej inferencji, zmagał się z integracją Llama 4. Dyskusje na GitHubie ujawniają miesiące niestabilności:

  • Błędy RoPE: Błędy w początkowej implementacji iRoPE powodowały degradację wydajności (skoki perpleksji) na długich kontekstach.
  • Wyzwania Kwantyzacji: Drobna struktura MoE Maverick (128 ekspertów) nie nadawała się dobrze do istniejących algorytmów kwantyzacji (GGUF, EXL2), tworząc artefakty generowania ("śmieciowe wyjście") przy niskiej precyzji. Wymagana była interwencja zewnętrznych współtwórców i zespołu Unsloth, aby ustabilizować "Dynamic GGUF" zdolne do inteligentnego zarządzania selektywną kwantyzacją ekspertów.

4.2 Unsloth: Zbawca Fine-Tuningu

W obliczu niemożności fine-tuningu modelu 400B parametrów przez większość badaczy, narzędzie Unsloth stało się krytyczne. Optymalizując wsteczną propagację i implementując wsparcie dla QLoRA (Kwantyzowana Adaptacja Niskiego Rzędu) dla architektur MoE, Unsloth umożliwiło fine-tuning Llama 4 Scout na pojedynczej karcie H100 80GB. Bez tego narzędzia, Llama 4 pozostałaby "zabawką" dla hiperskalerów, niedostępną dla innowacji akademickich lub MŚP.

4.3 vLLM i Serwowanie Przemysłowe

Dla wdrożenia produkcyjnego, vLLM ustanowiło się jako standard. Roadmapa vLLM 2025-2026 pokazuje całkowite skupienie na optymalizacji architektur MoE i "Scale-out". Wprowadzenie cache'owania prefiksów (buforowanie wspólnych części promptu) było kluczowe dla uczynienia ekonomicznym agentów opartych na Llama 4, umożliwiając ponowne wykorzystanie kontekstu 10M tokenów między wieloma zapytaniami bez kosztownego przeliczania.

Rozdział 5: Wojna o Infrastrukturę i Krzem

W 2026 strategia Meta nie może być zrozumiana bez analizy jej podłoża sprzętowego. SI nie jest etericznym kodem; to elektryczność przepływająca przez krzem.

5.1 MTIA: Strategiczna Niezależność

Zależność Meta od NVIDIA (i jej GPU H100/Blackwell) stanowiła egzystencjalne i finansowe ryzyko. Program MTIA (Meta Training and Inference Accelerator) jest odpowiedzią.

  • MTIA v1/v2 (Inferencja): Od 2025 znaczna część inferencji produkcyjnej (rekomendacje Instagram, lekkie modele Llama) została przeniesiona na te domowe układy, bardziej energooszczędne dla rutynowych zadań.
  • MTIA Training (2026): Prawdziwą rewolucją jest zbliżająca się premiera układów zdolnych do treningu masowych modeli. Oparte na otwartej architekturze RISC-V, te układy pozwalają Meta na dostosowanie zestawu instrukcji do operacji specyficznych dla Transformerów (Uwaga, Rutowanie MoE). Jeśli Meta powiedzie się w tym zakładzie, może zredukować swój CAPEX SI o kilkadziesiąt miliardów dolarów, decydującą przewagę konkurencyjną nad Google (TPU) i Microsoft (Maia/NVIDIA).

5.2 Ekonomia Energii

Z modelami takimi jak Llama 4 Maverick zużywającymi ogromne ilości energii na trening i inferencję, Meta musiała masywnie inwestować w nowej generacji centra danych. Ogłoszenie kontraktów na światłowody z Corning (6 miliardów dolarów) i rozwój zaawansowanych systemów chłodzenia cieczą świadczą o tej wyścigu po infrastrukturę fizyczną.

Rozdział 6: Krajobraz Konkurencyjny w 2026

Llama nie ewoluuje w próżni. Rok 2026 to czas, w którym konkurencja open-weights ustrukturyzowała się, zagroziwszy hegemonii Meta.

6.1 Mistral Large 3: Europejski Rywal

Wydany w grudniu 2025 Mistral Large 3 pozycjonował się jako "czysta" alternatywa dla Llama 4.

  • Architektura: MoE z 41B aktywnymi parametrami i 675B całkowitych.
  • Różnicowanie: W przeciwieństwie do Maverick, Mistral Large 3 doskonale radzi sobie w kodzie i europejskim wielojęzyczności, kapitalizując słabe strony Llama 4. Co więcej, jego licencja Apache 2.0 (rzeczywiście open-source) uspokaja ostrożne działy prawne wobec niestandardowych licencji społecznościowych Meta.

6.2 DeepSeek i Chińskie Zagrożenie

Wyłonienie się DeepSeek z modelami V3 i "Next" zburzyło rynek swoim stosunkiem wydajności do kosztu. Często oskarżane o inspirowanie się Llama, te modele jednakże innowowały (architektury MoE o ultra-niskim opóźnieniu) i zmusiły Meta do reakcji. Raporty sugerują nawet, że Llama 4 zapożyczyła niektóre techniki rutowania ekspertów od DeepSeek, próbując nadrobić zaległości wydajnościowe.

6.3 GPT-5 i Gemini 2.5: Zamknięta Granica

Po stronie własnościowej, GPT-5 (sierpień 2025) i Gemini 2.5 pogłębiły przepaść w możliwościach "agentowych" (planowanie długoterminowe, autonomiczne użycie narzędzi). Llama 4 pozostaje doskonałym generatorem tekstu, ale wciąż z trudem staje się niezawodnym agentem autonomicznym bez ciężkiej inżynierii promptu (RAG, Chain-of-Thought).

Rozdział 7: Strategiczny Zwrot 2026 – Projekt Avocado

To w kontekście zaciętej konkurencji i eksplodujących kosztów rysuje się przyszłość Meta AI.

7.1 "Avocado": Zamknięcie Ogrodu?

Raporty z początku 2026 wskazują na główną zmianę kursu z projektem "Avocado".

  • Model Zamknięty: W przeciwieństwie do linii Llama, Avocado miałby być modelem własnościowym, nierozprowadzanym.
  • Cel: Stworzenie monetyzowalnej "Osobistej Superinteligencji", zintegrowanej wyłącznie w produktach Meta (WhatsApp, Instagram, Ray-Ban).
  • Uzasadnienie: Kierownictwo Meta, pod presją akcjonariuszy, szuka bezpośredniego zwrotu z inwestycji. Oferowanie Llama "za darmo" pozwoliło skomunizować rynek, ale nie wygenerowało bezpośrednich przychodów porównywalnych z subskrypcjami ChatGPT Plus czy Gemini Advanced.

7.2 Napięcia Wewnętrzne i Kulturowe

Ten zwrot stworzył tarćcia wewnątrz zespołu IA Meta. Integracja profili "produktowych" takich jak Alexandr Wang (ex-Scale AI) i odejście historycznych badaczy FAIR sygnalizują przejście kulturowe: od otwartego badania do agresywnego rozwoju produktów komercyjnych. Opóźnienie Avocado, spowodowane początkowo rozczarowującymi wynikami, tylko zaostrzyło te napięcia.

Rozdział 8: Wpływ na SEO i Wyszukiwanie Informacji (2026)

Wszechobecność modeli takich jak Llama fundamentalnie zmieniła naturę samej Sieci i, co za tym idzie, SEO (Search Engine Optimization).

8.1 Od Wyszukiwania Słów Kluczowych do Autorytetu Encji

W 2026 tradycyjne wyszukiwarki ustąpiły pola "Silnikom Odpowiedzi" generatywnym (Google AI Overviews, SearchGPT, Meta AI).

Śmierć Kliknięcia

Użytkownicy uzyskują odpowiedzi bezpośrednio w interfejsie czatu. Ruch do stron informacyjnych załamał się.

Nowa Strategia SEO

Jak podkreślają eksperci w 2026, celem nie jest już pozycjonowanie słów kluczowych, ale bycie cytowanym jako wiarygodne źródło przez LLM.

Cytaty Marki vs Backlinki: Modele takie jak Llama są trenowane na wiarygodności encji. Marka musi być wzmiankowana w kontekstach autorytetu (wyspecjalizowane fora, gazety, białe księgi), aby być zintegrowana w "Wizję Świata" modelu. Tradycyjne backlinki tracą na wartości wobec kontekstowych "cytatów marki".

8.2 Llama jako Strażnik Informacji

Dzięki integracji Llama w Facebooku, Instagramie i WhatsApp, Meta stała się jedną z największych wyszukiwarek na świecie. Jeśli użytkownik pyta "Jakie jest najlepsze ubezpieczenie samochodowe?" swojego asystenta Meta AI, odpowiedź jest generowana przez Llama 4. Być obecnym w zbiorze treningowym lub indeksie RAG Meta w czasie rzeczywistym stało się Świętym Graalem marketingu cyfrowego w 2026 roku.

Podsumowanie: Rewolucja w Przejściu

Historia Llama, od 2023 do 2026 roku, to historia anomalii, która stała się normą. Uwalniając swoje modele, Meta przyspieszyła światową innowację w SI o kilka lat, tworząc tętniący życiem i odporny ekosystem, który przeczył prognozom centralizacji.

Jednak 2026 oznacza koniec niewinności. Ograniczenia fizyczne (energia, krzem), ekonomiczne (CAPEX) i konkurencyjne (Mistral, DeepSeek) wymuszają racjonalizację. Z Llama 4 i jej złożoną architekturą MoE, Meta osiągnęła granice tego, co przeciętny użytkownik może hostować. Z Projektem Avocado, Meta wydaje się przygotowywać przyszłość, w której najbardziej zaawansowana SI ponownie staje się płatną i scentralizowaną usługą.

Czy ekosystem Llama przetrwa ten zwrot? Odpowiedź prawdopodobnie leży w społeczności open-source, którą wygenerował. Nawet jeśli Meta zamknie swoje drzwi jutro, narzędzia, wiedza i modele pochodne będą się rozwijać. Dżin wyszedł z lampy i żadna restrykcyjna licencja nie zmusi go do powrotu.

Załącznik Techniczny: Specyfikacje Porównawcze Modeli Llama

Poniższa tabela syntetyzuje techniczną ewolucję rodziny Llama, podkreślając wykładniczy postęp możliwości i wymagań sprzętowych.

Model Data Premiery Architektura Parametry (Całkowite / Aktywne) Okno Kontekstu Trening (Tokeny) Możliwość Multimodalna Wymaganie VRAM (FP16)
Llama 1 65B Luty 2023 Gęsta 65B 2k 1.4T Nie ~130 GB
Llama 2 70B Lipiec 2023 Gęsta (GQA) 70B 4k 2T Nie ~140 GB
Llama 3.1 405B Lipiec 2024 Gęsta 405B 128k 15T+ Nie (Tylko tekst) ~800 GB
Llama 3.2 90B Wrzesień 2024 Gęsta + Wizja 90B 128k Nieznane Tak (Obraz) ~180 GB
Llama 4 Scout Kwiecień 2025 MoE (Rzadka) 109B / ~17B 10M (iRoPE) ~40T Tak (Natywna) ~220 GB
Llama 4 Maverick Kwiecień 2025 MoE (Rzadka) 402B / ~17B 1M ~22T Tak (Natywna) ~800 GB

Uwaga dotycząca VRAM: Wartości FP16 reprezentują idealny przypadek dla maksymalnej precyzji. Użycie kwantyzacji 4-bitowej (przez llama.cpp lub bitsandbytes) pozwala zazwyczaj podzielić te wymagania przez 3 lub 4, czyniąc modele do 70B-90B dostępnymi na konfiguracjach konsumenckich multi-GPU.