Meta AI -ekosysteemin Perintö ja Muodonmuutos: Llama (2023-2026)

Meta AI: Henkilökohtaisen Superälyn Aamunkoitto ja Viattomuuden Loppu

Tammikuussa 2026 tekoälyteollisuus ylitti Rubikonin. Se, mikä vuonna 2023 oli vielä hullunmainen kilpajuoksu mallien koon kasvattamiseen, oli muuttunut infrastruktuuri-, talous- ja geopoliittiseksi asemasodaksi. Meta Platforms, Mark Zuckerbergin johdolla, on pelannut keskeisen, lähes paradoksaalisen roolin tässä kehityksessä. Valitsemalla aluksi avoimuuden (tai "avoimet painot") -linjan Llama-perheen kanssa, yritys teki generatiivisesta tekoälystä arkipäiväistä, syöden kilpailijoidensa kuten OpenAI:n ja Googlen katteita. Vuosi 2026 kuitenkin merkitsee kriittistä käännekohtaa: 115–135 miljardin dollarin pääomapanostuksilla (CAPEX) käynnissä olevalle tilikaudelle, paine tuottaa näistä titaanisista infrastruktuureista voittoa on koskaan ennen ollut näin suuri.

Tämä raportti pyrkii purkamaan Meta AI -ekosysteemin metodisesti. Emme tyydy pelkkään lineaariseen aikajanaan. Analysoimme syviä arkkitehtonisia murroksia — tiheiden monoliittimallien siirtymisestä hajautettuihin asiantuntijasekoitusarkkitehtuureihin (MoE) Llama 4:n myötä — sekä ohjelmisto- ja laiteteknisiä haasteita, jotka ovat seuranneet jokaista iteraatiota. Galactican julkisesta fiaskosta vuonna 2022 aina itsepintaisiin huhuihin suljetusta "Avocado" -hankkeesta vuonna 2026, tarkastelemme kuinka Meta on navigoinut akateemisen ihanteen, avoimen lähdekoodin pragmatismin ja kaupallisten vaatimusten välillä.

Tämä analyysi nojaa lukuisiin teknisiin lähteisiin, talousraportteihin ja yhteisöpalautteisiin tarjotakseen 360 asteen näkymän yhteen 2000-luvun vaikutusvaltaisimmista teknologisista ilmiöistä.

Luku 1: Alkujuuret ja Vahingollinen Synty (2022-2023)

1.1 Unohdettu Edelläkävijä: Galactica ja OPT-175B

Ennen kuin "Llama" -nimi tuli synonyymiksi avoimen lähdekoodin tekoälylle, Meta AI (silloin FAIR) tutki jo suurten kielimallien rajoja, mutta tiukalla akateemisella lähestymistavalla, joka oli pian törmäämässä markkinoiden todellisuuteen.

Toukokuussa 2022 Meta julkaisi OPT-175B:n (Open Pretrained Transformer). Tämä malli, suunniteltu replikoimaan GPT-3:n kyvyt, oli suora vastaus OpenAI:n kasvavaan epäläpinäkyvyyteen. Koulutettu 992:lla tai 1024:llä NVIDIA A100 80GB -näytönohjaimella lähes kahden kuukauden ajan, OPT pyrki tarjoamaan tutkijoille saavutettavan vaihtoehdon. Sen suorituskyky oli kuitenkin epätasaista ja sen arkkitehtuuri, vaikka standardi, kärsi merkittävistä numeerisista epävakaista koulutuksen aikana. OPT tarjosi ratkaisevan oppitunnin suuren mittakaavan infrastruktuurien hallinnasta — taidon, josta tulisi elintärkeä tuleville sukupolville.

Traagisempi oli Galactican kohtalo, joka lanseerattiin vuoden 2022 lopulla. Tämä 120 miljardin parametrin malli oli erikoistunut tieteelliseen kirjallisuuteen, koulutettuna massiivisella 106 miljardin tokenin korpusilla, joka sisälsi artikkeleita, tietosanakirjoja ja proteiinisekvenssejä. Toisin kuin yleismallit, Galactica käytti erikoistunutta tokenisaatiota kemiallisille kaavoille (SMILES) ja aminohapposekvensseille. Sen julkinen lanseeraus kuitenkin kääntyi PR-katastrofiksi. Kykenemällä tuottamaan hallusinoituja mutta vakuuttavia tieteellisiä artikkeleita, se vedettiin pois muutamassa päivässä tieteellisen yhteisön painostuksesta.

Tämä epäonnistuminen jätti syvän jäljen Metan kulttuuriin, istuttaen varovaisuutta, joka viivästyttäisi tulevien kuluttajachattibottien julkaisua, mutta paradoksaalisesti valmisteli maaperän erilaiselle strategialle: toimittaa moottori (malli) auton (valmiin tuotteen) sijaan.

1.2 Llama 1: Paikallisen Tekoälyn "Netscape-hetki"

Helmikuu 2023 pysyy muistissa hetkenä, jona suljettujen laboratorioiden monopoli mureni. Meta ilmoitti Llamasta (Large Language Model Meta AI), kokoelmasta malleja 7–65 miljardin parametrin välillä.

Tekninen Innovaatio: Chinchilla-laki

Llama 1:n perustava antaus ei ollut arkkitehtoninen (se oli klassinen dekooderi-Transformer), vaan empiirinen. Nojaten Hoffmannin skaalauslakeihin (niin sanottu Chinchilla-laki), Metan tutkijat osoittivat, että pienempi malli, joka on koulutettu paljon enemmällä datalla, voitti suuret aliopetetut mallit. 65B-malli, koulutettuna 1,4 biljoonalla tokenilla, kilpaili GPT-3:n (175B) kanssa ollen samalla paljon halvempi käyttää inferenssissä.

Vuoto ja Kambrikauden Räjähdys

Alun perin vain akkreditoituille tutkijoille tarkoitetut mallipainot vuotivat 4chaniin ja levisivät BitTorrentin kautta alle viikossa. Se, mikä olisi voinut olla immateriaalioikeuskatastrofi, muuttui tahattomaksi mestariteokseksi. Maailmanlaajuinen kehittäjäyhteisö tarttui malliin. Muutamassa viikossa Georgi Gerganov julkaisi llama.cpp:n, mahdollistaen inferenssin Apple Silicon -prosessoreilla 4-bittisen kvantisoinnin avulla.

Tämä oli "paikallisen tekoälyn" synty. Yhtäkkiä MacBook Air pystyi suorittamaan kelvollisen kielimallin. Tämä pakotettu demokratisointi loi työkaluekosysteemin (Ollama, LM Studio, LoRA), joka muodostaa tänään Metan puolustusvallin: miksi käyttää mitään muuta mallia, kun kaikki maailman työkalut on optimoitu Llama:lle?

Luku 2: Teollistaminen ja Standardisointi (2023-2024)

2.1 Llama 2: Kaupallinen Omaksuminen ja RLHF-kohdennus

Heinäkuu 2023 toi Llama 2:n lanseerauksen, merkiten siirtymistä kokeilusta tuotantoon. Suuri ero oli lisenssissä: Llama 2 salli kaupallisen käytön (700 miljoonan aktiivisen käyttäjän rajoituksella), mahdollistaen startupien ja Fortune 500 -yritysten integroida nämä mallit.

Arkkitehtuuri ja Turvallisuus

Llama 2 kaksinkertaisti konteksti-ikkunan 4096 tokeniin ja toi mukanaan Ryhmäkyselyhuomion (GQA) suurimmissa malleissa KV-välimuistin optimoimiseksi. Mutta kohdennuksessa työ oli raskainta. Käyttämällä massiivisesti RLHF:ää (Reinforcement Learning from Human Feedback), Meta loi erittäin turvallisia "Chat"-malleja, joskus liiankin, johtaen kritiikkiin niiden taipumuksesta kieltäytyä viattomista pyynnöistä.

2.2 Llama 3: Tiheän Arkkitehtuurin Huipentuma

Vuosi 2024 omistettiin tiheän arkkitehtuurin rajojen työntämiseen. Llama 3 -sarjalla (ja sen 3.1-versioilla) Meta pyrki todistamaan, että avoimilla painoilla varustettu malli voi saavuttaa viitemallin, GPT-4:n, tason.

405B Hirviö

Heinäkuussa 2024 Llama 3.1 405B julkaistiin. Se oli tekninen voimannäyte:

• Massiivinen Koulutus: Koulutettu yli 15 biljoonalla monikielisellä tokenilla.
• Infrastruktuuri: Vaati 16 000 H100-näytönohjaimen klusterin, hallittuna monimutkaisilla 4D-rinnakkaistamistekniikoilla välttääkseen yleiset laitteistoviat tällä mittakaavalla.
• Kyvyt: Siitä tuli ensimmäinen avoin malli, joka loistaa monimutkaisessa matemaattisessa päättelyssä ja korkean tason koodigeneroinnissa, kilpaillen GPT-4o:n kanssa julkisissa vertailuissa.

Kontekstin Laajennus (128k)

Versio 3.1 toi mukanaan 128 000 tokenin konteksti-ikkunan. Tämä kyky muutti Llama-mallien käyttöä yrityksissä, mahdollistaen pitkien dokumenttien (RAG) analysoinnin ilman liiallista pilkkomista. Tämä mahdollistettiin RoPE (Rotary Embeddings) taajuuksien hienovaraisella säätämisellä, mahdollistaen mallin yleistämisen alkuperäisen koulutuspituutensa ulkopuolelle.

2.3 Llama 3.2: Monimodaalinen Siirtymä

Vuoden 2024 lopulla Llama 3.2 täytti viimeisen suuren aukon: vision.

• 11B ja 90B mallit: Nämä mallit integroivat visuaalisia sovittimia, mahdollistaen päättelyn kuvista (kaaviot, valokuvat) kilpailukykyisellä suorituskyvyllä.
• Edge-mallit (1B ja 3B): Käyttäen tislauksessa (tiedonsiirtoa 405B-mallista pienempiin arkkitehtuureihin) ja strukturoitua karsimista (pruning), Meta mahdollisti generatiivisen tekoälyn suorituksen suoraan älypuhelimissa, ennakoiden tulevaa integrointia Ray-Ban -laseihin.

Luku 3: Vuoden 2025 Arkkitehtoninen Vallankumous – Llama 4 ja Asiantuntijasekoitus

Vuosi 2025 jää historiaan vuotena, jolloin Meta hylkäsi tiheän arkkitehtuurin dogmin ja omaksui Asiantuntijasekoituksen (MoE – Mixture of Experts) monimutkaisuuden. Energiakustannusten ja viiveen räjähdysmäisen kasvun edessä ei enää ollut kestävää kasvattaa malleja monoliittisesti.

3.1 Llama 4:n Anatomia: Scout ja Maverick

Huhtikuussa 2025 julkaistut Llama 4 -mallit toivat mukanaan nimeämiskäytännön ja teknisen murroksen.

MoE:n Toiminta Metalla

Toisin kuin Mixtralin lähestymistapa (8 asiantuntijaa), Llama 4 Maverick käyttää paljon hienojakoisempaa lähestymistapaa 128 asiantuntijalla.

Hajautettu Reititys: Jokaiselle tuotetulle tokenille reititysverkko (router network) valitsee kourallisen asiantuntijoita (top-k) 128:sta. Tämä mahdollistaa mallin omata valtavan tietopohjan (400B parametria) samalla kun se kuluttaa laskentaenergiaa vain vaatimattoman mallin (17B aktiivista) verran.

Tiheän/MoE:n Vuorottelu: Oppimisen vakauttamiseksi Maverick vuorottelee tiheiden (jaettujen) huomiokerrosten ja MoE-kerrosten välillä, tekniikka, joka parantaa päättelyn johdonmukaisuutta.

3.2 "Äärettömän" Kontekstin Läpimurto: iRoPE

Llama 4 Scoutin lippulaivainnovaatio on sen 10 miljoonan tokenin konteksti-ikkuna, jota ajaa iRoPE (Infinite Rotary Positional Embedding) -teknologia. Tämä tekniikka mahdollistaa paikkataajuuksien dynaamisen manipuloinnin, sallien mallin käsitellä teoriassa kokonaisia kirjastoja yhdellä kertaa. Käytännössä tämä pyrki tekemään monimutkaiset RAG-arkkitehtuurit (vektoritietokannat) vanhanaikaisiksi monissa käyttötarkoituksissa, mahdollistaen dokumenttien täydellisen "dumpin" promptiin.

3.3 Kriittinen Vastaanotto: Suorituskyvyn Paradoksi

Näistä edistysaskelista huolimatta Llama 4:n lanseeraus kohtasi ristiriitaisen, jopa vihamielisen vastaanoton "LocalLLaMA" -tekniseltä yhteisöltä ja yrityskehittäjiltä.

1. Koodin Taantuma

Vertailut ja käyttäjäpalaute osoittivat, että Maverick suoriutui usein huonommin kuin vanha Llama 3.1 405B puhtaissa koodigenerointitehtävissä (Python, C++). Vallitseva hypoteesi on, että tiedon pirstoutuminen 128 asiantuntijan kesken tekee ohjelmoinnissa tarvittavan tiukan loogisen johdonmukaisuuden ylläpitämisen vaikeaksi, toisin kuin tiheän mallin "lihasmuisti".

2. VRAM-muuri

MoE-arkkitehtuuri esittää merkittävän laitteistohaasteen: muistin. Vaikka laskenta on kevyttä (17B aktiivista), kaikkien painojen (400B) on oltava VRAM-muistissa.

Edes 4-bittisellä kvantisoinnilla (Q4_K_M) malli vaatii noin 250 Gt, sulkien kuluttajakonfiguraatiot (kuten RTX 4090) ja jopa vaatimattomat työasemat pelistä. Vain Mac Studio Ultra -käyttäjät (yhtenäisellä 192 Gt muistilla) tai moni-GPU-palvelimet pystyivät hyödyntämään sitä paikallisesti.

Luku 4: Kuohuva Ekosysteemi (2025-2026)

Llama:n vahvuus ei ole vain Metan tarjoamissa painoissa, vaan avoimen lähdekoodin työkaluarmeijassa, joka ympäröi niitä. Vuosi 2025 oli ekosysteemin stressitestiä.

4.1 llama.cpp:n Tarina ja MoE-tuki

Projekti llama.cpp, paikallisen inferenssin kulmakivi, kamppaili Llama 4:n integroimiseksi. GitHub-keskustelut paljastavat kuukausia epävakautta:

• RoPE-bugit: Virheet iRoPE:n alkuperäisessä toteutuksessa aiheuttivat suorituskyvyn heikkenemistä (perplexity spikes) pitkillä konteksteilla.
• Kvantisoinnin Haasteet: Maverickin hienojakoinen MoE-rakenne (128 asiantuntijaa) soveltui huonosti olemassa oleviin kvantisointialgoritmeihin (GGUF, EXL2), luoden generointiartefakteja ("roska-ulosanti") matalalla tarkkuudella. Ulkopuolisten kontribuuttoreiden ja Unsloth-tiimin väliintulo oli tarpeen "Dynamic GGUF":ien vakauttamiseksi, jotka pystyivät älykkäästi hallitsemaan asiantuntijoiden valikoivaa kvantisointia.

4.2 Unsloth: Hienosäädön Pelastaja

Edessä, että useimmat tutkijat eivät voineet hienosäätää 400 miljardin parametrin mallia, työkalu Unsloth tuli kriittiseksi. Optimointiin takaisinpropagointia ja toteuttamalla QLoRA:n (Quantized Low-Rank Adaptation) tuki MoE-arkkitehtuureille, Unsloth mahdollisti Llama 4 Scoutin hienosäädön yhdellä H100 80GB -kortilla. Ilman tätä työkalua Llama 4 olisi pysynyt "lelunana" hyperskaalereille, saavuttamattomissa akateemiselle innovaatiolle tai PK-yrityksille.

4.3 vLLM ja Teollinen Palvelu

Tuotantokäyttöön vLLM on vakiintunut standardiksi. vLLM:n 2025-2026 roadmap näyttää täydellisen keskittymisen MoE-arkkitehtuurien optimointiin ja "Scale-out" -toimintaan. Prefix caching:n (yhteisten promptiosien välimuistitus) käyttöönotto oli ratkaisevaa tehdäkseen Llama 4 -pohjaiset agentit taloudellisesti kannattaviksi, mahdollistaen 10M tokenin kontekstin uudelleenkäytön useiden pyyntöjen välillä ilman kallista uudelleenlaskentaa.

Luku 5: Infrastruktuuri- ja Piisisota

Vuonna 2026 Metan strategiaa ei voi ymmärtää analysoimatta sen laitteistopohjaa. Tekoäly ei ole eteeristä koodia; se on sähköä, joka kulkee piin läpi.

5.1 MTIA: Strateginen Itsenäisyys

Metan riippuvuus NVIDIA:sta (ja sen H100/Blackwell-näytönohjaimista) edusti olemassaolollista ja taloudellista riskiä. MTIA (Meta Training and Inference Accelerator) -ohjelma on vastaus.

• MTIA v1/v2 (Inferenssi): Jo vuonna 2025 suuri osa tuotantoinferenssistä (Instagram-suositukset, kevyet Llama-mallit) siirrettiin näille kotimaisille piireille, jotka ovat energiatehokkaampia rutiinitehtäviin.
• MTIA Training (2026): Todellinen vallankumous on massiivisia malleja kouluttavien piirien lähestyvä saapuminen. Perustuen RISC-V -arkkitehtuuriin, nämä piirit mahdollistavat Metan personoida käskykantansa Transformer-spesifisiin operaatioihin (Huomio, MoE-reititys). Jos Meta onnistuu tässä vedossa, se voisi vähentää tekoälyn CAPEX:iaan useilla miljardeilla dollareilla, ratkaiseva kilpailuetu Googlea (TPU) ja Microsoftia (Maia/NVIDIA) vastaan.

5.2 Energiatalous

Mallien kuten Llama 4 Maverick kuluttaessa massiivisia määriä energiaa koulutukseen ja inferenssiin, Metan on pitänyt investoida massiivisesti uuden sukupolven datakeskuksiin. Corningin kanssa tehtyjen kuituoptisten kaapeleiden sopimusten (6 miljardia dollaria) ja kehittyneiden nestejäähdytysjärjestelmien kehittämisen ilmoitukset todistavat tästä fyysisen infrastruktuurin kilpajuoksusta.

Luku 6: Kilpailukenttä Vuonna 2026

Llama ei toimi tyhjiössä. 2026 on vuosi, jolloin avoimien painojen kilpailu on jäsentynyt, uhkaamalla Metan hegemoniaa.

6.1 Mistral Large 3: Eurooppalainen Haastaja

Joulukuussa 2025 julkaistu Mistral Large 3 on asettunut "puhtaaksi" vaihtoehdoksi Llama 4:lle.

• Arkkitehtuuri: MoE 41B aktiivisella ja 675B kokonaisparametrilla.
• Erikoistuminen: Toisin kuin Maverick, Mistral Large 3 loistaa koodissa ja eurooppalaisessa monikielisyydessä, hyödyntäen Llama 4:n heikkouksia. Lisäksi sen Apache 2.0 -lisenssi (todella avoin lähdekoodi) rauhoittaa lakiosastoja, jotka ovat varovaisia Metan räätälöityjä yhteisölisenssejä kohtaan.

6.2 DeepSeek ja Kiinalainen Uhka

DeepSeekin nousu V3- ja "Next" -malliensa kanssa mullisti markkinat suorituskyky-/kustannussuhteellaan. Usein syytettyinä Llama:n kopioimisesta, nämä mallit kuitenkin innovoivat (ultra-matalan viiveen MoE-arkkitehtuurit) ja pakottivat Metan reagoimaan. Raportit viittaavat siihen, että Llama 4 lainasi jopa joitain asiantuntijareititystekniikoita DeepSeekiltä yrittääkseen paikata tehokkuuseroa.

6.3 GPT-5 ja Gemini 2.5: Suljettu Rintama

Patentoitujen mallien puolella GPT-5 (elokuu 2025) ja Gemini 2.5 ovat syventäneet kuilua "agenttisissa" kyvyissä (pitkän aikavälin suunnittelu, autonominen työkalujen käyttö). Llama 4 pysyy erinomaisena tekstigeneraattorina, mutta kamppailee edelleen olla luotettava autonominen agentti ilman raskasta prompt-tekniikkaa (RAG, Chain-of-Thought).

Luku 7: Vuoden 2026 Strateginen Käännös – Projekt Avocado

Tässä raastavassa kilpailussa ja räjähtävissä kustannuksissa hahmottuu Meta AI:n tulevaisuus.

7.1 "Avocado": Puutarhan Sulkeminen?

Vuoden 2026 alun raportit viittaavat merkittävään suunnanmuutokseen "Avocado" -projektin myötä.

• Suljettu Malli: Toisin kuin Llama-sarja, Avocado olisi patentoitu malli, jota ei jaeta.
• Tavoite: Luoda kaupallistettava "Henkilökohtainen Superäly", integroitu yksinomaan Metan tuotteisiin (WhatsApp, Instagram, Ray-Ban).
• Perustelu: Metan johto, osakkeenomistajien painostamana, etsii suoraa tuottoa sijoituksille. Llaman "ilmaiseksi" tarjoaminen mahdollisti markkinoiden arkipäiväistämisen, mutta ei tuottanut suoria tuloja verrattavissa ChatGPT Plus - tai Gemini Advanced -tilauksiin.

7.2 Sisäiset ja Kulttuuriset Jännitteet

Tämä käännös on luonut kitkaa Metan tekoälytiimissä. "Tuote"-profiilien kuten Alexandr Wangin (ex-Scale AI) integrointi ja FAIR:n historiallisten tutkijoiden lähtö signaloivat kulttuurisen siirtymän: avoimesta tutkimuksesta aggressiiviseen kaupalliseen tuotekehitykseen. Avocadon viivästyminen alun perin pettymyttä tuottaneen suorituskyvyn vuoksi on vain pahentanut näitä jännitteitä.

Luku 8: Vaikutus SEO:hon ja Tiedonhakuun (2026)

Llama-kaltaisten mallien läsnäolo on perustavanlaatuisesti muuttanut Webin luonnetta ja siten SEO:n (Search Engine Optimization).

8.1 Avainsanahausta Entiteettien Autoriteettiin

Vuonna 2026 perinteiset hakukoneet ovat menettäneet maata "Vastausmoottoreille" (Google AI Overviews, SearchGPT, Meta AI).

Klikkauksen Kuolema

Käyttäjät saavat vastauksensa suoraan chat-käyttöliittymässä. Liikenne informatiivisille verkkosivuille on romahtanut.

Uusi SEO-strategia

Kuten asiantuntijat korostavat 2026, tavoite ei ole enää sijoittaa avainsanoja, vaan olla viitattu luotettavana lähteenä LLM:n toimesta.

8.2 Llama Tiedon Vartijana

Llama:n integroinnilla Facebookiin, Instagramiin ja WhatsAppiin Meta on tullut yhdeksi maailman suurimmista hakukoneista. Jos käyttäjä kysyy "Mikä on paras autovakuutus?" Meta AI -avustajaltaan, vastaus generoidaan Llama 4:llä. Olla läsnä koulutusdatasetissä tai Metan reaaliaikaisessa RAG-indeksissä on tullut digitaalisen markkinoinnin Graalin maljaksi vuonna 2026.

Yhteenveto: Murroksessa Oleva Vallankumous

Llama:n tarina vuosina 2023–2026 on tarina anomaliasta, josta tuli normi. Julkaisemalla mallinsa Meta kiihdytti maailmanlaajuista tekoälyinnovaatiota useilla vuosilla, luoden elävän ja joustavan avoimen lähdekoodin ekosysteemin, joka haastoi keskittymistä ennustaneet näkemykset.

Kuitenkin 2026 merkitsee viattomuuden loppua. Fyysiset (energia, pii), taloudelliset (CAPEX) ja kilpailulliset (Mistral, DeepSeek) rajoitteet pakottavat rationaalistamiseen. Monimutkaisella MoE-arkkitehtuurillaan Llama 4 on saavuttanut rajat, mitä tavallinen käyttäjä voi isännöidä. Projekt Avocadon myötä Meta vaikuttaa valmistelevan tulevaisuutta, jossa edistynein tekoäly palaa jälleen maksulliseksi ja keskitetyksi palveluksi.

Selviääkö Llama-ekosysteemi tästä käännöksestä? Vastaus luultavasti piilee yhteisössä, jonka se on synnyttänyt. Vaikka Meta sulkisi ovensa huomenna, työkalut, tiedot ja johdetut mallit jatkavat kehittymistään. Henki on päässyt pullosta, eikä mikään rajoittava lisenssi voi saada sitä takaisin.

Tekninen Liite: Llama-mallien Vertailutekniset Spesifikaatiot

Alla oleva taulukko tiivistää Llama-perheen teknisen kehityksen, korostaen kykyjen ja laitteistovaatimusten eksponentiaalista kasvua.

Huomautus VRAM:stä: FP16-arvot edustavat ideaalitilannetta maksimaalista tarkkuutta varten. 4-bittisen kvantisoinnin käyttö (llama.cpp:n tai bitsandbytesin kautta) mahdollistaa näiden vaatimusten yleensä jakamisen 3 tai 4, tehden jopa 70B-90B malleista saavutettavissa moni-GPU-kuluttajakonfiguraatioilla.