Kíváncsi vagyok mennyi tárhely kell egy ilyen nyelvi modell offline futtatásához.
Gyorskeresés
Legfrissebb anyagok
Általános témák
LOGOUT.hu témák
- [Re:] [Luck Dragon:] Asszociációs játék. :)
- [Re:] [D1Rect:] Nagy "hülyétkapokazapróktól" topik
- [Re:] [sziku69:] Szólánc.
- [Re:] [sziku69:] Fűzzük össze a szavakat :)
- [Re:] [Mr Dini:] Mindent a StreamSharkról!
- [Re:] [gban:] Ingyen kellene, de tegnapra
- [Re:] [moongoose:] Retro AT rendszerű számítógépház textúrájának visszaállítása.
- [Re:] [Sub-ZeRo:] Euro Truck Simulator 2 & American Truck Simulator 1 (esetleg 2 majd, ha lesz) :)
- [Re:] eBay-es kütyük kis pénzért
- [Re:] Gurulunk, WAZE?!
Szakmai témák
PROHARDVER! témák
Mobilarena témák
IT café témák
Útvonal
Fórumok » Egyéb hardverek » [Re:] Jövőre telefonon futtatná a Meta nagy nyelvi modelljét a QualcommHozzászólások
Ribi
nagyúr
Egy telefon mikor offline?
Acélfarkas
senior tag
Offline szerintem ilyen dolog nem működne.
Rep. üzemmódban pl.
[ Szerkesztve ]
"Nem kérdőjeleztem meg, hogy hülyeséget mondasz!"
haxiboy
veterán
Artisjus kedveli ezt
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
#52931072
törölt tag
Ó dehogynem, amikor már lezabálta a fércbúk a mobilnetedet, sms-t még tudsz majd diktálni. Eltárol pár giga reklámot is, ha megnyitod a böngészőt, a promó még betöltődik, ha az oldal nem is jön be. Eltárolja a telemetriát is, amit továbbít amikor megint online leszel. Nyugi ezt ők már nagyon kitalálták helyettünk.
A szolgáltatók is annyira cukik. A t például ingyen ad 50 megát, amikor elfogyott netkeretem. Majdnem sikerült bejutnom a netbankba, azzal el is fogyott. Nem volt fél pörc az egész.
Acélfarkas
senior tag
Annak amit leírtál, semmi köze a nyelvi modellhez. A facebook már régen ezt csinálja, ehhez nem kell nyelvi modell. Ahhoz hogy a nyelvi modell működőképes legyen, kell a brutális teljesítményű hardver és szoftver háttér, ami működteti ezeket. Qualcomm rakhat ehhez támogatást a chipjeibe, de ezt a hátteret az nem fogja tudni biztosítani offline módban.
"Nem kérdőjeleztem meg, hogy hülyeséget mondasz!"
LordX
veterán
A LLaMA 2 legkisebb változata 7 B paraméter, szóval kb. 7 GiB tárhely int8 paraméterekkel. Ha tudnak 4 bites quanization-t, akkor kb. 3,5 GiB.
Mentolka
senior tag
Miaza nyelvi modell? S miaza Llama? Már kettő van belőle?
Nagyon lemaradtam valamiről...
ddekany
veterán
Tegyük hozzá, az a tárhely az RAM (és az csak a modellnek). Illetve 7B-s LLaMA praktikusan nem sok mindenre lehet jó. Elvégre ChatGPT 3.5-nél jóval butább dologra kell gondolni, és már az is eléggé meh praktikusan (mondjuk annál jobb, mint ami látszik, mert a "biztonság" miatt le van hülyítve).
Mp3Pintyo
aktív tag
Azért annyira nem rosszak az értékei:
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
Amúgy meg naponta jön ki új modell tehát mire ebből lenne valami addigra már úgyis sokkal jobbak lesznek a modellek. Azért nem kevés számítási kapacitás és VRAM kell ezekhez. Kíváncsi vagyok mit fognak produkálni a telók.
https://www.youtube.com/mp3pintyo AI, Mesterséges Intelligencia, Képkészítés tutorialok, bemutatók
haxiboy
veterán
Csak a modell létrehozásához kell rengeteg ram/vram. Futtatáshoz nem kell túl nagy erőforrás. GPT4All-t tesztelgettem nemrég egy raspberry pi-n, kényelmesen elfut.
A nyelvi modellek közül ha valami nagyon komolyat szeretnél akkor 8gb hely kell.
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
ddekany
veterán
Annyira nem eszik forrón a kását. Egy igazi ChatGPT 4-hez sokszáz giga (talán terra) VRAM-ot igényel, és brutál A100-asokon sem fürge. A szénné optimalizálás kategóriában a csúcs amiről kb. hihető/objektív tesztet láttam, az a 13 milliárd paraméteres Orca (még a zárt változata), ami azt hiszem FP16 volt, szóval akkor 26G VRAM. Azt talán ChatGPT 3.5 szint (ami kb 180 milliárd paraméteres FP16, tehát ahhoz képest viszont durva tömörödés). És a ChatGPT 3.5 gyakorlatban még nem túl hasznos, kb. csak tech demó. A ChatGPT 4-re is bőven ráférne még az okosodás, és attól még hízni fog az alap (vagy kevésébé lesz zömíthető). Ja, és belső dialógus még nincs, rendes külső memória integráció sincs, szóval az egész "Chat" széria kb. GAI alkatrész demó. A belső dialógus és még egy és más hiányzik még, és ebből csak a belső dialógussal már irgalmatlan lassú lenne szerveren is.
Na most nem állítom, hogy 10-20 év múlva nem fog elférni valami nálunk okosabb zsebben... Bár szvsz az halál, mert hát ennyi kontrollálhatatlan majom egy rakás Einsteinnel a zsebében nem fér meg egy bolygón.
Mai Hardverapró hirdetések
prémium kategóriában
- Ej-Ha! Lenovo ThinkPad P53s Szép Home & Business Laptop -70% 15,6" i7-8665U 16/512 Quadro P520 2GB
- Új Lenovo ideapad 5 Pro Prémium Ultrabook 14" -30% Bivaly Ryzen 5 5600U 8GB 512GB 2,2K RADEON 2GB!!
- iPhone 13, 128GB, starlight, kártyafüggetlen, 88% akku
- Tyű-ha Lenovo Thinkpad T15 "Golyóálló" Üzleti Laptop 15,6" -50% i7-10510U 4Mag 32GB/512GB FHD IPS
- Új 2K AM5 Gamer PC R5 7600/RTX 3070 8Gb/2X8Gb 6000Mhz DDR5/500Gb SSD M2/700W 2Év gari