Tartalomjegyzék
Kulcs elvitelek
- Kevesebb cenzúra: A helyi LLM-ek szabadságot kínálnak arra, hogy elgondolkodtató témákat vitassanak meg a nyilvános chatbotokra vonatkozó korlátozások nélkül, ami lehetővé teszi a nyitottabb beszélgetéseket.
- Jobb adatvédelem: A helyi LLM használatával az összes generált adat a számítógépén marad, biztosítva a magánélet védelmét és megakadályozva a nyilvános LLM-eket működtető vállalatok hozzáférését.
- Offline használat: A helyi LLM-ek megszakítás nélküli használatot tesznek lehetővé távoli vagy elszigetelt területeken megbízható internet-hozzáférés nélkül, értékes eszközt biztosítva az ilyen helyzetekben.
A ChatGPT 2022. novemberi megjelenése óta a nagy nyelvi modell (LLM) kifejezés gyorsan átalakult a mesterséges intelligencia nerdek szűkszavú kifejezéséből mindenki ajkán megjelenő divatszóvá. A helyi LLM legnagyobb vonzereje az, hogy képes megismételni egy chatbot, például a ChatGPT képességeit a számítógépén, anélkül, hogy a felhőben tárolt verzió poggyásza lenne.
Vannak érvek amellett és ellene, hogy helyi LLM-et állítsunk fel a számítógépen. Megszüntetjük a hírverést, és közöljük a tényekkel. Helyi LLM-et kell használnia?
A helyi LLM-ek használatának előnyei
Miért izgatják annyira az embereket, hogy saját nagy nyelvi modelleket állítsanak fel számítógépeiken? A felhajtáson és a kérkedésen túl milyen gyakorlati előnyökkel jár?
1. Kevesebb cenzúra
Amikor a ChatGPT és a Bing AI először megjelent az interneten, a dolgok, amelyeket a chatbotok hajlandóak voltak mondani és tenni, éppoly lenyűgözőek, mint riasztóak voltak. A Bing AI melegen és kedvesen viselkedett, mintha érzelmei lennének. A ChatGPT hajlandó volt káromkodó szavakat használni, ha szépen kérte. Abban az időben mindkét chatbot még bombakészítésben is segített, ha a megfelelő utasításokat használná. Ez a helytelenség minden árnyalatának tűnhet, de az, hogy bármit megtehetünk, jelképezi az őket működtető nyelvi modellek korlátlan képességeit.
Mára mindkét chatbotot olyan szigorúan cenzúrázzák, hogy még csak erőszakos jeleneteket tartalmazó kitalált krimit sem fognak segíteni. Egyes AI chatbotok nem is beszélnek vallásról vagy politikáról. Bár a helyben létrehozható LLM-ek nem teljesen cenzúramentesek, sokan közülük szívesen megteszik azokat az elgondolkodtató dolgokat, amelyeket a nyilvános chatbotok nem. Tehát, ha nem szeretné, hogy egy robot az erkölcsről tartson előadásokat személyes érdeklődésre számot tartó témák megvitatása során, egy helyi LLM működtetése lehet a megfelelő út.
2. Jobb adatvédelem
Az egyik elsődleges ok, amiért az emberek a helyi LLM mellett döntenek, annak biztosítása, hogy bármi, ami a számítógépükön történik, az a számítógépükön is maradjon. Ha helyi LLM-et használ, az olyan, mintha privát beszélgetést folytatna a nappalijában – kívülről senki sem hallgathatja meg. Akár hitelkártyaadataival kísérletezik, akár bizalmas személyes beszélgetéseket folytat az LLM-mel, az összes eredményt a rendszer tárolja. csak a számítógépén. Az alternatíva a nyilvános LLM-ek, például a GPT-4 használata, amely hozzáférést biztosít a felelős cégeknek az Ön csevegési információihoz.
3. Offline használat
Mivel az internet széles körben megfizethető és hozzáférhető, az offline hozzáférés triviális indoknak tűnhet a helyi LLM használatára. Az offline hozzáférés különösen kritikussá válhat távoli vagy elszigetelt helyeken, ahol az internetszolgáltatás nem megbízható vagy nem elérhető. Ilyen esetekben az internetkapcsolattól függetlenül működő helyi LLM létfontosságú eszközzé válik. Lehetővé teszi, hogy megszakítás nélkül folytassa azt, amit szeretne.
4. Költségmegtakarítás
A megfelelő LLM-hez, például a GPT-4-hez vagy a Claude 2-höz való hozzáférés átlagos ára 20 dollár havonta. Bár ez nem tűnik riasztó árnak, mégis számos bosszantó korlátozást kap erre az összegre. Például a ChatGPT-n keresztül elérhető GPT-4 esetén megragad egy 50 üzenet per háromórás korlát. Csak akkor lépheti túl ezeket a korlátokat, ha a ChatGPT Enterprise csomagra vált, ami több ezer dollárba kerülhet. Egy helyi LLM-nél, miután beállította a szoftvert, nem kell havi 20 dolláros előfizetést vagy ismétlődő költségeket fizetni. Ez olyan, mintha autót vásárolna ahelyett, hogy a telekocsi szolgáltatásra hagyatkozna. Kezdetben drága, de idővel pénzt takarít meg.
5. Jobb testreszabás
A nyilvánosan elérhető mesterséges intelligencia csevegőbotjai korlátozottan testreszabhatók biztonsági és cenzúra aggályok miatt. A helyben tárolt AI-asszisztens segítségével teljes mértékben testreszabhatja a modellt az Ön egyedi igényei szerint. Megtaníthatja az asszisztenst az Ön használati eseteire szabott, védett adatokra, javítva a relevanciát és a pontosságot. Például egy ügyvéd optimalizálhatja helyi mesterséges intelligenciáját, hogy pontosabb jogi betekintést nyerjen. A legfontosabb előny az egyedi igények szerinti testreszabás ellenőrzése.
A helyi LLM-ek használatának hátrányai
A váltás előtt meg kell fontolnia a helyi LLM használatának néhány hátrányát.
1. Erőforrás-igényes
Egy hatékony helyi LLM futtatásához csúcskategóriás hardverre lesz szüksége. Gondoljon nagy teljesítményű CPU-kra, sok RAM-ra és valószínűleg egy dedikált GPU-ra. Ne várja el egy 400 dolláros költségvetésű laptoptól, hogy jó élményt nyújtson. A válaszok fájdalmasan lassúak lesznek, különösen a nagyobb AI modelleknél. Olyan ez, mint a legmodernebb videojátékok futtatása – az optimális teljesítményhez erős specifikációkra van szükség. Még speciális hűtési megoldásokra is szüksége lehet. A lényeg az, hogy a helyi LLM-eknek csúcsszintű hardverbe kell fektetniük, hogy elérjék a webalapú LLM-ek által élvezett sebességet és reakciókészséget (vagy még javíthassák azt). A számítástechnikai igények jelentősek lesznek a webalapú szolgáltatások használatához képest.
2. Lassabb válaszok és gyengébb teljesítmény
A helyi LLM-ek általános korlátozása a lassabb válaszidő. A pontos sebesség az adott mesterséges intelligencia modelltől és hardvertől függ, de a legtöbb beállítás elmarad az online szolgáltatások mögött. Miután azonnali válaszokat kaptak a ChatGPT-től, a Bardtól és másoktól, a helyi LLM-ek megrázóan lomhának érezhetik magukat. A szavak lassan kiszivárognak, szemben a gyorsan visszaadással. Ez nem általánosan igaz, mivel néhány helyi telepítés jó teljesítményt ér el. Ám az átlagos felhasználóknak meredek visszaeséssel kell szembenézniük a lendületes webes élménytől. Tehát készüljön fel a „kultúra sokkra” a gyors online rendszerektől a lassabb helyi megfelelőkig.
Röviden, hacsak nem egy abszolút csúcstechnológiát sugároz (az AMD Ryzen 5800X3D-ről beszélünk Nvidia RTX 4090-nel és elegendő RAM-mal egy hajó elsüllyesztéséhez), a helyi LLM általános teljesítménye nem fog csökkenni. összehasonlítani az Ön által megszokott online generatív AI chatbotokkal.
3. Összetett beállítás
A helyi LLM telepítése többet jelent, mint egy webalapú AI-szolgáltatásra való regisztráció. Internetkapcsolat esetén ChatGPT-, Bard- vagy Bing AI-fiókja percek alatt készen állhat a kérések elindítására. A teljes helyi LLM-verem beállításához keretrendszerek letöltése, infrastruktúra konfigurálása és különféle összetevők integrálása szükséges. Nagyobb modelleknél ez az összetett folyamat órákig tarthat, még olyan eszközök esetén is, amelyek célja a telepítés egyszerűsítése. Egyes élvonalbeli mesterséges intelligenciarendszerek továbbra is mély technikai szakértelmet igényelnek a helyi működéshez. Tehát a plug-and-play web-alapú mesterséges intelligencia modellekkel ellentétben a saját mesterséges intelligencia kezelése jelentős technikai és időbefektetéssel jár.
4. Korlátozott tudás
Sok helyi LLM a múltban ragadt. Korlátozott ismeretekkel rendelkeznek az aktuális eseményekről. Emlékszel, amikor a ChatGPT nem tudott hozzáférni az internethez? Mikor csak a 2021 szeptembere előtt történt eseményekkel kapcsolatos kérdésekre tudott választ adni? Igen? Nos, hasonlóan a korai ChatGPT-modellekhez, a helyben tárolt nyelvi modelleket gyakran csak egy bizonyos határidõ elõtti adatokra tanítják. Ennek eredményeként nem ismerik a közelmúltbeli fejleményeket ezt követően.
Ezenkívül a helyi LLM-ek nem férhetnek hozzá az élő internetes adatokhoz. Ez korlátozza az olyan valós idejű lekérdezések hasznosságát, mint a részvényárfolyamok vagy az időjárás. A valós idejű adatok látszatának élvezetéhez a helyi LLM-eknek általában egy további integrációs rétegre van szükségük az internethez kapcsolódó szolgáltatásokkal. Az internet-hozzáférés az egyik oka ennek
fontolja meg a ChatGPT Plus-ra való frissítést
!
Helyi LLM-et kell használnia?
A helyi nagy nyelvi modellek csábító előnyökkel járnak, de valódi árnyoldalaikat is figyelembe kell venni, mielőtt belevágnánk. Kevesebb cenzúra, jobb adatvédelem, offline hozzáférés, költségmegtakarítás és testreszabás meggyőzően indokolja az LLM helyi beállítását. Ezeknek az előnyöknek azonban ára van. Az online szabadon elérhető LLM-ek sokasága miatt a helyi LLM-ekbe ugrás olyan lehet, mint egy légy lecsapása egy kalapáccsal – lehetséges, de túlzás. De ne feledje, ha ingyenes, akkor valószínűleg Ön és az Ön által generált adatok a termék. Tehát ma nincs végleges jó vagy rossz válasz. A prioritások felmérése határozza meg, hogy most van-e megfelelő idő a váltásra.