A Federated szakítást jelent az adatgyűjtés és a gépi tanulási modellek képzésének hagyományos módjától.
Az egyesített tanulással a gépi tanulás fejlesztése előnyös az olcsóbb, az adatvédelmet tiszteletben tartó képzés előnyeiből. Ez a cikk bemutatja, hogy mi az egyesített tanulás, hogyan működik, az alkalmazások és a keretrendszerek.
Tartalomjegyzék
Mi az az egyesített tanulás?
Forrás: Wikipédia
Az egyesített tanulás egy váltás a gépi tanulási modellek képzésében. A legtöbb gépi tanulási modellben az adatokat egy központi adattárba gyűjtik össze több ügyféltől. Ebből a központi adattárból a gépi tanulási modelleket betanítják, majd előrejelzések készítésére használják. A Federated Learning ennek az ellenkezőjét teszi. Ahelyett, hogy adatokat küldenének egy központi adattárba, az ügyfelek modelleket képeznek az adataikra. Ez segít nekik megőrizni személyes adataikat.
Olvassa el még: A legjobb gépi tanulási modellek magyarázata
Hogyan működik az egyesített tanulás?
A Learning in Federated Learning atomi lépések sorozatából áll, amelyek modellt hoznak létre. Ezeket a lépéseket tanulási köröknek nevezzük. Egy tipikus tanulási beállítás ismétlődik ezeken a körökön, és minden lépésben javítja a modellt. Minden tanulási kör a következő lépéseket tartalmazza.
Egy tipikus tanulási kör
Először a szerver választja ki a betanítandó modellt és a hiperparamétereket, például a körök számát, a használandó kliens csomópontokat és az egyes csomópontokon használt csomópontok hányadát. Ezen a ponton a modell is inicializálódik a kezdeti paraméterekkel az alapmodell kialakításához.
Ezután az ügyfelek megkapják az alapmodell másolatait, hogy betanítsák. Ezek az ügyfelek lehetnek mobileszközök, személyi számítógépek vagy szerverek. A modellt a helyi adataikra betanítják, így elkerülve az érzékeny adatok megosztását a szerverekkel.
Miután az ügyfelek betanították a modellt a helyi adataikra, frissítésként visszaküldik a szervernek. Amikor a kiszolgáló megkapja a frissítést, a rendszer átlagolja a többi kliens frissítésével együtt egy új alapmodellt. Mivel az ügyfelek megbízhatatlanok lehetnek, előfordulhat, hogy ezen a ponton egyes kliensek nem küldik el frissítéseiket. Ezen a ponton a szerver kezel minden hibát.
Az alapmodell újratelepítése előtt tesztelni kell. A szerver azonban nem tárol adatokat. Ezért a modell teszteléséhez visszaküldik az ügyfeleknek, ahol tesztelik a helyi adataikkal. Ha jobb, mint az előző alapmodell, akkor átveszik és helyette használják.
Itt van a segítőkész útmutató az egyesített tanulás működéséről a Google AI Federated Learning csapatától.
Központosított vs. egyesített vs. heterogén
Ebben a beállításban van egy központi szerver, amely a tanulás vezérléséért felelős. Ez a fajta beállítás Centralized Federated Learning néven ismert.
A központosított tanulás ellentéte a decentralizált egyesített tanulás lenne, amelyben az ügyfelek koordinálják magukat a peer-to-peer.
A másik beállítás neve Heterogén tanulás. Ebben a beállításban az ügyfelek nem feltétlenül rendelkeznek ugyanazzal a globális modellarchitektúrával.
Az egyesített tanulás előnyei
- Az összevont tanulás használatának legnagyobb előnye, hogy segít megőrizni a privát adatokat. Az ügyfelek az edzés eredményeit osztják meg, nem a képzés során felhasznált adatokat. Protokollokat is be lehet állítani az eredmények összesítésére, így azokat nem lehet egy adott ügyfélhez kapcsolni.
- Csökkenti a hálózati sávszélességet is, mivel a kliens és a szerver között nincs adatmegosztás. Ehelyett modelleket cserélnek a kliens és a szerver között.
- Csökkenti a képzési modellek költségeit is, mivel nincs szükség drága oktatóhardver vásárlására. Ehelyett a fejlesztők az ügyfél hardverét használják a modellek betanításához. A kevés adat miatt nem terheli meg az ügyfél eszközét.
Az egyesített tanulás hátrányai
- Ez a modell sok különböző csomópont részvételétől függ. Ezek egy részét nem a fejlesztő irányítja. Ezért elérhetőségük nem garantált. Ez megbízhatatlanná teszi a képzési hardvert.
- A modelleket képező ügyfelek nem éppen erős GPU-k. Ehelyett normál eszközök, például telefonok. Ezek az eszközök még összesítve sem lehetnek elég erősek a GPU-fürtökhöz képest.
- Az egyesített tanulás azt is feltételezi, hogy az összes kliens csomópont megbízható és a közjót szolgálja. Előfordulhat azonban, hogy egyesek nem, és rossz frissítéseket adnak ki, amelyek modelleltolódást okoznak.
Az egyesített tanulás alkalmazásai
A Federated Learning lehetővé teszi a tanulást a magánélet megőrzése mellett. Ez számos helyzetben hasznos, például:
- A következő szó előrejelzései az okostelefonok billentyűzetén.
- IoT-eszközök, amelyek helyben betaníthatják a modelleket az adott helyzet speciális követelményei szerint.
- Gyógyszeripar és egészségügyi ipar.
- A védelmi iparágak is profitálnának az érzékeny adatok megosztása nélküli képzési modellekből.
Frameworks for Federated Learning
Számos keretrendszer létezik az egyesített tanulási minták megvalósítására. A legjobbak közé tartozik az NVFlare, a FATE, a Flower és a PySft. Olvassa el ezt az útmutatót a különböző használható keretrendszerek részletes összehasonlításához.
Következtetés
Ez a cikk bemutatja az egyesített tanulást, annak működését, valamint a megvalósítás előnyeit és hátrányait. Ezen kívül kitértem azokra a népszerű alkalmazásokra és keretrendszerekre is, amelyeket a Federated Learning termelésben való megvalósításához használnak.
Ezután olvasson el egy cikket a legjobb MLOps platformokról a gépi tanulási modellek betanításához.