A Microsoft az Azure-szolgáltatásait vállalati szintű felhőmegoldásokká alakította át, amelyek olyan élvonalbeli funkciókat tartalmaznak, mint az adatkezelés és -elemzés.
A Microsoft elindította az Azure SQL Data Warehouse szolgáltatást, amikor úgy döntött, hogy a felhőt használja. A Microsoft nagy energiával fejleszti az Azure SQL Data Warehouse-t. Ez egy rugalmas adatbázis-kezelő szolgáltatás, amely a rugalmas adattárház jellemzőit ötvözi vele.
Tartalomjegyzék
Mi az Azure SQL Data Warehouse?
Az Azure SQL Data Warehouse (most nevén Azure Synapse Dedicated SQL Pool, egy felhőalapú adattárház, lehetővé teszi adattárház létrehozását és szállítását a Microsoft Azure-ban. Az Azure Data Warehouse nagy mennyiségű relációs és nem relációs adatot képes feldolgozni. SQL adattárház-képességek és számítási felhő platform.
Natívan támogatja az SQL-kiszolgálókat, és áttelepítheti a meglévő SQL-kiszolgálókat az SQL Data Warehouse-ba. Ugyanezeket a lekérdezéseket és konstrukciókat is használhatja. Ezenkívül az előfizetők azonnal hozzáférhetnek adattárház-erőforrásaik méretezéséhez, szüneteltetéséhez és szűkítéséhez.
Teljes, nagyvállalati szintű SQL-alapú adattárház-megoldás biztosítására szolgál. A következő módokon is használható:
- Meglévő adattárházak (helyszíni) migrációja a felhőbe
- Adattárház-megoldás biztosítása olyan alkalmazások és szolgáltatások számára, amelyeknek futási időben adattárolásra és visszakeresésre van szükségük – például webes alkalmazásoknak.
- Hibrid adattárház-megoldás, amely csatlakozik az Azure által üzemeltetett Data Warehouse-hoz és a helyszíni SQL Serverhez.
Az Azure SQL Data Warehouse legjobb tulajdonsága a rugalmasság. Lehetővé teszi a méretezhetőséget és a tárolási és számítási erőforrások külön-külön történő kezelését. Nyertes/nyertes platformot hoz létre, ahol a felhasználók csak azért fizetnek, amit használnak, és amikor használják.
Az Azure SQL Data Warehouse számítási oldala a Data Warehouse Unit-on (DWU) alapul, amely nyomon követi a számítási erőforrásokat, például a tárolási I/O-t és a memóriát az összes résztvevő számítási csomóponton.
Az Azure SQL Data Warehouse kapcsolatbiztonsági szolgáltatást kínál. Ez lehetővé teszi, hogy tűzfalszabályok segítségével korlátozza a hozzáférést meghatározott IP-címekhez vagy IP-tartományokhoz. Az Azure Active Directory hitelesítéssel (AAD) való integráció lehetővé teszi, hogy az Azure AD-ből származó identitások használatával csatlakozzon az Azure SQL Data Warehouse-hoz.
A többrétegű titkosítás védelmet nyújt nyugalomban, mozgásban és használat közben, hogy megvédje adatait a visszaélésektől. További eszközök állnak rendelkezésre az adatok auditálására és figyelésére, valamint a biztonsági rések azonosítására.
Más Microsoft-eszközökkel kombinálva az Azure SQL Data Warehouse páratlan teljesítményt kínál, ami jelentős előnyt jelent a piacon lévő más hasonló szolgáltatásokkal szemben.
Azure Synapse dedikált SQL-készlet
Az Azure Synapse SQL Pool dedikált SQL Pool (korábban Azure SQL Data Warehouse) egy masszívan párhuzamos feldolgozású adatbank, amely hasonlít az oszlopalapú kibővített adatbázis-technológiákhoz, például a Snowflake-hez és az Amazon Redshifthez. A végfelhasználó számára hagyományos SQL Servernek tűnik, de nem tárolja és dolgozza fel az adatokat egy csomóponton.
Ez drámaian javíthatja a néhány terabájtnál nagyobb adattárházak teljesítményét, de lehetnek jobb megoldások a kisebb megvalósításokhoz.
Az alapul szolgáló architektúra nagyon eltér a hagyományos SQL-kiszolgálóktól. Ez azt jelenti, hogy a szintaxis és a fejlesztési módszerek is eltérőek.
A disztribúciók számítási csomópontokhoz vannak leképezve egy dedikált SQL-készletben. A készlet újra leképezi a disztribúciókat a számítási csomópontokra, amikor több számítási erőforrást vásárol.
Nagyméretű adatokat importálhat egyszerű PolyBase SQL-lekérdezések segítségével, majd az elosztott lekérdező motort használhatja a nagy teljesítményű elemzésekhez.
A dedikált SQL-készlet (korábban SQL DW) egyetlen igazságforrást biztosít vállalkozásának, amely lehetővé teszi az adatok gyorsabb integrálását és elemzését, valamint megbízhatóbb betekintést nyújt.
Mi a különbség az Azure Synapse dedikált SQL-készletei és a dedikált SQL-készletek között az Azure Synapse Analytics munkaterületen?
A PowerShell az egyik leginkább zavaró terület a dokumentációban a „dedikált SQL Pool (korábban SQLDW) és a „Synapse Analytics” dedikált SQL-készletek között.
Az SQL DW eredeti megvalósítása az Azure SQL DB-hez hasonló logikai kiszolgálót használ. Az.Sql nevű PowerShell-modul meg van osztva.
Ez a modul egy új SQL-készletet (korábban SQLDW) hoz létre a New.AzSqlDatabase parancsmag használatával. Van egy „Edition” paramétere, amely lehetővé teszi, hogy megadja, hogy szeretne-e egy DataWarehouse-t.
A Synapse Analytics az Az.Synapse új PowerShell-moduljával érkezett az első kiadáskor. Dedikált SQL-készlet létrehozásához egy Synapse Analytics-munkaterületen a New-AzSynapseSqlPool-t kell használnia.
Ez a PowerShell-modul nem igényli az „Edition” paraméter megadását, mivel azt csak a Synapse-termékekhez használják.
A dedikált SQL-készlet T-SQL-alapú számítástechnikát és tárolást biztosít. Az adatok betölthetők, modellezhetők és feldolgozhatók a Synapse-ban a gyorsabb betekintés érdekében.
Az Azure Synapse a dedikált SQL-készletek mellett kiszolgáló nélküli SQL- és Apache Spark-készleteket is kínál. Igényei alapján kiválaszthatja a megfelelőt.
A kiszolgáló nélküli SQL-készlet lehetővé teszi a Data Lake-ben tárolt adatok lekérdezését.
Mit csinál az Azure Synapse dedikált SQL Pool?
Az Azure Synapse Dedicated SQL Pool egy kibővített architektúrát használ az adatok számításának több csomópont között történő elosztására. A számításokat a tárhelytől függetlenül méretezheti, mert a számítás eltér a tárolástól.
A kiszolgáló nélküli SQL-készletek kiszolgáló nélküliek, és automatikusan méreteződnek, hogy megfeleljenek a lekérdezési erőforrás-követelményeknek. Csomópontok hozzáadásával, eltávolításával vagy áthidalásával alkalmazkodik a változó topológiákhoz. Ez biztosítja, hogy a lekérdezés elegendő erőforrással rendelkezik, és sikeresen teljesíthető.
A Synapse SQL csomópont-alapú architektúrán alapul. A Synapse SQL csomópont-alapú architektúrát használ. Az alkalmazások csatlakozhatnak a vezérlő csomóponthoz, és T-SQL parancsokat adhatnak ki. Ez a Synapse SQL egyetlen pontja.
Az Azure Synapse SQL vezérlőcsomópontjai elosztott lekérdezőmotort használnak, amely párhuzamos feldolgozásra optimalizálja a lekérdezéseket, majd továbbadja a műveleteket a számítási csomópontoknak, így azok párhuzamosan végezhetik munkájukat.
A kiszolgáló nélküli SQL-készlet vezérlőcsomópontja elosztott lekérdezés-feldolgozási motort (DQP) használ az elosztott végrehajtás optimalizálására és összehangolására.
Ez úgy történik, hogy a felhasználói lekérdezést kisebb lekérdezésekre osztja fel, amelyek a számítási csomópontokon hajthatók végre. Minden feladat egy elosztott végrehajtási egység. Adatokat kér le más feladatokból, csoportosítja a fájlokat, és beolvassa a tárhelyről.
A számítási csomópontok tárolják az összes felhasználói adatot, és párhuzamos lekérdezéseket futtatnak. A Data Movement Service (DMS) egy rendszerszintű belső szolgáltatás, amely áthelyezi az adatokat a csomópontok között, hogy lehetővé tegye a párhuzamos lekérdezéseket, és pontos eredményeket ad vissza.
A Synapse SQL az Azure Storage-ot használja a felhasználói adatok biztonságához. Az Azure Storage tárolja és kezeli az Ön adatait. A tárhely használatáért külön díjat kell fizetni.
Az Azure Synapse dedikált SQL-készleteinek jellemzői
Íme az Azure Synapse SQL Pool legfontosabb szolgáltatásai:
- Az adatokról különféle formátumokban érdeklődhet, például Parquet, JSON és CSV a Data Lake-ben.
- A felhasználók a legfrissebb adatokat relációs absztrakció segítségével tekinthetik meg.
- A T-SQL lehetővé teszi a tóban lévő adatok egyszerű, méretezhető módon történő átalakítását
- Az adatkutatók az OPENROWSET vagy az automatikus sémakövetkeztetési szolgáltatások segítségével gyorsan megvizsgálhatják a tóadatok szerkezetét és tartalmát.
- Az adatmérnökök a medence segítségével felfedezhetik a tavat, átalakíthatják, létrehozhatják vagy egyszerűsíthetik adatátalakítási folyamataikat.
- Az adatelemzők hozzáférhetnek az adatokhoz, és külső táblákat indíthatnak el a T-SQL nyelven és más ismert eszközökön keresztül. Ezek az eszközök kiszolgáló nélküli SQL-készlethez is csatlakoztathatók.
- Azonnal generálhat BI-jelentéseket az üzleti intelligencia szakemberek által a Spark táblákon vagy a Data Lake-en keresztül.
Dedikált SQL Pool vs. Szerver nélküli SQL Pool
Szerver nélküli SQL Pool
Az Azure Synapse munkaterületek kiszolgáló nélküli SQL-készlettel rendelkeznek, amely lekérdezési szolgáltatásként működik az adattókon keresztül. Az adatok eléréséhez nincs szükség további konfigurációra. Teljesen kiszolgáló nélküli, és nem igényel infrastruktúrát a beállításához vagy karbantartásához.
A méretezés automatikusan elvégezhető, hogy megfeleljen az erőforrásigényeknek. A felhasználó csak a feldolgozott adatokért fizet, a lefoglalt erőforrásokért nem. A kiszolgáló nélküli SQL-készlet statisztikákat is készít a lekérdezések végrehajtásának optimalizálása érdekében.
Például amikor egy lekérdezést kétszer vagy két lekérdezést futtatunk le hasonló végrehajtási tervekkel, ezek a statisztikák újra felhasználhatók.
Ezek a funkciók lehetővé teszik, hogy gyorsan elemezzünk nagy mennyiségű adatot anélkül, hogy átmásolnánk vagy betöltenénk azokat egy adott áruházba.
Dedikált SQL Pool
A Synapse dedikált SQL Pool az Azure SQL Data Warehouse utódja, és az összes vállalati adattárház-szolgáltatást kínálja. Nincs azonban kiszolgáló nélküli SQL-készlet. Ehelyett a felhasználóknak létre kell hozniuk és törölniük kell a Synapse dedikált SQL-készletet. Azt is kiválaszthatjuk, hogy milyen erőforrásokat használ fel.
Ezeket az erőforrásokat a Synapse dedikált SQL-készletei segítségével mérik. Ezeket Data Warehousing Units-nak (DWU) nevezik. A DWU a CPU, a memória és az IO erőforrások kombinációjára utal.
A DWU-k száma határozza meg a készlet teljesítményét és költségét. Ahelyett, hogy lekérdezésenként számolnánk fel, a készlet minden aktív időszakáért díjat számítunk fel, függetlenül attól, hogy mennyi munkát végzett.
A többletköltségek elkerülése érdekében a dedikált medencék leállíthatók és újraindíthatók. Tesztünkhöz létrehoztunk egy 100 DWU-s dedikált SQL-készletet.
A készlet létrehozása után az adatok a COPY paranccsal, a PolyBase T–SQL lekérdezésekkel vagy egy folyamat segítségével tölthetők be. Ezek az adatok relációs táblák oszlopos tárolójában lesznek tárolva.
Dedikált SQL PoolServerless SQL PoolLehetővé teszi a Data Lake lekérdezését és feldolgozását.A felhasználók lekérdezhetnek Data Lake fájlokat.Infrastruktúrára van szükség.Nem szükséges infrastruktúrát létrehozni vagy fürtöket karbantartani.Mielőtt bármilyen műveletet végrehajthatna, be kell szerezni dedikált szerverek.Nincs szükség infrastruktúrára az adatok átalakításához vagy feltárásához.Relációs táblákat használnak az adatok tárolására.A Data Lake adatokat tárol.A költségeket az SQL-készlet szüneteltetésével és a raktár méretének csökkentésével kezelheti.A költségeket a rendszer automatikusan kezeli és számlázza kérésenkénti fizetés.A fenntartott erőforrások költségkötelesek.Lekérdezésenkénti adatfeldolgozási költségek kerülnek felszámításra.Fizetés biztosított DWU-nként.Fizetés feldolgozott TB-nként.
Következtetés
Tehát ennyi volt az Azure SQL Data Warehouse-ról (jelenleg Azure Synapse Dedicated SQL Pool néven). Míg egy dedikált SQL-készlet sok szempontból hasonlíthat egy hagyományos SQL Serverre, a mögöttes architektúra (massively Parallel Processing) teljesen más. Ez azt jelenti, hogy bizonyos fogalmak és technikák csak egy dedikált SQL-készletre alkalmazhatók.
Felfedezheti a Data Lake és a Data Warehouse közötti különbségeket is.