Képzelj el 20 nevet és telefonszámukat egy egyszerű Word-dokumentumban. Nehéz követni, de talán sikerül elolvasnod. Most képzeljünk el 200 nevet, de ezúttal a sorozatszámukat és a címüket, valamint a telefonszámokat sima szövegben. Ügyetlen igaz?
Nem gondolja, hogy egyértelműbb lenne, ha ezeket az adatokat strukturált formában látnánk? Igen, igaz! Ez az oka annak, hogy az adattudósok vagy elemzők formázott adatokat használnak elemzésükhöz. Két ilyen formátum az adatok tárolására vagy kezelésére a JSON és a CSV.
A JSON könnyű fájlok, amelyek az alkalmazások vagy szerverek közötti adatcseréről ismertek. Az adatokat kulcs-érték párokban tárolják.
Míg a CSV-fájlok vesszővel elválasztott értékek a nagy adatok tárolására. Bár ezek vesszővel elválasztott értékek, gyakran táblázatos szerkezetben találja őket, miközben Pythont használ elemzésre.
Tartalomjegyzék
Miért konvertálja a JSON-t CSV-vé a Pythonban?
Gyorsabb adatelemzés: A CSV-fájlok Python-műveletei gyorsabbak. CSV formátumban gyorsan megtekintheti, rendezheti, szűrheti és vághatja le az adatokat. Ezenkívül a Python rendelkezik egy Pandas nevű könyvtárral a CSV-fájlok hatékony adatelemzéséhez.
Különféle adatfeldolgozó eszközök támogatása: Bár a JSON-fájlok könnyűek és könnyen cserélhetőek, a CSV-fájlokat kényelmesebben lehet megjeleníteni és elemezni adatbázisok, például táblázatok és programozási nyelvek, például Python segítségével.
Memóriahatékony: A JSON formátum metaadatokat tartalmaz, ami némi terhelést jelent a memóriára, míg a CSV csak vesszővel elválasztott értékek, további írásjelek vagy metaadatok nélkül. Ráadásul a JSON-adatok elemzése több memóriát igényel, mint a CSV.
Tehát a JSON-hoz képest a CSV formátum memóriahatékonyabb a nagy adatkészletek tárolásában és feldolgozásakor.
Ember által olvasható: A CSV formátum kiválóan alkalmas kézi ellenőrzésre. Táblázatokban vagy táblázatokban megnyitva könnyen elolvashatja és megértheti a CSV-adatokat, míg a JSON formátum olvasása meglehetősen bonyolult, különösen akkor, ha beágyazott objektumokat tartalmaz.
Teljesítmény: A CSV-fájlok elemzése és feldolgozása gyorsabb, és kevesebb memóriát igényel a JSON-fájlokhoz képest, ami optimális teljesítményt eredményez.
Hogyan lehet a JSON-t CSV-vé konvertálni a Pythonban?
Íme a lépések a JSON CSV-vé konvertálásához Pythonban.
1. lépés: Importálja a beépített JSON- és CSV-modulokat.
import json import csv
2. lépés: Tegyük fel, hogy a JSON-adatok egy json_data.json nevű fájlban vannak. Olvassa be ezeket az adatokat egy változóba a load függvény segítségével.
with open('json_data.json') as data:
json = json.load(data)
3. lépés: Hozzon létre egy csv-fájlt JSON-fejlécekkel oszlopnévként és megfelelő értékekkel a cellákban.
headers = json[0].keys()
with open('data.csv', 'w', newline="") as csv_file:
csv_writer = csv.DictWriter(csv_file, fieldnames=headers)
csv_writer.writeheader()
for row in json:
csv_writer.writerow(row)
Hogyan lehet a JSON-t CSV-vé konvertálni a Pandas használatával a Pythonban?
Írhat saját egyéni kódot a konverzióhoz a beépített JSON- és CSV-könyvtárak segítségével, a fentiek szerint, de a Pandas a barátja. Még egyszerűbbé teszi az átalakítást mindössze két sornyi kóddal.
Azok számára, akik nem ismerik a Pandákat, ez a Python könyvtára nagy adatok kezelésére és elemzésére. Így konvertálhatja egyszerűen a JSON-t CSV-vé a Pandas használatával.
1. lépés: A JSON-fájlok CSV-formátumba konvertálásához először importálnia kell a Pandákat a Pythonba.
Import pandas as pd
2. lépés: Töltse be a JSON-adatokat a Pandas DataFrame-be.
data = pd.read_csv('json_data.json')
3. lépés: Írja be az adatokat CSV-fájlba.
data.to_csv('csv_data', index=False)
A „csv_data” nevű fájl létrejön az aktuális munkakönyvtárban az átalakított CSV-adatok tárolására.
Az „index = False” itt kizárja a CSV-fájl indexoszlopát.
Ennyi, ilyen egyszerű a JSON-t CSV-vé konvertálni a Pandas segítségével.
Mit kell figyelembe venni a nagy JSON-fájlok CSV-vé konvertálásakor
- Memória – A legelső probléma, amellyel általában nagy adatkészletekkel szembesül, a memória. Ha egy lépésben megpróbál teljes adatot betölteni egy CSV-fájlba, memóriaproblémák léphetnek fel. Tehát a memóriaproblémák elkerülése érdekében dolgozza fel a nagy adatokat CSV-fájlba darabokban.
- Redundancia eltávolítása – Ha ugyanazok a redundáns adatok többször szerepelnek az adatkészletben, az csak növeli a méretet, de nem ad hozzá értéket az adatokhoz. Tehát távolítsa el a redundáns adatokat az adatkészletből. Így csökkentheti az adatfájl méretét, ami gyorsabb konverziót eredményez.
- Használjon könyvtárakat – Ha az adatok kicsik, írhat egyéni Python-kódot, hogy CSV-vé alakítsa, de nagy adatok esetén használjon Python-könyvtárat, például a Pandas-t, hogy hatékonyan konvertálja a JSON-t CSV-vé.
- Biztonsági mentés – Készítsen biztonsági másolatot az adatokról, miközben a nagy JSON-fájlokat CSV-formátumba konvertálja. Ez segít visszatérni az eredeti adatokhoz, ha valami hiba történik az átalakítás során.
Az átalakítás során felmerülő lehetséges hibák
#1. Unicode hiba
Ez a hiba akkor fordulhat elő, ha speciális karaktereket vagy nem ASCII karaktereket ír egy CSV-fájlba JSON-adatokból.
Ennek kijavításához meg kell adnia a megfelelő kódolást a JSON CSV-fájlokká konvertálásakor használt open függvényben.
Ezt megteheti egy kódolás nevű paraméter hozzáadásával a nyitott függvényhez, az alábbiak szerint:
with open('data.csv', 'w', newline="", encoding='utf-8') as csv_file
#2. Értékhiba: Várt objektum vagy érték
Ez a hiba akkor jelenik meg, ha probléma van a JSON-fájl tartalmával, főleg akkor, ha a funkció nem tudja elemezni a JSON-objektumot vagy -fájlt.
Ezért győződjön meg róla, hogy a JSON-adatok jól formázottak, és követik a JSON-szintaxist.
Ezenkívül, ha a JSON-adatok beágyazott objektumokat, például tömböket tartalmaznak, győződjön meg arról, hogy a JSON-objektumok be vannak zárva [..] és a tömbök be vannak csomagolva [..]. A beágyazott JSON CSV-vé konvertálása előtt győződjön meg arról is, hogy az adatok egyenetlenek a „JSON.normalize” használatával.
Az egyik fő különbség a JSON és a CSV között az, hogy a JSON-adatoknak nincs olyan fejléce, mint a CSV. Tehát jól kezelje a CSV-fejléceket, miközben a JSON-t CSV-vé alakítja. Adhat nekik értékeket, vagy hagyhatja üresen, ahogy szeretné.
Ha azonban fejléceket ad meg a CSV-fájlnak, győződjön meg arról, hogy azok adattípusa megegyezik a fájlban lévő tényleges adatokkal.
Következtetés
A JSON CSV-vé konvertálása Pythonban egyszerű. Még egyszerűbb, ha a Pandas könyvtárat használjuk.
Tehát ez a cikk bemutatja, hogyan konvertálhat JSON-fájlokat CSV-vé Python használatával. Azt is megmutattuk, hogyan használhatja a Pandákat a JSON hatékony konvertálására CSV-vé.
Ezt követi néhány fontos dolog, amelyet szem előtt kell tartani a gördülékenyebb konverziós folyamat és az átalakítás során előforduló gyakori hibák érdekében.
Megnézheti a JSON-fájlok Excel-be való konvertálását is.
