Az adatok ellenőrzése és kezelése megerőltető feladat lehet. Ezek az AWS S3 parancsok segítenek gyorsan és hatékonyan kezelni az AWS S3 tárolócsoportjait és adatait.
AWS S3 az AWS által nyújtott objektumtárolási szolgáltatás. Ez az AWS legszélesebb körben használt tárolási szolgáltatása, amely gyakorlatilag végtelen mennyiségű adat tárolására képes. Rendkívül elérhető, tartós és könnyen integrálható számos más AWS-szolgáltatással.
Az AWS S3-at olyan felhasználók használhatják, akik bármilyen igényt kielégítenek, például mobil-/webes alkalmazások tárolására, nagy adattárolásra, gépi tanulási adattárolásra, statikus webhelyek tárolására és még sok másra.
Ha S3-at használt projektjében, akkor tudja, hogy a hatalmas tárolókapacitás miatt 100 vödör és terabájtnyi adat kezelése ezekben a tárolókban megerőltető feladat lehet. Van egy listánk az AWS S3 parancsokról példákkal, amelyek segítségével hatékonyan kezelheti az AWS S3 tárolócsoportjait és adatait.
Tartalomjegyzék
AWS CLI beállítása
Miután sikeresen letöltötte és telepítette az AWS CLI-t, konfigurálnia kell az AWS hitelesítő adatait, hogy hozzáférhessen AWS-fiókjához és szolgáltatásaihoz. Nézzük gyorsan, hogyan konfigurálhatja az AWS CLI-t.
Az első lépés az AWS-fiókhoz programozott hozzáféréssel rendelkező felhasználó létrehozása. Ne felejtse el bejelölni ezt a négyzetet, amikor felhasználót hoz létre az AWS CLI-hez.
Adja meg az engedélyeket, és hozzon létre egy felhasználót. A felhasználó sikeres létrehozása utáni utolsó képernyőn másolja ki a felhasználó hozzáférési kulcsának azonosítóját és titkos hozzáférési kulcsát. Ezeket a hitelesítő adatokat használjuk az AWS CLI-n keresztüli bejelentkezéshez.
Most lépjen a választott terminálra, és futtassa a következő parancsot.
aws configure
Amikor a rendszer kéri, írja be a hozzáférési kulcs azonosítóját és a titkos hozzáférési kulcsot. Válassza ki az Ön által választott AWS-régiót és a parancs kimeneti formátumát. Én személy szerint jobban szeretem a JSON formátumot használni. Ez nem nagy baj, ezeket az értékeket később bármikor módosíthatja.
Mostantól bármelyik AWS CLI parancsot futtathatja a konzolon. Most menjünk végig az AWS S3 parancsokon.
cp
A cp parancs egyszerűen átmásolja az adatokat az S3 tárolókba és onnan. Használható fájlok másolására helyiről S3-ra, S3-ról helyire, valamint két S3-as vödör között. A parancsokkal sok más paraméter is megadható.
Például a -dryrun paraméter a parancs teszteléséhez, a -storage-class paraméter az adatok tárolási osztályának megadásához az S3-ban, egyéb paraméterek a titkosítás beállításához és még sok más. Az cp parancsot teljes ellenőrzést biztosít az adatbiztonság konfigurálása felett az S3-ban.
Használat
aws s3 cp <SOURCE> <DESTINATION> [--options]
Példák
Másolja az adatokat a helyiről az S3-ba
aws s3 cp file_name.txt s3://bucket_name/file_name_2.txt
Adatok másolása az S3-ból helyire
aws s3 cp s3://bucket_name/file_name_2.txt file_name.txt
Adatok másolása az S3 vödrök között
aws s3 cp s3://bucket_name/file_name.txt s3://bucket_name_2/file_name_2.txt
Adatok másolása a helyiről az S3 – IA-ba
aws s3 cp file_name.txt s3://bucket_name/file_name_2.txt --storage-class STANDARD_IA
Másolja át az összes adatot egy helyi mappából az S3-ba
aws s3 cp ./local_folder s3://bucket_name --recursive
ls
Az ls parancsot a vödrök vagy a vödrök tartalmának felsorolására szolgál. Tehát, ha egyszerűen csak meg szeretné tekinteni a gyűjtőzónákra vonatkozó információkat vagy az ezekben a gyűjtőkben lévő adatokat, használhatja az ls parancsot.
Használat:
aws s3 ls NONE or <BUCKET_NAME> [--options]
Példák
Sorolja fel a fiók összes gyűjtőhelyét
aws s3 ls Output: 2022-02-02 18:20:14 BUCKET_NAME_1 2022-03-20 13:12:43 BUCKET_NAME_2 2022-03-29 10:52:33 BUCKET_NAME_3
Ez a parancs listázza a fiókjában található összes gyűjtőzónát a tárhely létrehozásának dátumával.
Sorolja fel az összes legfelső szintű objektumot egy vödörben
aws s3 ls BUCKET_NAME_1 or s3://BUCKET_NAME_1
Output:
PRE samplePrefix/
2021-12-09 12:23:20 8754 file_1.png
2021-12-09 12:23:21 1290 file_2.json
2021-12-09 12:23:21 3088 file_3.html
Ez a parancs felsorolja az összes legfelső szintű objektumot egy S3 tárolóban. Vegye figyelembe, hogy a samplePrefix/ előtaggal rendelkező objektumok itt nem csak a legfelső szintű objektumok jelennek meg.
Sorolja fel az összes tárgyat egy vödörben
aws s3 ls BUCKET_NAME_1 or s3://BUCKET_NAME_1 --recursive Output: 2021-12-09 12:23:20 8754 file_1.png 2021-12-09 12:23:21 1290 file_2.json 2021-12-09 12:23:21 3088 file_3.html 2021-12-09 12:23:20 16328 samplePrefix/file_1.txt 2021-12-09 12:23:20 29325 samplePrefix/sampleSubPrefix/file_1.css
Ez a parancs felsorolja az összes objektumot egy S3 vödörben. Vegye figyelembe, hogy a samplePrefix/ előtaggal rendelkező objektumok és az összes al-előtag is megjelennek.
mb
Az mb parancsot egyszerűen új S3 kanalak létrehozására szolgál. Ez egy meglehetősen egyszerű parancs, de új gyűjtőzónák létrehozásához az új vödör nevének egyedinek kell lennie az összes S3 tárolóban.
Használat
aws s3 mb <BUCKET_NAME>
Példa
Hozzon létre egy új csoportot egy adott régióban
aws s3 mb myUniqueBucketName --region eu-west-1
mv
Az mv parancs egyszerűen áthelyezi az adatokat az S3 tárolókba és onnan. Csakúgy, mint a cp parancs, az mv parancs az adatok helyiből S3-ba, S3-ból helyibe vagy két S3-csoport között történő mozgatására szolgál.
Az egyetlen különbség az mv és a cp parancs között, hogy az mv parancs használatakor a fájl törlődik a forrásból. Az AWS áthelyezi ezt a fájlt a célhelyre. A paranccsal sok opciót megadhatunk.
Használat
aws s3 mv <SOURCE> <DESTINATION> [--options]
Példák
Adatok áthelyezése helyiről S3-ra
aws s3 mv file_name.txt s3://bucket_name/file_name_2.txt
Adatok áthelyezése az S3-ból helyire
aws s3 mv s3://bucket_name/file_name_2.txt file_name.txt
Adatok mozgatása az S3 tárolók között
aws s3 mv s3://bucket_name/file_name.txt s3://bucket_name_2/file_name_2.txt
Adatok áthelyezése a helyiről az S3 – IA-ba
aws s3 mv file_name.txt s3://bucket_name/file_name_2.txt --storage-class STANDARD_IA
Helyezze át az összes adatot az S3 előtagjából egy helyi mappába.
aws s3 mv s3://bucket_name/somePrefix ./localFolder --recursive
előjel
A presign parancs egy előre aláírt URL-t generál egy kulcshoz az S3 tárolóban. Ezzel a paranccsal olyan URL-címeket hozhat létre, amelyeket mások használhatnak a megadott S3 gyűjtőkulcsban lévő fájl eléréséhez.
Használat
aws s3 presign
Példa
Hozzon létre egy előre aláírt URL-t, amely 1 óráig érvényes egy objektumhoz a tárolóban.
aws s3 presign s3://bucket_name/samplePrefix/file_name.png --expires-in 3600 Output: https://s3.ap-south-1.amazonaws.com/bucket_name/samplePrefix/file_name.png?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIA4MCZT73PAX7ZMVFW%2F20220314%2Fap-south-1%2Fs3%2Faws4_request&X-Amz-Date=20220314T054113Z&X-Amz-Expires=3600&X-Amz-SignedHeaders=host&X-Amz-Signature=f14608bbf3e1f9f8d215eb5b439b87e167b1055bcd7a45c13a33debd3db1be96
rb
Az rb paranccsal egyszerűen törölhetők az S3 gyűjtők.
Használat
aws rb <BUCKET_NAME>
Példa
Töröljön egy S3 tárolót.
aws s3 mb myBucketName # This command fails if there is any data in this bucket.
Töröljön egy S3 tárolót az S3 tárolóban lévő adatokkal együtt.
aws s3 mb myBucketName --force
rm
Az rm paranccsal egyszerűen törölhetők az S3 gyűjtőzónákban lévő objektumok.
Használat
aws s3 rm <S3Uri_To_The_File>
Példák
Töröljön egy fájlt az S3 vödörből.
aws s3 rm s3://bucket_name/sample_prefix/file_name_2.txt
Törölje az összes fájlt egy adott előtaggal egy S3 tárolóból.
aws s3 rm s3://bucket_name/sample_prefix --recursive
Törölje az összes fájlt egy S3 vödörben.
aws s3 rm s3://bucket_name --recursive
szinkronizál
A sync parancs a cp parancshoz hasonlóan másolja és frissíti a fájlokat a forrásból a célba. Fontos, hogy megértsük a cp és a sync parancs közötti különbséget. A cp használatakor az adatokat a forrásból a célba másolja, még akkor is, ha az adatok már léteznek a célhelyen.
Ezenkívül nem törli a fájlokat a célhelyről, ha törli őket a forrásból. A szinkronizálás azonban az adatok másolása előtt megvizsgálja a célhelyet, és csak az új és frissített fájlokat másolja. Az szinkronizálási parancs hasonló a git távoli elágazásának véglegesítéséhez és módosításához. A sync parancs számos lehetőséget kínál a parancs testreszabásához.
Használat
aws s3 sync <SOURCE> <DESTINATION> [--options]
Példák
Szinkronizálja a helyi mappát az S3-mal
aws s3 sync ./local_folder s3://bucket_name
Szinkronizálja az S3 adatokat egy helyi mappával
aws s3 sync s3://bucket_name ./local_folder
Adatok szinkronizálása két S3 vödör között
aws s3 sync s3://bucket_name s3://bucket_name_2
Adatok áthelyezése két S3-csoport között, az összes .txt fájl kivételével
aws s3 sync s3://bucket_name s3://bucket_name_2 --exclude "*.txt
weboldal
Használhatja az S3 gyűjtőhelyeket statikus webhelyek tárolására. A webhely parancs az S3 statikus webhely-tárhely konfigurálására szolgál a gyűjtőhelyhez.
Megadja az indexet és a hibafájlokat, és az S3 megad egy URL-t, ahol megtekintheti a fájlt.
Használat
aws s3 website <S3_URI> [--options]
Példa:
Állítsa be a statikus tárhelyszolgáltatást egy S3 csoporthoz, és adja meg az index- és hibafájlokat
aws s3 website s3://bucket_name --index-document index.html --error-document error.html
Következtetés
Remélem, hogy a fentiek ötletet adnak néhány gyakran használt AWS S3 parancsról a gyűjtőhelyek kezelésére. Ha többet szeretne megtudni, nézze meg az AWS-tanúsítvány részleteit.