GMail naudojimas atsarginių kopijų darymui

gruodžio 25, 2010 – 19:08

GMail logotipas Su failais jūsų kompiuteryje gali atsitikti bet kas. Pradedant menkiausia failų sistemos klaida dingstant elektrai, atsititktiniu ištrynimu ar paprasčiausiu laikmenos nekokybiškumu. Trumpiau tariant, nieko nėra amžino. Tuo tarpu GMail šiuo metu naudojamas beveik bet kam: nuo asmeninių laiškų, patarimų kaip iki atsarginių kopijų. Kompiuterių administratoriams atsarginės kopijos (angl. „backup“) buvo galvos skausmas labai ilgą laiką. Juk retas rasime bitas į bitą nuskaitomą CD-R diską, įrašytą 2000-aisiais. Tačiau dabar, kai mūsų kompiuteriuose jau nebe 40 GB HDD, o mes saugojame „svarbesnę“ informaciją, atėjo laikas, kai ši problema palietė ir paprastus vartotojus. Problemos neapibūdinsi bet kaip – vieni sako, jog tai apsauga nuo neatsargumo, jog turėtumėte iš kur atsikurti failą netyčią jį ištrynę, o kiti atsargines kopijas daro vien tik siekdami išsaugoti failus kuo ilgiau.

Kodėl GMail?
Tačiau grįžkim prie to, kodėl visgi GMail yra patogus backup’inimui. Įsirašiau keletą atsarginių kopijų į tuo metu geriausiais ir brangiausiais laikytus Verbatim CD-R diskus. Tuo metu – tai buvo Nr. 1 laikmena. Greičiausiai ir šiuo metu kai kuriem įprasta manyti, kad tai puiki laikmena saugoti atsarginėm kopijom. Tą kartą diską įdėjau į standartinę dėžutę, sausoje, tamsioje spintelėje, kur jis ir pragulėjo 8 metus vidutinėje kambario temperatūroje. Šią dieną to kompaktinio disko nebenuskaito joks optinis įrenginys, o jame buvusi informacija buvo nuskaitoma su klaidom dar prieš 3 metus. Kompaktinius ir DVD diskus per tuos 8 metus naudojau viskam: filmams, žaidimams, nuotraukom, dokumentams ir pan. Buvo užėjęs ir metas, kai maniau, jog istorija pasikartos ir internetą turėsiu ne visados, todėl labai apsimoka viską, ką parsisiunti dėt į atsarginį diską. Rezultatas – per 100 diskų, kurių turinys šiai dienai ne tik nereikalingas, bet ir dažnai ne visai nuskaitomas. Įsitikinau, jog diskuose informacija kokybiška išlieka neilgiau metų. Diskams yra analogų – už mažiau nei 130 Lt galite nusipirkti 500GB SATA2 100MB/s kietąjį diską. Galite nusipirkti Amazon EC2 serverį ir jame sutalpinti atsargines kopijas. Galite nusipirkti jau senokai iš mados išėjusią DAT 320 juostą, kuri talpins 160 GB informacijos. Galite nusipirkti SSD diską ir jame sutalpinti viską, ko jums reikia. Tačiau ką daryti jūs NEnorite atsikratyti failų iš savo kompiuterio? Suprantama – juos pasilikti, o daryti tik atsargines kopijas. Bet pagalvokite, kokia tikimybė, jog jums iš 16 tūkstančių nuotraukų jūsų kompiuteryje prireiks bent pusės jų atsarginių kopijų? Taigi, išleisti virš 100 Lt tam, ką panaudosite vos porą kartų skamba absurdiškai, o jums tereikia sparčios paieškos tarp archyvo ir greito parsisiuntimo. GMail būtent tai ir suteikia.

Kaip jau sakiau – tai taikoma failams, kuriuos norite išlaikyti savo kompiuteryje tikrai ilgam (pvz., nuotraukas, kurias dažnai rodote svečiams). Tačiau tai visiškai netinka filmo ar didelės „lossless“ muzikos kolekcijos išsaugojimui. Galima daug sugalvoti kam GMail jums tinka ir kam ne, svarbiausia, jog jūs pats priimtumėte sprendimą ir pagalvotumėte ar rasite kur išnaudoti GMail funkcijas.

Štai aš GMail panaudojau kelių serverio HDD „image’ų“ backup’inimui (~8 GB), 30 GB nuotraukų ir keletui kitų failų.

  • Aš esu 100%, jog serverio „image’ų“ man reikės po 2 metų ir jie turėtų išlikti nepažeisti. Todėl juos supakavau į daugybę RAR failiukų po 20 MB ir išsiunčiau į kelias pašto dėžutes. Kompiuteryje viską pasilikau jei kartais po 2 metų būtų sugadinta tik kuri nors viena dalis – man tereikės parsisiųsti vieną ją. Tas užtruks tik kelias minutes ir aš būsiu tikras, jog sistema užsikraus iš „image’o“ kaip ir pirmą kartą.
  • Nuotraukas sutalpinau tik todėl, nes per pastarąją nuotraukų peržiūrą bent 10 nuotraukų nebe pavyko atidaryti. Kol kas atsargines kopijas susiveikiau iš pažįstamų, tačiau ateičiai nusprendžiau, jog būtų velniškai patogu turėti jas GMail pašto dėžutėje ir ten jų ieškoti tiesiog pagal failo pavadinimą.

Kadangi turėjau „Google hosted“ paslaugų su galimybe lengvai sukurti iki 100 pašto dėžučių ir jas visas valdyti iš vienos vietos, tai nusprendžiau pasinaudoti šia galimybe gauti 7.5*100=750 GB vietos.

Kaip tai realizuoti?
Viskas paprasta. Sukurkite failų, kuriuos norėsite išsaugoti, sąrašą ir jį perduokite ciklui, kuris išsiųs kiekvieną iš jų atskirame laiške. Kadangi laiške siųsime pilną kelią iki failo (vardan patogesnės paieškos), pasistenkite patys optimizuoti paieškos komandą. Aš daugiausiai naudojau štai tokią komandą:

find ~/Nuotraukos/ -type f >> filelist

Prieš naudodami tokią komandą atminkite, jog nieko neišeis su failais, didesniais nei leidžiamas GMail laiško „attachment’o“ dydis (25 MB). Juos patalpinkite kur nors atskirai ar išimkite iš sąrašo, o atsargines kopijas darykite nebent suarchyvavę šiuos failus į daug mažų archyvų:

rar a -m0 -v21M -R /kelias/iki/failo/ar/katalogo

Tai galima atlikti ir su nemokamu 7-Zip:

7z a -t7z -v21m /kelias/iki/kuriamo/archyvo.7z /kelias/iki/failo/ar/katalogo -mx0

Sukūrus failų sąrašą teliko iš vieno ilgo sąrašo padaryti daug trumpų sąrašų, kadangi mes viską paliksime automatikai ir šio proceso metu atsirinkti kurių failų nepavyko išsiųsti dėl laikinai atjungto GMail vartotojo bus sudėtinga.

awk '{print >("filelist_" int((NR+99)/100))}' filelist

Tokia komanda pasirūpins, jog failas „filelist“ būtų suskaldytas į daugybę „filelist_“ failiukų, kurių turinys neužims daugiau 100 eilučių.

Pastaba: esu patyręs, jog net ir su užblokuotu GMail vartotoju įmanoma išsiųsti laiškus ir vėliau prisijungus prie pašto dėžutės juos rasti.

Dabar teliko viską sukelti į paštą. Tai darysime su kiekvienu iš filelist_* failų atskirai t. y. siųsime tik po 100 laiškų iš karto.

cat filelist_* | while read line; do echo ""; echo ""; date; ls -alh "$line"; ./file.py "$line"; done

Nepamirškite pakeisti žvaigždutės į failo sekos numerį, o „file.py“ turėtų būti jūsų išsaugotas ir suchmodintas (komanda „sudo chmod +x file.py“) Python scenarijus (nepamirškite pakeisti „[email protected]“ ir „slaptazodis“ į atitinkamas reikšmes, taip pat gali tekti pakeisti Python versiją).

Pabaigai vieno gerai žinomo Linux atstovo žodis:

Only wimps use tape backup: real men just upload their important stuff on ftp, and let the rest of the world mirror it 😉

  1. 5 Responses to “GMail naudojimas atsarginių kopijų darymui”

  2. Tycia issitraukiau diska gal kokiu 8-7 metu senumo; vadinasi mmore. Viska kuo puikiausiai nuskaito.
    Taip kad nereikia cia pasakot nesamoniu. Gal rasei didziausiu greiciu koks tik buvo imanomas, del to dabar ir problemos su nuskaitymu.
    Pats esu kai ka issisaugojes gmaile, bet tai yra tik keletas failiuku.. Nemanau kad toks budas yra patogus saugant didelius kiekius duomenu.
    Nuotraukas is viso reikia saugoti tam skirtose tarnybose. picasa/flickr. Zinoma kompe irgi laikom ta pati.
    Dokumentus galim laikyt kompe/dropboxe
    Visa kita slamsta saugom kompe ir automatiskai bakupinam i koki isorini diska, nas’a arba siaip namu serveri kuris ikistas kazkur giliai giliai)

    By insane on Gru 26, 2010

  3. Praeitą savaitę kilnojau nuotraukas iš senų CD. Bent 5-iuose iš 12 kompaktų buvo nenuskaitomų nuotraukų. Galbūt JPG’ai jautresni pažeidimam, tad pabandyk kokią Fedora Core 4 instaliuot kur kiekvieno failiuko checksum’ą patikrins. Kita vertus aš įrašinėjau dažniausiai 52x ir tik kartais 4x-6x. Bet visa bėda greičiausiai netgi ne greitis, o tai, jog pas mane tuo metu kaip ir pas daugelį buvo LITEON’as.

    Visiškai sutinku, jog nėra patogu GMail’ą naudoti dideliem kiekiam duomenų. Juk taip ir rašiau, jog priklauso nuo duomenų, ar tau to reikia, ar ne. Štai man 8GB HDD backup’ui, kurio prireiks tik po poros metų, tai tiesiog idealus variantas: ištrinti galiu netyčia, o tai pat galbūt kaip nors ir sugadinti galiu, jei fsck ką aptiktų.

    Nuotraukom Picasa neteikia pakankamos talpos, neteikia ir susimokėjus, o Flickr norėtųsi, jog būtų pasiekiama originali rezoliucija. O be to, koks čia skirtumas ar backup’insiu į Picasa/Flickr ar į GMail’ą?

    O šiaip aš viską ir backup’inu į namų serverį, kuris surinktas iš senų HDD, kurie pasitikėjimo man tikrai nekelia. O kadangi visą šitą reikalą automatizavau tai backup’inti backup’us į GMail’ą man tikrai ne problema.

    By Ernestas on Gru 26, 2010

  4. Kažkaip neįtikinai dėl Gmail pasirinkimo. Man atrodo yra daugybė geresnių sprendimų negu GMail 🙂

    Man kažkaip atrodo, jog visas tarnybas reikia naudoti pagal paskirtį. Taip ir patogiau ir naudos daugiau. Didelę dalį savo duomenų saugau/sinchronizuoju internete, ir jei kas nutiktų mano kompiuteriui – labai labai smarkiai nepergyvenčiau tikriausiai. Bet Gmail tokiems specifiniams dalykams naudoti… nei šis nei tas 🙂 Aš tai tik paštui naudoju ir ten nieko nesaugau 🙂

    By ichmbch on Gru 29, 2010

  5. Na, na, pavardink tų tarnybų, noriu išbandyti (: . Man pačiam GMail’as tinkamas tik tiem dalykam, kuriuos reikia sukelti kur nors ir pamiršti ilgam. GMail pasirinkau tik dėl patikimumo, jog niekas neuždarys, neištrins ir nesugadins mano duomenų.

    By Ernestas on Gru 29, 2010

  6. Aš nieko stebuklingo nenaudoju, tiesiog manau mūsų kitokie įpročiai ir į tuos pačius servisus, jų panaudojimo būdus bei naudą, žiūrime skirtingai 🙂
    O naudoju aš pačias populiariausias ir daugeliui turbūt žinomas tarnybas, todėl jų patikimumu stengiuosi patikėti.

    Pats naudoju Google Docs, Dropbox, Picasa, Flickr, Evernote, Xmarks, etc.
    Pats nenaudoju, bet nemažai kas naudoja Windows Live Mesh/SkyDrive, Amazon S3 ir daugybę kitų tarnybų.

    HDD image’us turbūt būčiau sudėjęs į Google Docs. Nuotraukas į Flickr ar Picasa 🙂

    Šiaip pastebėjimai/pataisymai:
    – EC2 netinkamas backup’ams tiek dėl kainos tiek dėl savo paskirties
    – Picasa talpa beveik neribota tiems kurie moka pinigus
    – Flickr saugo pilnos rezoliucijos nuotraukas, bet jos prieinamos tuomet, kai sumoki pinigus.

    By ichmbch on Gru 29, 2010

Sorry, comments for this entry are closed at this time.