Versme.net blog

GMail naudojimas atsarginių kopijų darymui

Su failais jūsų kompiuteryje gali atsitikti bet kas. Pradedant menkiausia failų sistemos klaida dingstant elektrai, atsititktiniu ištrynimu ar paprasčiausiu laikmenos nekokybiškumu. Trumpiau tariant, nieko nėra amžino. Tuo tarpu GMail šiuo metu naudojamas beveik bet kam: nuo asmeninių laiškų, patarimų kaip iki atsarginių kopijų. Kompiuterių administratoriams atsarginės kopijos (angl. „backup“) buvo galvos skausmas labai ilgą laiką. Juk retas rasime bitas į bitą nuskaitomą CD-R diską, įrašytą 2000-aisiais. Tačiau dabar, kai mūsų kompiuteriuose jau nebe 40 GB HDD, o mes saugojame „svarbesnę“ informaciją, atėjo laikas, kai ši problema palietė ir paprastus vartotojus. Problemos neapibūdinsi bet kaip – vieni sako, jog tai apsauga nuo neatsargumo, jog turėtumėte iš kur atsikurti failą netyčią jį ištrynę, o kiti atsargines kopijas daro vien tik siekdami išsaugoti failus kuo ilgiau.

Kodėl GMail?
Tačiau grįžkim prie to, kodėl visgi GMail yra patogus backup’inimui. Įsirašiau keletą atsarginių kopijų į tuo metu geriausiais ir brangiausiais laikytus Verbatim CD-R diskus. Tuo metu – tai buvo Nr. 1 laikmena. Greičiausiai ir šiuo metu kai kuriem įprasta manyti, kad tai puiki laikmena saugoti atsarginėm kopijom. Tą kartą diską įdėjau į standartinę dėžutę, sausoje, tamsioje spintelėje, kur jis ir pragulėjo 8 metus vidutinėje kambario temperatūroje. Šią dieną to kompaktinio disko nebenuskaito joks optinis įrenginys, o jame buvusi informacija buvo nuskaitoma su klaidom dar prieš 3 metus. Kompaktinius ir DVD diskus per tuos 8 metus naudojau viskam: filmams, žaidimams, nuotraukom, dokumentams ir pan. Buvo užėjęs ir metas, kai maniau, jog istorija pasikartos ir internetą turėsiu ne visados, todėl labai apsimoka viską, ką parsisiunti dėt į atsarginį diską. Rezultatas – per 100 diskų, kurių turinys šiai dienai ne tik nereikalingas, bet ir dažnai ne visai nuskaitomas. Įsitikinau, jog diskuose informacija kokybiška išlieka neilgiau metų. Diskams yra analogų – už mažiau nei 130 Lt galite nusipirkti 500GB SATA2 100MB/s kietąjį diską. Galite nusipirkti Amazon EC2 serverį ir jame sutalpinti atsargines kopijas. Galite nusipirkti jau senokai iš mados išėjusią DAT 320 juostą, kuri talpins 160 GB informacijos. Galite nusipirkti SSD diską ir jame sutalpinti viską, ko jums reikia. Tačiau ką daryti jūs NEnorite atsikratyti failų iš savo kompiuterio? Suprantama – juos pasilikti, o daryti tik atsargines kopijas. Bet pagalvokite, kokia tikimybė, jog jums iš 16 tūkstančių nuotraukų jūsų kompiuteryje prireiks bent pusės jų atsarginių kopijų? Taigi, išleisti virš 100 Lt tam, ką panaudosite vos porą kartų skamba absurdiškai, o jums tereikia sparčios paieškos tarp archyvo ir greito parsisiuntimo. GMail būtent tai ir suteikia.

Kaip jau sakiau – tai taikoma failams, kuriuos norite išlaikyti savo kompiuteryje tikrai ilgam (pvz., nuotraukas, kurias dažnai rodote svečiams). Tačiau tai visiškai netinka filmo ar didelės „lossless“ muzikos kolekcijos išsaugojimui. Galima daug sugalvoti kam GMail jums tinka ir kam ne, svarbiausia, jog jūs pats priimtumėte sprendimą ir pagalvotumėte ar rasite kur išnaudoti GMail funkcijas.

Štai aš GMail panaudojau kelių serverio HDD „image’ų“ backup’inimui (~8 GB), 30 GB nuotraukų ir keletui kitų failų.

• Aš esu 100%, jog serverio „image’ų“ man reikės po 2 metų ir jie turėtų išlikti nepažeisti. Todėl juos supakavau į daugybę RAR failiukų po 20 MB ir išsiunčiau į kelias pašto dėžutes. Kompiuteryje viską pasilikau jei kartais po 2 metų būtų sugadinta tik kuri nors viena dalis – man tereikės parsisiųsti vieną ją. Tas užtruks tik kelias minutes ir aš būsiu tikras, jog sistema užsikraus iš „image’o“ kaip ir pirmą kartą.
• Nuotraukas sutalpinau tik todėl, nes per pastarąją nuotraukų peržiūrą bent 10 nuotraukų nebe pavyko atidaryti. Kol kas atsargines kopijas susiveikiau iš pažįstamų, tačiau ateičiai nusprendžiau, jog būtų velniškai patogu turėti jas GMail pašto dėžutėje ir ten jų ieškoti tiesiog pagal failo pavadinimą.

Kadangi turėjau „Google hosted“ paslaugų su galimybe lengvai sukurti iki 100 pašto dėžučių ir jas visas valdyti iš vienos vietos, tai nusprendžiau pasinaudoti šia galimybe gauti 7.5*100=750 GB vietos.

Kaip tai realizuoti?
Viskas paprasta. Sukurkite failų, kuriuos norėsite išsaugoti, sąrašą ir jį perduokite ciklui, kuris išsiųs kiekvieną iš jų atskirame laiške. Kadangi laiške siųsime pilną kelią iki failo (vardan patogesnės paieškos), pasistenkite patys optimizuoti paieškos komandą. Aš daugiausiai naudojau štai tokią komandą:

find ~/Nuotraukos/ -type f >> filelist

Prieš naudodami tokią komandą atminkite, jog nieko neišeis su failais, didesniais nei leidžiamas GMail laiško „attachment’o“ dydis (25 MB). Juos patalpinkite kur nors atskirai ar išimkite iš sąrašo, o atsargines kopijas darykite nebent suarchyvavę šiuos failus į daug mažų archyvų:

rar a -m0 -v21M -R /kelias/iki/failo/ar/katalogo

Tai galima atlikti ir su nemokamu 7-Zip:

7z a -t7z -v21m /kelias/iki/kuriamo/archyvo.7z /kelias/iki/failo/ar/katalogo -mx0

Sukūrus failų sąrašą teliko iš vieno ilgo sąrašo padaryti daug trumpų sąrašų, kadangi mes viską paliksime automatikai ir šio proceso metu atsirinkti kurių failų nepavyko išsiųsti dėl laikinai atjungto GMail vartotojo bus sudėtinga.

awk '{print >("filelist_" int((NR+99)/100))}' filelist

Tokia komanda pasirūpins, jog failas „filelist“ būtų suskaldytas į daugybę „filelist_“ failiukų, kurių turinys neužims daugiau 100 eilučių.

Pastaba: esu patyręs, jog net ir su užblokuotu GMail vartotoju įmanoma išsiųsti laiškus ir vėliau prisijungus prie pašto dėžutės juos rasti.

Dabar teliko viską sukelti į paštą. Tai darysime su kiekvienu iš filelist_* failų atskirai t. y. siųsime tik po 100 laiškų iš karto.

cat filelist_* | while read line; do echo ""; echo ""; date; ls -alh "$line"; ./file.py "$line"; done

Nepamirškite pakeisti žvaigždutės į failo sekos numerį, o „file.py“ turėtų būti jūsų išsaugotas ir suchmodintas (komanda „sudo chmod +x file.py“) Python scenarijus (nepamirškite pakeisti „[email protected]“ ir „slaptazodis“ į atitinkamas reikšmes, taip pat gali tekti pakeisti Python versiją).

Pabaigai vieno gerai žinomo Linux atstovo žodis:

Only wimps use tape backup: real men just upload their important stuff on ftp, and let the rest of the world mirror it 😉