A gyártók előadásait követően, élőben követhettük nyomon egy video archiváló rendszer működését, a helyszínen összeállított T200-as Spectralogic szalagkönyvtár, és a Xendata HSM rendszer, valamint további transzkódoló, vágó és browse kliensek segítségével. Mint megtudtuk, a Media Networks Kft. már régebb óta szorosan együttműködik a két gyártóval, hisz a Viacom csoport Magyarországi kijátszó-állomásán – ahol a magyar Viva TV, MTV és Comedy Central adáslebonyolítója is található – szintén a Spectralogic T380-as szalagkönyvtárát, és a Xendata Video Edition HSM rendszerét telepítették. A döntésben a költséghatékonyság mellett a megbízható működés és az egyszerű integráció is kiemelt szerepet kapott.
A technológia háttere
Mielőtt elmerülnénk a részletekben, nézzük meg, mi is a technológia lényege, és miért érdemes szalagkönyvtárakat használni? Napjainkban a merevlemezek ára egyre alacsonyabb, ami indokoltá teszi, hogy kisebb archívumokat egész egyszerűen egy NAS tárolón helyezzünk el. A tároló méretének növekedtével, egy bizonyos szinten túl már komoly gondokat okoz magának a fájlrendszernek a mérete, az egyidőben átvihető maximális adatmennyiség és a fájlméret. Itt a legtöbb egyszerű és alacsony árú NAS hamar csődöt mond, így már csak a nagy gyártók célrendszerei maradnak, melyek üzemeltetése jóval komplikáltabb, valamint a fájlrendszer licenszelése és a merevlemezek árai is jóval drágábbak, mint a sarki számítógép boltból összerakható megoldásoké.
Nicholas D. Harper a Spectralogic nemzetközi elnökhelyettese
Ezeken túl pedig nem elhanyagolandó szempont a szalagkönyvtáras archívumok lényegesen alacsonyabb üzemeltetési költsége, a hasonló kapacitású diszkes megoldásokhoz képest. Gondoljunk csak egy mondjuk sok száz/ezer darabból álló diszkes tároló rendszer folyamatos áram felvételi igényére, és a hűtéséhez kapcsolódó további költségekre.
A költséghatékonyság már önmagában egy komoly érv a szalagos adattárolók (nem összetévesztendő a videószalaggal) használata mellett, ugyanakkor a médium élettartamát is érdemes szemügyre vennünk, ha egy időtálló archívumban gondolkozunk. Az adatszalagok átlagos élettartalma 30 évre tehető, szemben a merevlemezek és egyéb adattároló megoldások 5 éves átlagos élettartamával. Napjainkra az adatszalagok közül az LTO vált az ipari szabvánnyá, amely mellett, elenyésző számban még megtalálhatóak a különböző más gyártók megoldásai is – például a Sony nemrég megszüntetett AIT, SAIT kazettái. Az LTO jelenleg a 4. generációnál tart, és jövőre várható az LTO-5 megjelenése. AZ LTO-4 kazetták 800 GB tömörítetlen adatot képesek tárolni, és 120 MB/sec átviteli sebességre képesek. Tömörítés esetén ez a kapacitás akár duplázódhat is, viszont az eleve tömörített videók esetében ez már nem várható.
Monika Haines, a Xendata üzletfejlesztési vezetője
Míg az IT világban sok helyen elég egyetlen asztali LTO-4 meghajtó, mely segítségével a rendszergazda elarchiválhatja a heti mentéseket, a broadcast környezetben számtalan felhasználó szeretne hozzáférni az archívum tartalmához egyidőben. Ilyen esetekben elengedhetetlenné válik a szalagkönyvtár használata, melyben egy robot automatikusan ki tudja szolgálni a kéréseket. A piacon különböző működési elvű, méretű és sűrűségű megoldások találhatóak, melyekben több LTO-4 meghajtó is elhelyezhető. Az ilyen archívumoknál lényeges kérdés az elérési idő, ami alapvetően két összetevőből áll: az egyik az az idő, amíg a robot kikeresi a kazettát és beteszi a meghajtóba, a másik a tényleges adatátvitel sebessége (általában 120 MB/sec a gyári érték). A keresés pár percig is eltarthat attól függően, hogy szabad-e a meghajtó, illetve az adat hol helyezkedik el a szalagon. Nyilvánvalóan minél többen használják a szalagkönyvtárat, annál több meghajtót érdemes használni a gyors adateléréshez.
A HSM (Hierarchical Storage Management – hierarchikus tároló menedzselés) rendszer ezen a szűk keresztmetszeten hivatott javítani. Alapvetően a merevlemezes RAID tárolók gyorsaságát kombinálja a szalagkönyvtárak óriási tárkapacitásával és hosszú élettartamával. Az archívum teljes tartalmát egyetlen fájlrendszerként tünteti fel, és automatikusan mozgatja a fájlokat a különböző tároló szintek között úgy, hogy a felhasználónak egyáltalán nem kell foglalkozniuk a fájlok tényleges helyével, vagy excel táblákban keresniük a kazetták tartalmát. A HSM rendszert Media Asset Management rendszerrel kombinálva további előnyöket is élvezhetünk a videók keresésekor, úgymint a kis felbontású videók keresése és megtekintése, offline – online munkafolyamatok kialakítása.
Jól látható tehát, hogy egy hatékony videóarchívumhoz alapvetően három réteg tökéletes együttműködése szükséges; hardver szinten a szalagkönyvtár és a RAID tárolók, fájlrendszer szinten a HSM szoftver, míg alkalmazás szinten a megfelelő MAM rendszer kiválasztása befolyásolja az archívum képességeit és működését. Most a két legalsó szinttel foglalkozunk részletesen.
Spectralogic
A Spectralogic, az egyik piacvezető szalagkönyvtár gyártó 30 éves múltra tekint vissza. Míg eleinte az IT iparra koncentráltak, napjainkra a broadcast területen aratják legnagyobb sikereiket. A Xendata mellett számtalan gyártóval együttműködnek, például a Dalet-tel, a Masstech-kel, vagy éppen az Avid-del.
Pillanatkép a bemutatóról
Szabványos rack rendszerbe építhető, különböző méretű szalagkönyvtárakat kínálnak, melyek mindegyike a Spectra család egészére kiterjedő, egységes BlueScale architektúrára épül, és könnyen használható, mindenre kiterjedő kezelőfelülettel rendelkezik. Ez a kezelőfelület mind a szalagkönyvtárak elején lévő érintőképernyőn, mind pedig egyszerű webböngészőn keresztül is elérhető. A SpectraLogic szalagos könyvtárban – a piacon egyedülálló módon – a kazettákat tízesével, úgynevezett TeraPack-okban tárolják, és ezzel a megoldással más gyártóknál lényegesen nagyobb – átlagosan közel kétszeres – sűrűséget érnek el.
A kazetták és a TeraPack-ok egyaránt vonalkóddal vannak ellátva, hogy a robot könnyedén felismerje azokat, még akkor is, ha kivesszük a szalagkönyvtárból. Ez a megoldás egyben a szalagok kényelmes és kellően védett szállítását és tárolását is lehetővé teszi. A TeraPack technológia 80%-kal lerövidíti a kazetták ki- és betöltéséhez szükséges időt is. Szintén a BlueScale része a média, a meghajtók és egyéb komponensek proaktív monitorozása, azaz az MLM (Media Lifecycle Management). A Spectra könyvtárak nyomon követik, hogy egy kazettát mikor kezdtek el használni, ki és mikor vette ki a könyvtárból, hányszor lett írva / olvasva, és egy speciális eljárással a szalag és a meghajtó állapotát is nyomon követik. Így a rendszer előre figyelmeztet a problémáról, mielőtt az még bekövetkezne.
További előny, hogy a szalagkönyvtárak pár egyszerű lépésben felpartícionálhatóak több részre, különösebb költségvonzat és gyártói beavatkozás nélkül. Ez a funkció jól jöhet, ha egyetlen könytárat szeretnénk az IT mentésekhez és a videóarchívumhoz használni, ha különböző HSM szoftvereket szeretnénk párhuzamosan használni, vagy akár LTO generációváltás esetén is. LTO-4 kazettákkal is elkezdhetünk dolgozni, majd az LTO-5 megjelenését követően az egész archívumot átmigrálhatjuk a nagyobb tárkapacitású, és költséghatékonyabb LTO-5 platformra.
A Spectralogic 50 szlotos szalagkönyvtártól egészen a 10 050 szlotig (8 PB) kínál különböző méretű megoldásokat. Amennyiben nem szeretnénk rögtön nagy költségekbe verni magunkat, elég az archívum kiinduló méretét meghatározni. 10 szlotos lépésekben vásárolhatunk licenszeket a bővítéshez. Amennyiben pedig „kinőnénk“ a választott könyvtárunk fizikai méretét, mindig lehetőség van az úgynevezett Transcale opcióval átmenteni az összes érdemi hardver komponensünket a régi rendszerből egy „új ruhába“, azaz egy nagyobb házba, így tehát nem kell idő előtt az egész rendszerünket lecserélni, csak némi belső mechanikát, valamint néhány takarólemezt.
Ha a szalagkönyvtárunk meghibásodik, visszaküldhetjük azt a gyártóhoz, vagy kérhetünk helyszíni támogatást, de a hibák elhárításának leggyorsabb módja, ha az ASM csomagot választjuk, melyben a rendszer összes kritikus komponensét magunknál tarthatjuk. A Spectra könyvtárakban minden elem könnyedén kicserélhető minimális telefonos segítség mellett. A cserét követően, a kezelői felületen elég egyetlen gombot megnyomni ahhoz, hogy a felügyeleti rendszer összegyűjtse az alkatrész csere napló fájlait, és elküldje a gyártónak, aki ezután automatikusan postázza az új pótalkatrészt.
Szalagkönyvtár
A Spectralogic kínálatában merevlemezes NAS megoldások is találhatóak, melyeken különböző szoftverek is futtathatóak. Bár szoftver-függetlenek, a költséghatékonyságot szem előtt tartva, migrációs célokra kínált megoldásuk pont egy OEM Xendata HSM rendszert futtat.
Xendata
A Xendata egy HSM megoldásokra szakosodott angliai cég. Szoftverüket 2001 óta folyamatosan fejlesztik, és 2005 óta kapható a kereskedelmi forgalomban. Eredetileg ők is az IT piacra koncentráltak, de mostanra számukra is a Broadcast terület lett a meghatározó. Több, mint 150 installációval rendelkeznek a média iparban, legújabb referenciájuk a mexikói állami IFE archívum, akik 150 Xendata rendszert installáltak Mexikó szerte videóarchiválási célokra. A rendszerintegrátorokon és a viszonteladókon túl, forgalmuk igen jelentős részét az OEM partnerek teszik ki, hiszen a különböző Media Asset Management és Automation gyártók (pl.: Blue Order, Pharos, Dalet, Aveco) könnyedén integrálják saját megoldásaikkal. A Xendata szinte minden szalagkönyvtár gyártó megoldásaival együttműködik, és az LTO-n túl a Sony formátumait is támogatja. Alapvetően két változata létezik: az egy szerveres megoldás (X32 és X64), valamint a több szerveres rendszer (MX64).
Az elsőt kisebb szalagkönyvtárakhoz használhatjuk, tipikusan három LTO meghajtóig, az MX64-et már nagyobbakhoz ajánlják, ahol szükséges további adatmozgató gépek –u.n. datamover-ek közbeiktatása is, a drive-ok kiszolgálására. A Xendata a RAID tárolót és a szalagkönyvtárat egyaránt virtualizálja, és egyetlen meghajtóként tünteti fel (például F: meghajtó). Amennyiben egy fájl már törlődött a merevlemezekről, a Windows Offline Attribute jelzi, hogy a fájl csak szalagról érhető el, és egyben meg is akadályozza az időtúllépést a hálózaton. A Xendata három archívum szintet különböztet meg: „Online“ esetén az adat a RAID-en található, „Nearline“ esetén a szalagkönyvtárban LTO kazettán, „Offline“ esetén pedig LTO kazettán, a szalagkönyvtáron kívül található.
Oldalnézetben, munkában a robot
A Xendata HSM szoftver offline kazettakezelési metódusa az, ami igazán költséghatékonnyá teszi ezt a programot, ugyanis az offline kazetták kezelése a kazetták számától függetlenül teljesen költségmentes. Gondoljunk csak el, milyen komoly költségeket lehet íly módon megtakarítani például a tartalék replikációk esetében.
A szoftverben az automatikus replika készítés előre beállítható, az elkészült másolatokat kivehetjük a könyvtárból, és átszállíthatjuk a biztonsági raktárba. Amennyiben a keresett kazettát a rendszer nem találja a könyvtárban, a Xendata Alert Modul értesíti a felhasználót e-mailben vagy egy Windows-os pop-up ablakkal, hogy melyik kazettát kell előkeresnie és betöltenie. Ennek a funkciónak köszönhetően akár egy mezei asztali LTO drive-ot is használhatunk szalagkönyvtár helyett, ha nem igényeljük az automatizációt.
A rendszer működését szabályok alapján definiálhatjuk. Különböző fájltípusokat más-más tape-set-ekhez delegálhatunk, így elkülöníthetjük például az irodai és a videó fájlokat is egymástól. A tape-set-eket a rendszer dinamikusan bővíti, és a nagyobb fájlokat is automatikusan szétdarabolja több kazettára. A különböző fájltípusokhoz megadható, hogy kikerüljenek-e szalagra, vagy maradjanak a RAID-en. Az új re-pack funkcióval az archívumból törölt fájlok miatt felszabadult helyet is visszanyerhetjük a szalagokon. Továbbá bármelyik kazetta tartalmát lekérdezhetjük a rendszerből, ami bizony nem minden HSM rendszer esetén egyértelmű.
A Xendata Management Console egy Windows MMC beépülő. Az egyik legjobban kezelhető HSM adminisztrációs felületként tartják számon a Broadcast iparban. A szoftver a Windows sztenderd biztonsági modelljét, az Active Directory-t is támogatja.
A Xendata teljesen szabványos TAR formátumot használ, ami több, mint 30 éves múltra tekint vissza, és számtalan szoftver tudja olvasni. Az egyedi formátumokkal szemben a TAR a garancia arra, hogy archívált adatainkat a gyártó megszűnése esetén is, bármikor vissza tudjuk állítani. A Xendata adatbázisát kimenthetjük akár szalagra, akár pendrive-ra. A szoftver ugyanakkor felírja a szalag katalógusát minden egyes kazettára, így nem kell az egészet végigolvasni, amikor egy másik archívumba akarjuk beimportálni, vagy vész esetén vissza szeretnénk a metaadatokat gyorsan állítani.
Élőben is kipróbáltuk
A Spectralogic – Xendata páros páratlan hatékonyságáról a helyszínen is meggyőződhettünk, egy demórendszer segítségével. Az életszerű helyzet kedvéért egy komplett fájl alapú munkafolyamatot néztünk végig, mialatt folyamatosan nyomon követtük az archívum működését. A lánc elején a Telestream Pipeline eszköze vett fel egy videósztreamet, amit egy Macintosh munkaállomás vezérelt. A Pipeline egy SDI bejárattal és egy RS-422 porttal rendelkezik (VTR vezérléshez), és a felvételt etherneten keresztül küldi el a vezérlőprogramot futtató gépnek. A mostani beállítás szerint a létrejött DV25 videót a vezérlőprogram rögtön egy NAS tárolón helyezte el, egy dedikált könyvtárban.
Kazetták a vonalkódokkal
Az ide érkező fájlokat a Telestream FlipFactory automatikusan észlelte, és átkódolta kis felbontású változatba, egyben timecode-ot is égetett bele és letette a vágók könyvtárába a NAS-on. Az eredeti DV25 videót a FlipFactory átmozgatta az archívumba, ahol végigkövettük az útját a RAID tárolóról egészen a szalagra írásig, a Xendata Management Console segítségével. Ezzel a módszerrel a vágók már a kis felbontású változatokkal dolgozhatnak, a hálózat leterhelése nélkül, míg az eredeti fájlok az archívumba kerülnek.
A vágás befejeztével történt az eredeti változat visszahívása. Az archívum teljes tartalmát egyben láttuk a kliens gépekről, a Windows-os Norton Commander-ből és a Macintosh gép Finder-éből is. Amennyiben a kért videó a RAID-en volt, azonnal elérhetővé vált. Amennyiben a fájlt a Xendata a RAID-ről már törölte, akkor pár percet várni kellett, hogy a rendszer kikeresse a kazettát és behelyezze az LTO meghajtóba, és ekkor történt meg a másolás a szalagkönyvtár és a RAID között, a valós időnél kb. 20 – 30 x gyorsabban. A Xendatában létrehozható szabályokkal az is beállítható volt, hogy a szalagról visszahívott videókat hány óra/nap múlva törölje le a RAID-ről. Ez Broadcast környezetben igen hasznos funkció, hisz így nem szükséges minden alkalommal végigvárni a RAID és a könyvtár közötti másolást, ha egy archivált anyag egy időszakra ismét aktuálissá válik.
