2013. július. 31. 20:00
hvg.hu
Utolsó frissítés: 2013. július. 31. 19:27
Tech
Hadoop-alapokon a Jobmonitor
A Jobmonitor.hu Hadoop alapú rendszerre való áttéréséről számolt be a a Precognox, az álláskereső weboldal motorjának fejlesztője. Az új megoldás lehetővé teszi a kiszolgáló hardverek zökkenőmentesebb bővítését.
A Hadoop egy, az Apache által fejlesztett nyílt forráskódú szoftver-architektúra, mely nagy adathalmazokat kezel feladatmegosztásban. A Precognox többek között az erőforrások hatékonyságának növelésére használja a rendszert a Jobmonitor kiszolgálásánál, mivel a rendszer flexibilis és horizontálisan skálázható. Emellett minimalizálja az adatveszteség lehetőségét, ugyanis a Hadoop elosztott fájlrendszere (Hadoop Distributed File System - HDFS) a munkába bevont számítógépek között szétosztott, redundáns adatcsomagokkal operál. Ez azonban nem jelent teljesítménycsökkenést, a MapReduce technológia lehetővé teszi a párhuzamos adatfeldolgozást az egyes számítógépek között. A Precognox elosztott ETL megoldása HBase NoSQL adatbázist használ, mely nagy számú adatsor és oszlop kezelésére alkalmas.