Hadoop Küme (Cluster) Yapısı

Son yıllarda IT teknolojilerindeki gelişmeler ve nerdeyse her türlü cihazın veri üretmeye başlaması ile işlenecek veri miktarını patlatmıştır. Bu verinin (büyük veri) hızlı bir biçimde anlamlandırılması ve kullanılabilmesi için farklı yapılar oluşturulmuştur. Bu yapılardan biri de Hadoop Küme Yapısıdır.

Hadoop Küme Yapısı, büyük miktardaki yapılandırılmamış (unstructured) verinin saklanması ve analiz edilmesi/anlamlandırılması amacıyla oluşturulmuş özel yapıdaki bir kümedir. Bu yapı, veriyi parçalayarak küme içerisindeki tüm düğümlere dağıtır ve veri paralel işlenerek çok büyük bir işlem gücü elde edilir.
Bu yapının bazı özelliklerini aşağıda bulabiliriz:

Hadoop küme yapısı öncelikle büyük verinin analiz edilmesi/anlamlandırılması için kullanılmaktadır. Büyük veri dağıtık ve yapılandırılmamış olabilir. Bu yapı veriyi küçük parçalara böler ve her parça farklı bir düyüm tarafından işlenir. Veri parçaları tek tip yapıda değildir ve her bir parça farklı bir süreç ve farlı bir düğüm tarafından analiz edilir.


Hadoop küme yapısının diğer bir avantajı da ölçeklenebilir olmasıdır. Büyük veri, adı üzerinde, çok büyüktür ve sürekli büyümeye devam etmektedir. Genellikle büyük verinin analizinden elde edilen fayda, analiz sürecinin gerçek zamanlı veya çok hızlı gerçekleştirilebildiği zaman, artmaktadır. Bu yapı analiz edilecek veri miktarının artması ile yetersiz kalabilmektedir. Ancak, Hadoop küme yapısı işlem gücü ihtiyacını karşılayabilmek için, çok hızlı bir şekilde düğüm ekleyerek genişleyebilmektedir.

Hadoop küme yapısının diğer bir özelliği de fiyatıdır. Büyük verinin analiz edilmesi, özellikle IT alyapısını bilen kişiler için ucuz olması kulağa biraz ters gelebilir. Ancak, Hadoop küme yapısı uygun maliyetli bir çözüm olduğunu kanıtlayabilir. Bunun ilk sebebi bu yapının açık kaynak kodlu olmasıdır. İsteyen herkes internetten indirerek kendi altyapısını oluşturabilir. Bir diğer sebebi, oluşturulacak altyapı için özel bir donanım gerektirmemesidir. Elinizde bulunan sıradan sunucular ile küme yapısını oluşturabilirsiniz.

Hadoop küme yapısının diğer bir avantajı da hataya karşı çok dayanıklı olmasıdır. Analiz edilen veri küçük parçalara bölündükten sonra her bir parça birden çok düğüme gönderilir. Böylece küme içerisindeki bir düğümün çökmesi analiz sürecini kesintiye uğratmamaktadır.

Ancak, büyük veriyi işlemek için oluşturulan bu yapı, her zaman kurumlar için uygun olmayabilir. Küçük veri miktarı üzerinde gerçekleştirilecek analizler, yoğun olsa bile, bu küme yapısı için uygun değildir.
Hadoop küme yapısı paralel analiz için geliştirilmiştir. Uygulamaların buna uygun olarak adapte edilmemiş olması durumunda bu küme yapısı kullanım için uygun değildir.
Hadoop küme yapısını oluşturmak, yönetmek ve destek vermek için gerekli olan bilgi birikimin elde edilmesi bu yapıyı kullanmak için gerekli olan en büyük ve önemli bileşendir.

Soru şu, gerçekten Hadoop küme yapısına ihtiyacınız var mı? Tüm parametreleri değerlendirmek ve kararınızı buna göre vermek gerekir. Ancak, veri yapınıza uysun uymasın her zaman uygulamayı indirip test yapma imkanı mevcuttur.

Kaynak:
http://searchstorage.techtarget.com/