Büyük veri nedir? | Ne işe yarar?

Yazılım Mühendisliği’nde 3.sınıfı bitirdikten sonra, bitirme tezi konusu bulma telaşım başladı. Uzun yıllardır veritabanı alanına ilgi duyuyordum ve tabiri caizse bu ilgimi daha da “büyütmek” istedim! 🙂

Nedir bu Büyük Veri (Big Data) ve Büyük Veri setleri ile neler yapılabilir? Diye araştırmaya başladım.

Basit bir ifadeyle Büyük Veri, düzenli veya düzensiz biçimde, hızla büyüyen ve depolanan büyük hacimli veriler olarak ifade edilebilir.

Zihninizde rahat canlandırabilmek için söyle düşünün,

Her gün saatlerce sosyal medya platformlarını kullanıyoruz. Örneğin Facebook’u ele alalım.
Bu platform 200 milyondan fazla aktif kullanıcıya sahip ve her birimiz her gün durum, resim, video vs. paylaşabiliyoruz. Ve bu paylaşımları yıllarca sürdürebiliyoruz. Yani sürekli veri üretiyoruz.
Facebook’un günde 20 TB dan fazla veri ürettiğini düşünelim.

Peki bu kadar fazla veri nasıl işlenir ve ihtiyaç durumunda bu verilere nasıl erişilebilir?

Facebook milyonlarca kullanıcısının verilerini Hadoop Distributed File System – HDFS (Hadoop Dağıtık Dosya Sistemi) üzerinde tutuyor, veritabanı olarakta Hive ve Casandra isimli veritabanlarını kullanıyor.

Bu teknolojilere daha sonra değineceğim ancak kısaca bahsetmek gerekirse, her geçen gün hızla üretilen bu verileri kaydetmek için yüksek hacimli veritabanlarına ihtiyaç var çünkü bu kadar fazla verinin içinde klasik SQL sorguları ile işlem yapmak çok zor hatta imkansızdır. Büyük verileri işlemek için ancak ona uygun bir platform olması gerekir. Hive / Casandra gibi büyük veriler için geliştirilmiş veritabanı sistemleri, Facebook için bu noktada işleme giriyor. Facebook’ta bizlerin ürettiği bu büyük datayı veritabanlarında saklıyor.

Tıpkı Facebook gibi, Google, Twitter, Instagram, Linkedin, Amazon gibi siteler de her gün büyük veri üretir ve bu verileri işlemek için çeşitli teknolojileri kullanır.

Google, klasik büyük veri işleme yöntemlerini kullanmak yerine kendisinin geliştirdiği teknolojiyi kullanıyor. Milyarlarca internet sayfasının verisini Google File System üzerinde tutuyor, veritabanı olarakta Big Table kullanıyor. Oluşan bu büyük veriyi işlemek içinse MapReduce kullanıyor. Bu teknolojilerin her biri düşük maliyetli ve binlerce bilgisayarın bir araya gelerek oluşturduğu bir sistem şeklinde çalışıyor.

Bu tarzda kendilerine has teknolojiler üreten firmalardan esinlenerek bir çok proje geliştirilmiştir ve hala geliştirilmektedir. Bunlara en güzel örnek, Apache projeleri olarak geliştirilen Lucene, Solr, Hadoop, HBase projelerdir. Bu teknolojileri örnekler ile çoğaltmak mümkün elbette.

Gelelim elde edilen bu büyük veri setleri ile neler yapılabileceğine;

Büyük veriler analiz edilerek,

  • Sisteminizle alakalı karar alırken daha seri ve stratejik olmak için size yol gösterebilir,
  • Gerçek zamanlı hata ve problemlerin temel sebeplerini belirleyebilir,
  • Müşterilerin satın alma alışkanlıklarını analiz ederek satış amaçlı kampanyalar üretmenize olanak sağlar,
  • Risk hesaplamayı çok daha kolay ve mümkün hale getirebilirsiniz.


Büyük Veri Analizi ile neler yapılabileceğini bir örnekle zihnimizde canlandırmaya çalışalım;

Öncelikle büyük veri üreten bir sistem hayal edelim.

Örneğin, milyonlarca müşterinin talep ve şikayetlerini paylaştıkları global bir ‘Şikayet Websitesi’ olsun.
Bir de bu sitede paylaşılan istek ve şikayetleri dikkate alıp müşterileri için hizmet kalitesini arttırmak isteyen global bir banka olduğunu düşünelim.

Eskiden bankaların, pazarlama ve ürün geliştirme departmanlarının,
müşteriye yönelik yeni kampanya stratejileri geliştirebilmesi için müşteri ile ilgili sınırlı bilgilere erişimleri, müşteri ihtiyaçlarını, hesap hareketlerinin takibini ve segmentasyonları vs. inceleyerek geleneksel yöntemlerle analiz etmesi ve her birini tek tek inceleyip çıkarım yapması gerekirdir.

Ancak şimdi bu banka Büyük Veri Analizi yardımı ile bahsi geçen şikayet sitesindeki şikayetleri belli kurallara göre, kelime bazında filtreleyip işleyerek, müşterilerinin nelerden şikayetçi olduğunu, bu sistem sayesinde binlerce müşteriden feedback alarak öğrenebilir durumda. Bu bilgiler ışığında yeni bir ürün veya hizmet geliştirerek, mevcut müşteri memnuniyetini arttırırken, müşterisi olmayan kişileri de nasıl potansiyel müşteri haline getirebileceklerini analiz edebiliyorlar. Hem de çok daha kısa bir sürede ve daha az efor sarf ederek!

Bu ve bunun gibi örnekleri çoğaltabiliriz. Büyük Veri’nin kullanım alanları gün geçtikçe artıyor, her geçen gün yeni bir teknoloji ile karşılaşıyoruz. Zamanı geldikçe Büyük veri ile ilgili farklı teknolojilerden bahsetmeye devam edeceğim.

Hayallerinize erişmek için parmaklarınızı kullanın, kız gibi kodlayın!

“Büyük veri nedir? | Ne işe yarar?” için 4 cevap

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir