Big Data என்றால் என்ன?

Big Data என்றால் என்ன?

பாரிய அளவிலான தரவுகளைக் குறிப்பதற்காக நிறுவன அமைப்புக்களில் பயன்படுத்தப்படும் ஒரு சொற்றொடரே Big  Data (பெரும் தரவுகள் ) எனப்படுகிறது.  இது ஒரு குறிப்பிட்ட அளவிலான தரவுகளைக் குறிக்காது. மாறாக பாரம்பரிய தரவுத்தள மென்பொருட்களைப் பயன்படுத்தி சேமிக்கவோ அல்லது செயற்பாட்டிற்கு உட்படுத்தவோ முடியாத ஒரு தரவுத்தொகுதியை குறித்து நிற்கிறது. 

பெரும் தரவுகளுக்கு எடுத்துக்காட்டாக கூகுள் தேடற்பொறியின் தேடல் சுட்டி , பேஸ்புக் பயனர் சுய விபரங்கள், மற்றும் அமெஷோன் நிறுவன  (Amazon. Com) மின் வணிக தளத்தில் உள்ள பொருட்களின் பட்டியல் போன்றவற்றைக் குறிப்பிடலாம்.  இத்தரவுக் கூட்டமானது அளவில் மிகப் பெரியவை . இவற்றை வழமையான ஒரு தரவுத்தளத்திலோ அல்லது ஒரு கணினியிலோ சேமிக்கப்பட முடியாது.  பதிலாக வழமையான தரவுத் தள நிர்வாக மென்பொருள்களை விட மேம்பட்ட தரவுத்தள நிர்வாக அமைப்பைப் பயன்படுத்தி சேமிக்கப்பட்டு செயற்பாட்டிற்கு உட்படுத்த வேண்டும்.  பிக் டேட்டாவானது பெரும்பாலும் ஒன்றிற்கு மேற்பட்ட சேர்வர் கணினிகளில் சேமிக்கப்படுவதோடு சில நேரங்களில் இக்கணினிகள் ஒரே இடத்தில் இல்லாமல் பல்வேறு இடங்களில் உள்ள கணினிகளிலும்
சேமிக்கப்படுவதுண்டு.

வழமையான தரவுத்தள நிர்வாக மென் பொருட்களில் எவ்வளவு தரவுகளை சேமிக்க முடியும் என்பதற்கு  எல்லைகள் உள்ளன. உதாரணமாக
ஒரு  MS - Access 2010 தரவுத்தள நிர்வாக மென்பொருளில் இரண்டு கிகா பைட் தரவுகளை நிர்வாகிக்கக் கூடியதாகயிருக்கும் . ஆனால் இதன் மூலம் பல பெடாபைட் (petabyte) அல்லது எக்ஸாபைட் (Exabyte) அளவு கொண்ட தரவுகளைச் சேமிக்க முடியாது. வழமையான தரவுத்தள நிர்வாக மென்பொருள்களின் மூலம் ஒரு வேளை பாரிய அளவிலான தரவுகளை சேமிக்க முடியுமாக இருந்தாலும் அளவுக்கதிகமான தரவுத்தள அட்டவணைகளையும் பதிவுகளையும் உருவாக்கும் போது அதன் செயற்திறன் பெருமளவில் குறைந்து விடும் வாய்ப்புள்ளது.

இவ்வாறான சிக்கல்களுக்குத் தீர்வாக பிக் டேட்டா தொழிநுட்பம் பயன்படுகிறது. இது மேம்பட்ட தேக்க முறைகளையும் மிக வேகமான செயற்திறனும் கொண்டதாய் உள்ளது.   தரவுத் தேக்க மற்றும் தரவுப் பகுப்பாய்வு நிரல்கள் உள்ளடங்கிய பல்வேறு பெரும் தரவுகள் மென்பொருள்கள் பயன்பாட்டில் உள்ளன.  அப்பாச்சி ஹெடூப் (Apache hadoop) ஐபிஎம் இன்று பிக் டேட்டா தளம், ஓரக்கிள் நிறுவனத்தின் oracle NoSQL தரவுத்தள மற்றும் மைக்ரோசொப்ற் நிறுவனத்தின் HDInsight  போன்றவற்றை உதாரணமாக குறிப்பிடலாம்.  கணினி தரவு என்பது கணினியால்  சேமிக்கப்பட்டு செயன் முறைக்குட்படுத்தக் கூடிய தரவுகளாகும் . இத்தரவுகள் உரை (text ), எண்கள் (numbers ) , படங்கள்  (images ) ,ஆடியோ( audio )கோப்புக்கள் , வீடியோ கோப்புக்கள்  என பல வகையான தரவு வடிவங்களில் இருக்கலாம் என்பதையும் நினைவில் கொள்க.