گوگل گوگل بوٹ کرال کی حدود پر مزید معلومات کا اشتراک کرتا ہے۔

Google کے Gary Ilyes اور Martin Splitt نے Googlebot کی کرال کی حدوں پر تبادلہ خیال کیا، اس بارے میں مزید تفصیلات فراہم کیں کہ حدود کیوں موجود ہیں اور اس بارے میں نئی ​​معلومات کا انکشاف کیا کہ ان حدود کو کس طرح اوپر کی طرف ایڈجسٹ کیا جا سکتا ہے یا ضرورتوں اور کیا کیا جا رہا ہے اس پر منحصر ہے۔

Googlebot کی حدود کے بارے میں تفصیلات

Gary Illyes نے گوگل پر پردے کے پیچھے کیا ہو رہا ہے اس کی تفصیلات شیئر کیں جو Googlebot 15 میگا بائٹ کی حد سے شروع ہونے والی مختلف کرال کی حدود کو چلاتی ہیں۔

انہوں نے کہا کہ گوگل کے اندر کسی بھی کرالر کی 15 میگا بائٹ کی حد ہوتی ہے اور واضح طور پر کہا کہ اس حد کو اوور رائڈ یا سوئچ آف کیا جا سکتا ہے۔ درحقیقت، انہوں نے کہا کہ گوگل کے اندر ٹیمیں باقاعدگی سے اس حد کو اوور رائیڈ کرتی ہیں۔ اس نے گوگل سرچ کی مثال استعمال کی، جو اس حد کو دو میگا بائٹس پر ڈائل کرکے اسے اوور رائیڈ کرتا ہے۔

ایلیس نے وضاحت کی:

“میرا مطلب ہے، ایسی بہت سی چیزیں ہیں جو ہمارے اپنے تحفظ یا ہمارے بنیادی ڈھانچے کے تحفظ کے لیے ہیں۔ مثال کے طور پر، بدنام زمانہ 15 میگا بائٹ ڈیفالٹ حد جو کہ بنیادی ڈھانچے کی سطح پر مقرر کی گئی ہے۔

اور بنیادی طور پر کوئی بھی کرالر جو اس ترتیب کو اوور رائڈ نہیں کرتا ہے اس کی حد 15 میگا بائٹ ہوگی۔ بنیادی طور پر یہ سرور سے بائٹس حاصل کرنا شروع کرتا ہے یا جو کچھ بھی سرور بھیج رہا ہے۔ اور پھر ایک اندرونی کاؤنٹر ہے۔ اور پھر جب یہ 15 میگا بائٹس تک پہنچ جاتا ہے، تو یہ بنیادی طور پر بائٹس وصول کرنا بند کر دیتا ہے۔

مجھے نہیں معلوم کہ یہ کنکشن بند کرتا ہے یا نہیں۔ میرے خیال میں اس سے کنکشن بند نہیں ہوتا۔ یہ صرف سرور کو جواب بھیجتا ہے کہ، ٹھیک ہے، آپ اب روک سکتے ہیں۔ میں اچھا ہوں

لیکن پھر انفرادی ٹیمیں اس کو اوور رائیڈ کر سکتی ہیں۔ اور ایسا ہوتا ہے۔ یہ کافی حد تک ہوتا ہے۔ اور مثال کے طور پر، گوگل سرچ کے لیے، خاص طور پر گوگل سرچ کے لیے، حد کو دو میگا بائٹس پر اوور رائیڈ کر دیا گیا ہے۔”

Googlebot پر حدود انفراسٹرکچر کے تحفظ کے لیے ہیں۔

Illyes نے اس کے بعد ایک مثال شیئر کی جہاں کرال کی حد کو بڑھانے کے لیے 15 میگا بائٹ کی حد کو اوور رائیڈ کیا جاتا ہے، اس معاملے میں PDFs کے لیے۔ یہ وہ جگہ ہے جہاں اس نے گوگل کے بنیادی ڈھانچے کو بہت زیادہ ڈیٹا سے مغلوب ہونے سے بچانے کے تناظر میں گوگل بوٹ کی حدود کا ذکر کیا۔

انہوں نے مزید تفصیلات پیش کی:

“ٹھیک ہے، زیادہ تر سب کچھ۔ جیسے، مثال کے طور پر، PDFs کے لیے، یہ ہے، مجھے نہیں معلوم، 64 یا کچھ بھی۔ کیونکہ PDFs، HTTP معیار کی طرح، اگر آپ اسے PDF کے طور پر ایکسپورٹ کر سکتے ہیں، میرے خیال میں آپ نے کہا ہے کہ، اگر آپ اسے PDF کے طور پر ایکسپورٹ کرتے ہیں، تو یہ 96 میگا بائٹس یا کچھ اور ہے۔

لیکن اس کا مطلب یہ ہے کہ یہ ہمارے بنیادی ڈھانچے کو مغلوب کر دے گا اگر ہم پوری چیز کو حاصل کریں اور پھر اسے ایچ ٹی ایم ایل، بلہ، بلہ، میں تبدیل کریں اور پھر اس پر کارروائی شروع کریں۔
یہ بالکل ایسا ہی ہے، یہ بہت زیادہ ہے کیونکہ اس میں بہت زیادہ ڈیٹا ہے۔

اور HTML کے لیے بھی ایسا ہی ہے۔ یہ ایچ ٹی ایم ایل کا معیار زندگی ہے۔ جیسا کہ اگر آپ کے پاس 14 میگا بائٹس ہیں، تو ہم اسے حاصل نہیں کریں گے۔ ہم انفرادی صفحات کو حاصل کرنے جا رہے ہیں کیونکہ خوش قسمتی سے، ان کے پاس HTML کی انفرادی خصوصیات کے لیے انفرادی صفحات رکھنے کے لیے کافی دماغی طاقت بھی تھی۔ ہم ان صفحات کو حاصل کر سکتے ہیں، لیکن ہمارے پاس HTML معیار کے 14 میگا بائٹ ون پیجر میں سے کچھ بھی کارآمد نہیں ہوگا۔

دوسرے گوگل کرالر کی مختلف حدود ہیں۔

اس مقام پر، Illyes نے انکشاف کیا کہ Google کے دیگر کرالر کی حدود مختلف ہیں اور یہ کہ دستاویزی حدود گوگل کے تمام کرالر پر سخت حدود نہیں ہیں۔

اس نے جاری رکھا:

“تو ہاں، اور دوسرے کرالر، میں نے کبھی دوسرے کرالر پر کام نہیں کیا، لیکن دوسرے کرالر کے لیے مجھے یقین ہے کہ مختلف سیٹنگز ہیں۔ میں تصور کر سکتا ہوں، مثال کے طور پر، انفرادی پروجیکٹس میں بھی، اس کی ایک ہی چیز کے لیے مختلف سیٹنگ ہو سکتی ہے۔

جیسے، مثال کے طور پر، میں تصور کر سکتا ہوں کہ اگر ہمیں کسی چیز کو بہت تیزی سے انڈیکس کرنے کی ضرورت ہے، تو مثال کے طور پر، تراش کی حد ایک میگا بائٹ ہو سکتی ہے۔ مجھے نہیں معلوم کہ ایسا ہے یا نہیں، لیکن میں تصور کر سکتا ہوں کہ ایسا ہو گا۔ کیونکہ اگر آپ کو انڈیکسنگ پائپ لائن کے ذریعے سیکنڈوں کے اندر اندر کسی چیز کو آگے بڑھانے کی ضرورت ہے، تو چھوٹے ڈیٹا سے نمٹنا آسان ہے۔

گوگل کا رینگنے والا انفراسٹرکچر یک سنگی نہیں ہے۔

سرچ آف دی ریکارڈ ایپی سوڈ کا یہ حصہ مارٹن اسپلٹ کے اس بات کی تصدیق کے ساتھ اختتام پذیر ہوا کہ گوگل کا رینگنے والا انفراسٹرکچر لچکدار اور اس سے کہیں زیادہ متنوع ہے جو گوگل کی دستاویزات میں بیان کیا گیا ہے، یہ کہتے ہوئے کہ یہ یک سنگی نہیں ہے۔ یک سنگی کا لفظی معنی ہے ایک بڑے پیمانے پر پتھر کی چٹان اور اس کا استعمال کسی ایسی چیز کو بیان کرنے کے لیے کیا جاتا ہے جو غیر متغیر اور مستقل ہو۔ یہ کہہ کر کہ گوگل کے کرالر یک سنگی نہیں ہیں، سپلٹ اس بات کی تصدیق کر رہا ہے کہ وہ بازیافت کی حدود اور دیگر کنفیگریشنز کے لحاظ سے لچکدار ہیں۔

اس نے گوگل کے رینگنے والے انفراسٹرکچر کو بطور سروس بطور سافٹ ویئر بیان کرنے پر بھی صفر کیا۔

سپلٹ نے ٹیک ویز کا خلاصہ کیا:

“یہ سچ ہے۔ یہ سچ ہے۔ میرے خیال میں عام طور پر، صرف ایک یک سنگی قسم کی چیز کی طرح رینگنے کے اس خیال کو صاف کرنا مفید ہے۔ یہ ایک سافٹ ویئر کی طرح ایک سروس کی طرح ہے جو تلاش ہے، یا خاص طور پر ویب تلاش، ایک کلائنٹ ہے اور کسی یک سنگی قسم کی چیز کی طرح نہیں۔

اور جیسا کہ آپ نے کہا، ترتیب بدل سکتی ہے۔ یہ گوگل بوٹ کے اندر بھی تبدیل ہو سکتا ہے۔ اگر میں ایک تصویر تلاش کر رہا ہوں، تو ہم شاید تصاویر کو 2 میگا بائٹس سے بڑی ہونے کی اجازت دیتے ہیں، میرا اندازہ ہے، کیونکہ تصاویر آسانی سے 2 میگا بائٹس سے بڑی ہوتی ہیں۔ پی ڈی ایف، اجازت دیں 64۔ جو بھی دستاویزی ہے، ہم دستاویزات کو لنک کریں گے۔ لیکن مجھے لگتا ہے کہ یہ کامل معنی رکھتا ہے۔

اور اگر آپ اس کے بارے میں سوچتے ہیں جیسا کہ، یہ ایک ایسی سروس ہے جسے ہم پیرامیٹرز کے ایک گروپ کے ساتھ کال کرتے ہیں، تو یہ دیکھنے میں بہت زیادہ معنی رکھتا ہے، ٹھیک ہے، لہذا مختلف ترتیب ہے۔ اور یہ کنفیگریشن درخواست کی سطح پر تبدیل ہو سکتی ہے، ضروری نہیں کہ صرف لائیک ہو، گوگل بوٹ ہمیشہ ایک جیسا ہوتا ہے۔

20 منٹ کے نشان سے سرچ آف دی ریکارڈ ایپی سوڈ سنیں:

نمایاں تصویر بذریعہ Shutterstock/BestForBest