العيد ال 20 لملف مانع محركات البحث Robots.txt

السلام عليكم الأستاذ هيثم غانم, رمضانكم مبارك كريم لدي بعض الأسئلة لها علاقة بهذا الملف الذي ذكرته ” robots.txt”.
أنوي انشاء موقع الكتروني لتسويق بنظام الأفيلييت من متجر الأمازون, لدى استعمل اضافة تقوم باستراد المحتوى من حسابي على الأمازون وهذا الاستراد يكون بشكل اتوماتيكي (اسم المنتج ,الثمن, تفاصيل المنتج, مدة البيع وغيرها من التفاصيل) وهذا الاستراد قد تعتبره قوقل محتوى مكرر خصوصاً وأن متجري الذي انوي افتتاحه يحمل الآلاف الصفحات وبكونه سوف يكون حديث العهد ويحمل هذا الكم سرعان ما ستدخله قوقل في “الساند بوكس”.
وعندما بحث عن هذه المشكلة على الانترنت قبل أن تواجهي قرأت هذا:
If you’re launching a large shopping catalog with copied product descriptions, I would recommend that you either add some unique content to the product pages or mark the pages as “nofollow, noindex” and slowly change them to “follow, index” as you add unique content to the website.
وبالتالي أسئل هل فعلاً عندما أضع روابط منتجاتي جميعها في ملف robots.txt سوف يمنع قوقل من الزحف إليها وعندما يكتسب الموقع أقدمية أزيل روابط المنتوجات تدريجياً إلى أن يستقر الوضع.. أتسائل ما الجدوى من هذه العملية . مع العلم أن كتابة محتوى فريد لا يستقيم لأن تفاصيل المنتج يجب أن تبقى كما هي مع الكم الهائل من هذه المنتجات سوف يعقد المسئلة أكثر..
وعذراً على الإطالة في انتظار ردكم الكريم او من الاخ ماجد..