طراحی امضا

نحوه کار موتورهای جستجو چگونه است؟

وقتی جستجویی در یک موتور جستجو انجام و نتایج جستجو ارائه میشود، کاربران در واقع نتیجه همکاری بخشهای متفاوتی از آن را میبینند. موتور جستجو قبلاً پایگاه داده خود را آماده کرده است و اینگونه نیست که درست در همان لحظه جستجو، تمام وب را بگردد تا پاسخی برای پرسش کاربر بیابد. بسیاری از خود میپرسند که چگونه امکان دارد گوگل در کم‏تر از یک ثانیه تمام سایتهای وب را بگردد و میلیونها صفحه در خروجی خود لیست کند؟

درحقیقت گوگل و هر موتور جستجوی دیگری توانایی انجام چنین کاری را ندارد. همه آن‏ها در زمان پاسخگویی به کاربران، تنها در پایگاه دادهای که در اختیار دارند به جستجو میپردازند و نه در همه وب!

موتور جستجو به کمک بخشهای متفاوت خود، اطلاعات مورد نیاز را قبلاً جمع آوری، تجزیه و تحلیل میکند، آن‏ها را در پایگاه داده اش ذخیره مینماید و به هنگام جستجوی کاربر، تنها در همین پایگاه داده میگردد. موتور جستجو را میتوان شامل سه بخش اصلی دانست که عبارتند از:

جمع ‏آوری کننده اطلاعات، اسپایدر
بایگانی کننده داده ها، ایندکسر
تحلیلگر درخواست کاربر

الف ) جمع ‏آوری کننده اطلاعات

جمع‏ آوری کننده اطلاعات (اسپایدر، روبوت یا کراولر)، آن بخش از موتور جستجو است که کار جمع آوری اطلاعات مورد نیاز آن را به عهده دارد. اسپایدر به صفحات مختلف سرمیزند، محتوای آن‏ها را میخواند، اطلاعات مورد نیاز را جمع آوری میکند و در اختیار سایر بخش های موتور جستجو قرار میدهد.

اسپایدر مشخص میکند که کدام صفحات را مورد بازدید قرار دهد. در واقع تصمیم میگیرد که کدام یک از لینکهای موجود در هر صفحه را دنبال کند. ممکن است همه لینکها را دنبال کند، برخی از آن‏ها را و یا هیچ کدام را دنبال نکند. اسپایدر، ممکن است قبلاً به گونه ای برنامه ریزی شده باشد که تنها صفحات خاصی از هر سایت را ببیند.

دنبال کردن لینکهای یک صفحه بستگی به میزان تمایل و توانایی موتور جستجو در ذخیره اطلاعات یک سایت در پایگاه داده خود دارد. معمولاً موتورهای جستجو دوست دارند صفحات مهم و مورد نیاز کاربران را بایگانی کنند. اینگونه صفحات نیز در سایت های مهم و محبوب بیش‏تر دیده می‏شود تا سایتهای کم ارزش. دقت کنید که سایت های کم ارزش و نه سایتهای کوچک! سایت کوچک لزوماً کم ارزش یا بی ارزش نیست. بعداً خواهید آموخت که چگونه سایت خود را مهم جلوه دهید حتی اگر تنها یک صفحه داشته باشد! در واقع بسیاری از سایت ها نادانسته خود را بسیار کم‏تر از آن چه که واقعاً هستند، نشان میدهند!

همچنین ممکن است اجازه مرور و خواندن محتوای بعضی از صفحات به موتورهای جستجو داده نشده باشد. شما به عنوان دارنده سایت، همانطور که دوست دارید موتورهای جستجو اطلاعات سایت شما را با خود ببرند، میتوانید آن‏ها را از بعضی صفحات سایت تان دور کنید و اجازه خواندن و بایگانی کردن محتوای آن صفحات را ندهید. موتور جستجو باید قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوای آن را بررسی میکند و از حقوق دسترسی خود اطلاع می یابد.

تنظیم میزان دسترسی موتورهای جستجو به محتوای یک سایت توسط پروتکل و دستوراتی خاص انجام میشود که در بخش‌های بعد بررسی شده است.

کار اسپایدر، بسیار شبیه کار کاربران وب است. همانگونه که کاربران، صفحات مختلف را بازدید میکنند، اسپایدر هم درست همین کار را انجام میدهد، با این تفاوت که اسپایدر کدهای سازنده صفحات و کاربران نتیجه حاصل از کنار هم قرار گرفتن این کدها را میبینند.

page1.html، صفحهای است که کاربران آن را به شکل زیر میبینند:

نمونهای از صفحات وب که توسط مرورگرها نشان داده می شود.

اما اسپایدر آن را چگونه میبیند؟

برای این که شما هم بتوانید دنیای وب را از دیدگاه یک اسپایدر ببینید، کافی است که کدهای سازنده صفحات را مشاهده کنید. برای این کار در مرورگر خود، مسیر نشان داده شده زیر را دنبال کنید:

(Firefox: View > Page Source (Ctrl+U

(IE: Page > View Source (Ctrl+S

فراموش نکنید شما باید توانایی کار با هر دو مرورگر فایرفاکس و اینترنت اکسپلورر را به خوبی بدانید و سایت خود را در هر دو مرورگر اشاره شده بازدید و بررسی کنید تا سایت برای اغلب کاربران وب ظاهر مناسبی داشته باشد.

کدهای اچ تی ام ال صفحه page1.html به صورت زیر است:

کدهای اچ تی ام ال یک صفحه وب

آیا این دنیای متنی برای شما جذاب است؟

رد پای اسپایدر به هنگام مشاهده صفحات یک سایت روی سرور آن میماند. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آن را داشته باشید، می‌توانید مشخص کنید که اسپایدر کدام یک از موتورهای جستجو صفحات سایت را مورد بازدید قرار داده است.

یکی از فعالیتهای مهمی که در بازاریابی با موتورهای جستجو انجام میشود، تحلیل همین دید و بازدیدهاست. در بخشهای آتی به موضوع تحلیل آمار سایت پرداخته شده است.

ب) بایگانی کننده داده ها

تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار میگیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار میگیرند و به تکه های متفاوتی تقسیم میشوند. تجزیه و تحلیل به این معناست که مشخص میشود اطلاعات از کدام صفحه ارسال شده است، چه حجمی دارد، کلمات موجود در آن کداماند، کلمات چندبار تکرار شدهاند و در کجای صفحه قرار دارند، صفحه چه زمانی بروز رسانی شده است و…

در حقیقت ایندکسر، صفحه را به پارامترهای آن خرد میکند و تمام این پارامترها را به یک مقیاس عددی تبدیل میکند تا سیستم رتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند. تمام داده ها تجزیه و تحلیل شده، گروه بندی، کدگذاری و ذخیره میشوند. همچنین داده ها قبل از آن که ذخیره شوند، طبق تکنیکهای خاصی فشرده میشوند تا حجم کمی را اشغال کند.

یک موتور جستجو باید پایگاه داده عظیمی داشته باشد و به طور مداوم حجم محتوای آن را گسترش دهد. بزرگی و بروز بودن پایگاه داده یک موتور جستجو برای آن امتیاز محسوب میگردد.

حجم پایگاه داده موتورهای جستجو و روش ذخیره سازی داده ها در آن، متفاوت است. زمانی رقابت شدیدی در اعلام بزرگی پایگاه داده میان موتورهای جستجو وجود داشت. بعد از آن که گوگل دیگر به ارائه آمار پایگاه دادهاش ادامه نداد، عملاً رقابت به جبهه های دیگری منتقل شد. هر چند بزرگی پایگاه داده امتیاز محسوب میشود اما به نظر میرسد کیفیت در ارائه نتایج جستجو همچنان مورد‏ توجه ترین فاکتور برای رقابت است.

ج) تحلیلگر درخواست کاربر

پس از انجام تمامی مراحل گفته شده، موتور جستجو آماده پاسخگویی به کاربران است. آن‏ها چند کلمه را در فیلد جستجو وارد میکنند و سپس با فشردن دکمه جستجو، منتظر پاسخ موتور جستجو می‌مانند. برای پاسخگویی به درخواست کاربر، ابتدا تمامی صفحات مرتبط موجود در پایگاه داده، مشخص می‌شوند. پس از آن عمل رتبه بندی صورت میگیرد. به عبارت دیگر صفحات جمع‏ آوری شده، از بیش‏ترین ارتباط تا کم‏ترین ارتباط با موضوع مطرح شده، به عنوان نتایج جستجو به کاربر نشان داده میشوند.

حتی اگر موتور جستجو بهترین و کاملترین پایگاه داده را داشته باشد اما نتواند پاسخهای مرتبطی ارائه کند، یک موتور جستجوی ضعیف به شمار میآید. آلتاویستا زمانی مهم‏ترین موتور جستجو در وب بود اما تنها به همین دلیل بازی را به گوگلِ تازه وارد باخت. در حقیقت سیستم رتبه بندی قلب تپنده یک موتور جستجو است. تفاوت اصلی موتورهای جستجو نیز در سیستم رتبه بندیم می باشد.

سیستم رتبه بندی برای پاسخگویی به سؤالات کاربران، پارامترهای بسیاری را در نظر میگیرد تا بتواند بهترین پاسخها را در اختیار آن‏ها قرار دهد. به این سیستم رتبه بندی، الگوریتم گفته میشود. الگوریتم، مجموعهای از دستورالعمل هاست که موتور جستجو با اعمال آن‏ها بر پارامترهای صفحات موجود در پایگاه داده اش، تصمیم میگیرد که صفحات مرتبط را چگونه در نتایج جستجو مرتب کند.

در حال حاضر قدرتمندترین سیستم رتبه بندی را گوگل در اختیار دارد. سیستم رتبه بندی گوگل پیج رنک نام دارد که در بخشهای آتی معرفی شده است.

به طور خلاصه میتوانیم فعالیت موتور جستجو را در سه مورد زیر بگنجانیم:

مراجعه به صفحات و خواندن محتوای آن‏ها
بایگانی اطلاعات خوانده شده
رتبه بندی صفحات متناسب با کلمات جستجو شده

منبع: ایران سئو

برای اطلاعات بیشتر ادامه مطلب را ببینید.

بخش های مجزای یک موتور جستجوگر
عبارتند از:

Spider یا عنکبوت

Crawler یا خزنده

Indexer یا بایگانی کننده

Database یا پایگاه داده

Ranker یا سیستم رتبه بندی

الف

Spider- (عنکبوت)

اسپایدر یا روبوت (Robot)، نرم افزاری است که کار جمع آوری اطلاعات مورد
نیاز یک موتور جستجوگر را بر عهده دارد. اسپایدر به صفحات مختلف سر می
زند، محتوای آنها را می خواند، لینکها را دنبال می کند، اطلاعات مورد نیاز
را جمع آوری می کند و آنرا در اختیار سایر بخش های موتور جستجوگر قرار می
دهد. کار یک اسپایدر، بسیار شبیه کار کاربران وب است. همانطور که کاربران،
صفحات مختلف را بازدید می کنند، اسپایدر هم درست این کار را انجام می دهد
با این تفاوت که اسپایدر کدهای HTML صفحات را می بیند اما کاربران نتیجه
حاصل از کنار هم قرار گرفتن این کدها را. index.html صفحه ای است که
کاربران آنرا می بینند:

اما یک اسپایدر آنرا چگونه می بیند؟

برای این که شما هم بتوانید دنیای وب را از دیدگاه یک اسپایدر ببینید،
کافی است که کدهای HTML صفحات را مشاهده کنید. برای این کار در مرورگر
مورد استفاده خود، مسیر نشان داده شده در شکل (۲) دنبال کنید.

آیا این دنیای متنی برای شما جذاب است؟

اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می گذارد.
شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و
اتفاقات انجام شده در آن را داشته باشید، می توانید مشخص کنید که اسپایدر
کدام یک از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است.
یکی از فعالیتهای اصلی که در SEM انجام می شود تحلیل آمار همین دید و
بازدیدها است.

اسپایدرها کاربردهای دیگری نیز دارند، به عنوان مثال عده ای از آنها
به سایت های مختلف مراجعه می کنند و فقط به بررسی فعال بودن لینک های آنها
می پردازند و یا به دنبال آدرس ایمیل (Email) می گردند.

ب- Crawler (خزنده)
کراولر، نرم افزاری است که به عنوان یک فرمانده برای اسپایدر عمل می
کند. آن مشخص می کند که اسپایدر کدام صفحات را مورد بازدید قرار دهد. در
واقع کراولر تصمیم می گیرد که کدام یک از لینک های صفحه ای که اسپایدر در
حال حاضر در آن قرار دارد، دنبال شود. ممکن است همه آنها را دنبال کند،
بعضی ها را دنبال کند و یا هیچ کدام را دنبال نکند.

کراولر، ممکن است قبلا” برنامه ریزی شده باشد که آدرس های خاصی را طبق
برنامه، در اختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال کردن لینک
های یک صفحه به این بستگی دارد که موتور جستجوگر چه حجمی از اطلاعات یک
سایت را می تواند (می خواهد) در پایگاه داده اش ذخیره کند. همچنین ممکن
است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.

شما به عنوان دارنده سایت، همان طور که دوست دارید موتورهای جستجوگر
اطلاعات سایت شما را با خود ببرند، می توانید آنها را از بعضی صفحات سایت
تان دور کنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور
جستجو اگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به
محتوای سایت را (در صورت وجود) در فایلی خاص بررسی می کند و از حقوق
دسترسی خود اطلاع می یابد. تنظیم میزان دسترسی موتورهای جستجوگر به محتوای
یک سایت توسط پروتکل Robots انجام می شود. به عمل کراولر ، خزش (Crawling)
می گویند.

ج- Indexer (بایگانی کننده)
تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می
گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به
بخش های متفاوتی تقسیم می شوند. تجزیه و تحلیل بدین معنی است که مشخص می
شود اطلاعات از کدام صفحه ارسال شده است، چه حجمی دارد، کلمات موجود در آن
کدامند، کلمات چندبار تکرار شده اند، کلمات در کجای صفحه قرار دارند و … .

در حقیقت ایندکسر، صفحه را به پارامترهای آن خرد می کند و تمام این
پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستم رتبه بندی بتواند
پارامترهای صفحات مختلف را با هم مقایسه کند. در زمان تجزیه و تحلیل
اطلاعات، ایندکسر برای کاهش حجم داده ها از بعضی کلمات که بسیار رایج
هستند صرفنظر می کند. کلماتی نظیر a ، an ، the ، www ، is و … . از این
گونه کلمات هستند.

د – DataBase (پایگاه داده)
تمام داده های تجزیه و تحلیل شده در ایندکسر، به پایگاه داده ارسال می
گردد. در این بخش داده ها گروه بندی، کدگذاری و ذخیره می شود. همچنین داده
ها قبل از آنکه ذخیره شوند، طبق تکنیکهای خاصی فشرده می شوند تا حجم کمی
از پایگاه داده را اشغال کنند. یک موتور جستجوگر باید پایگاده داده عظیمی
داشته باشد و به طور مداوم حجم محتوای آنرا گسترش دهد و البته اطلاعات
قدیمی را هم به روز رسانی نماید. بزرگی و به روز بودن پایگاه داده یک
موتور جستجوگر برای آن امتیاز محسوب می گردد. یکی از تفاوتهای اصلی
موتورهای جستجوگر در حجم پایگاه داده آنها و همچنین روش ذخیره سازی داده
ها در پایگاه داده است.

و- Ranker (سیستم رتبه بندی)
بعد از آنکه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گویی
به سوالات کاربران است. کاربران چند کلمه را در جعبه جستجوی (Search Box)
آن وارد می کنند و سپس با فشردن Enter منتظر پــاسخ می مانند. برای
پاسخگویی به درخواست کاربر، ابتدا تمام صفحات موجود در پایگاه داده که به
موضوع جستجو شده، مرتبط هستند، مشخص می شوند. پس از آن سیستم رتبه بندی
وارد عمل شده، آنها را از بیشترین ارتباط تا کمترین ارتباط مرتب می کند و
به عنوان نتایج جستجو به کاربر نمایش می دهد.

حتی اگر موتور جستجوگر بهترین و کامل ترین پایگاه داده را داشته باشد
اما نتواند پاسخ های مرتبطی را ارایه کند، یک موتور جستجوگر ضعیف خواهد
بود. در حقیقت سیستم رتبه بندی قلب تپنده یک موتور جستجوگر است و تفاوت
اصلی موتورهای جستجوگر در این بخش قرار دارد. سیستم رتبه بندی برای پاسخ
گویی به سوالات کاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند
بهترین پاسخ ها را در اختیار آنها قرار دارد.

حرفه ای های دنیای SEM به طور خلاصه از آن به Algo ( الگوریتم) یاد می
کنند. الگوریتم، مجموعه ای از دستورالعمل ها است که موتور جستجوگر با
اعمال آنها بر پارامترهای صفحات موجود در پایگاه داده اش، تصمیم می گیرد
که صفحات مرتبط را چگونه در نتایج جستجو مرتب کند. در حال حاضر
قدرتمندترین سیستم رتبه بندی را گوگل در اختیار دارد.

می توان با ادغام کردن اسپایدر با کراولر و همچنین ایندکسر با پایگاه
داده، موتور جستجوگر را شامل سه بخش زیر دانست که این گونه تقسیم بندی هم
درست می باشد:

کراولر

بایگانی
سیستم رتبه بندی

تذکر- برای سهولت در بیان مطالب بعدی هر گاه صحبت از بایگانی کردن
(شدن) به میان می آید، مقصود این است که صفحه تجزیه و تحلیل شده و به
پایگاه داده موتور جستجوگر وارد می شود.

برای آنکه تصور درستی از نحوه کار یک موتور جستجوگر داشته باشید
داستان نامتعارف زیر را با هم بررسی می کنیم. داستان ما یک شکارچی دارد.
او تصمیم به شکار می گیرد:

- کار کراولر:
او قصد دارد برای شکار به منطقه حفاظت شده ابیورد، واقع در شهرستان درگز (شمالی ترین شهر خراسان بزرگ) برود.

- پروتکل Robots :
ابتدا تمام محدودیت های موجود برای شکار در این منطقه را بررسی می کند:

*
آیا در این منطقه می توان به شکار پرداخت؟

*
کدام حیوانات را می توان شکار کرد؟

*
حداکثر تعداد شکار چه میزانی است؟

*
و … .

فرض می کنیم او مجوز شکار یک اوریال (نوعی آهو) را از شکاربانی منطقه دریافت می کند.

- کار اسپایدر
او اوریالی رعنا را شکار می کند و سپس آنرا با خود به منزل می برد.

- کار ایندکسر
شکار را تکه تکه کرده، گوشت، استخوان، دل و قلوه، کله پاچه و … آنرا بسته بندی می کند و بخش های زاید شکار را دور می ریزد.

- کار پایگاه داده
بسته های حاصل را درون فریزر قرار داده، ذخیره می کند.

- کار سیستم رتبه بندی
مهمانان سراغ او می آیند و همسرش بسته به ذائقه مهمانان برای آنها غذا
طبخ می کند. ممکن است عده ای کله پاچه، عده ای آبگوشت، عده ای … دوست
داشته باشند. پخت غذا طبق سلیقه مهمانان کار سختی است. ممکن است همه آنها
آبگوشت بخواهند اما آنها مسلما” بامزه ترین آبگوشت را می خواهند!

نکته ها:

شکارچی می توانست برای شکار کبک یا اوریال و یا هر دو به آن منطقه
برود همانطور که موتور جستجوگر می تواند از سرور سایت شما انواع فایل
(عکس، فایل متنی، فایل اجرایی و …) درخواست کند.

*
شکارچی می تواند شب به شکار برود یا روز. موتور جستجوگر هم ممکن است
شب به سایت شما مراجعه کند یا روز. بنابراین همواره مطمئن باشید که سایت
شما آپ است و موتور جستجوگر می تواند در آن به شکار فایلها بپردازد.

*
غذای خوشمزه را می توانید با نتایج جستجوی دقیق و مرتبط مقایسه کنید.
اگر شکارچی بهترین شکار را با خود به منزل ببرد اما غذایی خوشمزه و مطابق
سلیقه مهمانان طبخ نگردد، تمام زحمات هدر رفته است.

*
به عنوان آخرین نکته این بخش یاد آوری می کنم که به شکار اوریالی رعنا
آن هم در منطقه حفاظت شده ابیورد (پارک ملی تندوره) اصلا فکر نکنید. اما
توصیه می شود که حتما از طبیعت بکر آن دیدن فرمایید (بدون اسلحه!)