1. گوگل

موتورهای جستجوی پيمايشی (Crawler-Based Search Engines) مانند گوگل فهرست خود را بصورت خودکار تشکيل می‌دهند. آنها وب را پيمايش کرده، اطلاعاتی را ذخیره می‌کنند، سپس کاربران از میان این اطلاعات ذخیره شده، آنچه را که می‌خواهند جستجو می‌کنند. اگر شما در صفحه وب خود تغييراتی را اعمال نماييد، موتورهای جستجوی پيمايشی آنها را به طور خودکار می‌يابند و سپس اين تغييرات در فهرست‌ها اعمال خواهد شد. عنوان، متن و ديگر عناصر صفحه، همگی در این فهرست قرار خواهند گرفت.وجه مشخصه این گروه از جستجوگرها وجود نرم افزار موسوم به SPIDER در آنهاست. این شبه نرم افزار کوچک بصورت خودکار به کاوش در شبکه جهانی پرداخته و از پایگهای وب یادداشت برداری و فهرست برداری میکند سپس این اطلاعات را برای تجزیه و تحلیل و طبقه بندی به بانک اطلاعاتی موتور جستجوگر تحویل می دهد.

2. فهرست‌های تکمیل‌دستی

فهرست‌های تکميل‌دستی يا (Human-Powered Directories) مانند فهرست بازی (Open Directory) مانند Dmoz وابسته به کاربرانی است که آن را تکميل می‌کنند. شما صفحه مورد نظر را به همراه توضيحی كوتاه در فهرست ثبت می‌کنيد يا اين کار توسط ويراستارهايی که برای آن فهرست در نظر گرفته شده، انجام می‌شود. عمل جستجو در اين حالت تنها بر روی توضيحات ثبت شده صورت می‌گيرد و در صورت تغيير روی صفحه وب، روی فهرست تغييری به وجود نخواهد آورد. چيزهايی که برای بهبود يک فهرست‌بندی در يک موتور جستجو مفيد هستند، تأثيری بر بهبود فهرست‌بندی يک دايرکتوری ندارند. تنها استثناء اين است که يک سايت خوب با پايگاه داده‌ای با محتوای خوب شانس بيشتری نسبت به يک سايت با پايگاه داده ضعيف دارد. البته در مورد جستجوگرهای مشهور مانند گوگل و یاهو، یک مولفه دیگر هم برای بهبود فهرستبندی وجود دارد که کمک مالی (یا به اصطلاح اسپانسر) است، یعنی وب‌گاههایی که مایل به بهبود مکان وب‌گاه خود در فهرست بندی هستند، می‌توانند با پرداخت پول به این جستجوگرها به هدف خویش برسند.

3. موتورهای جستجوی ترکيبی با نتايج مختلط

به موتورهايی گفته می‌شود که هر دو حالت را در کنار هم نمايش می‌دهند. غالباً، يک موتور جستجوی ترکيبی در صورت نمايش نتيجه جستجو از هر يک از دسته‌های فوق، نتايج حاصل از دسته ديگر را هم مورد توجه قرار می‌دهد. مثلاً موتور جستجوی ام.اس.ان (MSN) بيشتر نتايج حاصل از فهرست‌های تکميل‌دستی را نشان می‌دهد اما در کنار آن نيم نگاهی هم به نتايج حاصل از جستجوی پيمايشی دارد.

4. ابر جستجوگرها

اين گونه جديد از موتورهای جستجوگر كه قدمت چندانی نيز ندارند،بصورت همزمان از چندین موتورجستجوگر برای کاوش در شبکه برای کلید واژه مورد نظر استفاده می کنند .بدين معنی كه اين موتور عبارت مورد نظر شما را در چندين موتورجستجوگر ‍ِ جستجو کرده و نتايج آنها را با هم تركيب كرده و يك نتيجه كلی به شما ارائه می‌دهد.به‌عنوان مثال موتورجستجوگر داگ پايل [1] از نتايج حاصل از موتورهای Google - Yahoo - MSN و ASK استفاده كرده و نتيجه حاصله را به شما ارائه می‌دهد.لازم به ذکر است که روش و یا راهکار مشخص و یکسانی برای ترکیب نتایج حاصله از موتورهای پایه - موتورهایی که به عنوان موتور جستجوگر استفاده میشوند مانند Yahoo که یک موتور پایه برای dogpile میباشد - وجود ندارد.

بررسی يک موتور جستجوی پيمايشی

موتورهای جستجوی پيمايشی شامل سه عنصر اصلی هستند. اولی در اصطلاح عنکبوت (Spider) است که پيمايش‌گر (Crawler) هم ناميده می‌شود. پيمايش‌گر همين که به يک صفحه می‌رسد، آن را می‌خواند و سپس پيوند‌های آن به صفحات ديگر را دنبال می‌نمايد. اين چيزی‌ست که برای يک سايت پيمايش‌شده (Crawled) اتفاق افتاده است. پيمايش‌گر با يک روال منظم، مثلاً يک يا دو بار در ماه به سايت مراجعه می‌کند تا تغييرات موجود در آن را بيابد. هر چيزی که پيمايش‌گر بيابد به عنصر دوم يک موتور جستجو يعنی فهرست انتقال پيدا می‌کند. فهرست اغلب به کاتالوگی بزرگ اطلاق می‌شود که شامل ليستی از آنچه است که پيمايش‌گر يافته است. مانند کتاب عظيمی که فهرستی را از آنچه پيمايش‌گرها از صفحات وب يافته‌اند، شامل شده است. هرگاه سايتی دچار تغيير شود، اين فهرست نيز به روز خواهد شد. از زمانی که تغييری در صفحه‌ای از سايت ايجاد شده تا هنگامی که آن تغيير در فهرست موتور جستجو ثبت شود مدت زمانی طول خواهد کشيد. پس ممکن است که يک سايت پيمايش‌شده باشد اما فهرست‌شده نباشد. تا زمانی که اين فهرست‌بندی برای آن تغيير ثبت نشده باشد، نمی‌توان انتظار داشت که در نتايج جستجو آن تغيير را ببينيم. نرم‌افزار موتور جستجو، سومين عنصر يک موتور جستجو است و به برنامه‌ای اطلاق می‌شود که به صورت هوشمندانه‌ای داده‌های موجود در فهرست را دسته‌بندی کرده و آنها را بر اساس اهميت طبقه‌بندی می‌کند تا نتيجه جستجو با کلمه‌های درخواست شده هر چه بيشتر منطبق و مربوط باشد.

رتبه‌بندی صفحات وب توسط موتورهای جستجو

وقتی شما از موتورهای جستجوی پيمايشی چيزی را برای جستجو درخواست می‌نماييد، تقريباً بلافاصله اين جستجو از ميان ميليون‌ها صفحه صورت گرفته و مرتب می‌شود بطوريکه مربوط‌ترين آنها نسبت به موضوع مورد درخواست شما رتبه بالاتری را احراز نمايد. البته بايد در نظر داشته باشيد که موتورهای جستجو همواره نتايج درستی را به شما ارائه نخواهند داد و مسلماً صفحات نامربوطی را هم در نتيجه جستجو دريافت می‌کنيد و گاهی اوقات مجبور هستيد که جستجوی دقيقتری را برای آنچه می‌خواهيد انجام دهيد اما موتورهای جستجو کار حيرت‌انگيز ديگری نيز انجام می‌دهند. فرض کنيد که شما به يک کتابدار مراجعه می‌کنيد و از وی درباره «سفر» کتابی می‌خواهيد. او برای اين که جواب درستی به شما بدهد و کتاب مفيدی را به شما ارائه نمايد با پرسيدن سؤالاتی از شما و با استفاده از تجارب خود کتاب مورد نظرتان را به شما تحويل خواهد داد. موتورهای جستجو همچنين توانايی ندارند اما به نوعی آنها را شبيه‌سازی می‌کنند. پس موتورهای جستجوی پيمايشی چگونه به پاسخ مورد نظرتان از ميان ميليونها صفحه وب می‌رسند؟ آنها يک مجموعه از قوانين را دارند که الگوريتم ناميده می‌شود. الگوريتم‌های مورد نظر برای هر موتور جستجويی خاص و تقريباً سری هستند اما به هر حال از قوانين زير پيروی می‌کنند:

1) مکان و بسامد

يکی از قوانين اصلی در الگوريتم‌های رتبه‌بندی موقعيت و بسامد (تعداد تکرار) واژه‌هایی است که در صفحه مورد استفاده قرار گرفته‌اند که بطور خلاصه روش مکان-بسامد (Location/Frequency Methode) ناميده می‌شود. کتابدار مذکور را به خاطر می‌آورِد؟ لازم است که او کتاب‌های در رابطه با واژه «سفر» را طبق درخواست شما بيابد. او در وحله اول احساس می‌کند که شما به دنبال کتاب‌هايی هستيد که در نامشان کلمه «سفر» را شامل شوند. موتورهای جستجو هم دقيقاً همان کار را انجام می‌دهند. آنها هم صفحاتی را برايتان فهرست می‌کنند که در برچسب عنوان (Title) موجود در کد زبان نشانه‌گذاری اَبَرمتنی (زنگام) (HTML) حاوی واژه «سفر» باشند. موتورهای جستجو همچنين به دنبال واژه مورد نظر در بالای صفحات و يا در آغاز بندها (پاراگراف‌ها) هستند. آنها فرض می‌کنند که صفحاتی که حاوی آن واژه در بالای خود و يا در آغاز بندها و عناوين باشند به نتيجه مورد نظر شما مربوط‌تر هستند. بسامد عامل بزرگ و مهم ديگری است که موتورهای جستجو از طريق آن صفحات مربوط را شناسايی می‌نمايند. موتورهای جستجو صفحات را تجزيه کرده و با توجه به تکرار واژه‌ای در صفحه متوجه می‌شوند که آن واژه نسبت به ديگر واژه‌ها اهميت بيش‌تری در آن صفحه دارد و آن صفحه را در درجه بالاتری نسبت به صفحات ديگر قرار می‌دهند.

چگونگی کارکرد دقيق موتورهای جستجو درباره روش‌هايی از قبيل مکان-تکرار فاش نمی‌شود و هر موتور جستجويی روش خاص خود را دنبال می‌کند. به همين دليل است که وقتی شما واژه‌های همانندی را در موتورهای متفاوت جستجو می‌کنيد، به نتايج متفاوتی می‌رسيد.الگوریتم های اولیه موتورهای جستجوی معتبر و بزرگ همچنان محرمانه نگهداری می شوند. برخی موتورهای جستجو نسبت به برخی ديگر صفحات بيشتری را فهرست کرده‌اند. نتيجه اين خواهد شد که هيچ موتور جستجويی نتيجه جستجوی مشترکی با موتور ديگر نخواهد داشت و شما نتايج متفاوتی را از آنها دريافت می‌کنيد. موتورهای جستجو همچنين ممکن است که برخي از صفحات را از فهرست خود حذف کنند البته به شرطی که آن صفحات با هرزنامه (Spam) شدن سعی در گول زدن موتورهای جستجو داشته باشند. فرستادن هرزنامه (Spamming) روشی است که برخی از صفحات برای احراز رتبه بالاتر در موتورهای جستجو در پيش می‌گيرند و آن به اين صورت است که با تکرار بيش از حد واژه‌ها و یل بزرگ نوشتن یا بسیار ریز نوشتن متنها بطور عمدی كوشش در بر هم زدن تعادل و در نتيجه فريب موتورهای جستجو دارند. آنها سعی دارند که با افزايش عامل تکرار، در رتبه بالاتری قرار بگيرند. البته آنگونه که گفته شد تعداد تکرار ها اگر از حد و اندازه خاصی فراتر رود نتیجه معکوس می‌دهد.موتورهای جستجو راه‌های متنوعی برای جلوگيری از فرستادن هرزنامه دارند و در اين راه از گزارش‌های کاربران خود نيز بهره می‌برند. امروزه بهینه سازی سایت های اینترنت برای موتورهای جستجو یکی از مهم‌ترین روشهای جلب بازدید کننده به سایت است.

2) عوامل خارج از صفحه

موتورهای جستجوی پيمايشی اکنون تجربه فراوانی در رابطه با وب‌دارهايی دارند که صفحات خود را برای کسب رتبه بهتر مرتباً بازنويسی می‌کنند. بعضی از وب‌دارها (وب‌مسترها)ی خبره حتی ممکن است به سمت روش‌هايی مانند مهندسی معکوس برای کشف چگونگی روش‌های مکان-تکرار بروند. به همين دليل، تمامی موتورهای جستجوی معروف از روش‌های امتيازبندی «خارج از صفحه» استفاده می‌کنند. عوامل خارج از صفحه عواملی هستند که از تيررس وب‌دارها خارجند و آنها نمی‌توانند در آن دخالت کنند و مسأله مهم در آن تحليل ارتباطات و پيوندهاست. به وسيله تجزيه صفحات، موتورهای جستجو پيوندها را بررسی کرده و از محبوبيت آنها می‌فهمند که آن صفحات مهم بوده و شايسته ترفيع رتبه هستند. به علاوه تکنيک‌های پيشرفته به گونه‌ای است که از ايجاد پيوندهای مصنوعی توسط وب‌دارها برای فريب موتورهای جستجو جلوگيری می‌نمايد. علاوه بر آن موتورهای جستجو بررسی می‌کنند که کدام صفحه توسط يک کاربر که واژه‌ای را جستجو کرده انتخاب می‌شود و سپس با توجه به تعداد انتخاب‌ها، رتبه صفحه مورد نظر را تعيين کرده و مقام آن را در نتيجه جستجو جابه‌جا می‌نمايند.

انواع موتور جستجو

تقسیم بندی دیگری از موتورهای جستجو به صورت زیر وجود دارد:

1 - موتورهاي عمومي كه در كليه پايگاهها فارغ از نوع آن جستجو مي كنند. موتورهاي عمومي معروف عبارتند از: altavista.com, google.com, go.com, hotbot.com .

2 - موتورهاي تخصصي در يك رشته خاص مانند اخبار "news.com"، تجارت "deja.com"، شركتها "yellow pages.com"،افراد "whowhere.com"، مقالات و انتشارات "infojump.com"

3 - موتورهاي تخصصي در خدمات اينترنت مانند گروههاي خبري و مباحثه "deja.com"، بهترين پايگاه "magellan.com".

4 - موتورهاي كلان ; اين موتورها عبارت مورد جستجو را همزمان به چند موتورجستجو داده و پاسخها را اولويت بندي كرده و با ذكر نام موتور جستجو نمايش مي دهند.مانند mamma.com,savvysearch.com

5 - نقطه شروع ; اينگونه سايتها موتورهاي جستجو را برحسب موضوعات مختلف معرفي مي كنند. درصورتي كه موتورهاي تخصصي و عمومي را نمي شناسيد از اين پايگاهها شروع كنيد. مانند allonesearch.com

6 - موتور اختصاصي پايگاهها; بعضي از پايگاههاي بزرگ مانند مايكروسافت ، جنرال الكتريك ،... از داخل پايگاه خود موتور جستجو دارند. جديدا مي توان از موتورهاي جستجو عمومي مانند hotbot,altavista,... در يك پايگاه جهت جستجو در آن استفاده كرد.

تقسيم بندي ديگري كه از موتور جستجو مي توان كرد، موتورهاي جستجوگر، و دوم موتورهايي است كه پايگاهها را دسته بندي موضوعي كرده اند و به آنها web directoryگفته مي شود. معروفترين آنها webcrawear,yahooاست . درحال حاضر اكثر موتورهاي جستجو دسته بندي موضوعي نيز دارند و در هر دسته و يا زيرشاخه هاي بعدي مي توان جستجو كرد.

بخش های موتور جستجوگر

بخش های مجزای یك موتور جستجوگر عبارتند از:

Spider یا عنکبوت
Crawler یا خزنده
Indexer یا بایگانی کننده
Database یا پایگاه داده
Ranker یا سیستم رتبه بندی

الف Spider- (عنکبوت)
اسپایدر یا روبوت (Robot)، نرم افزاری است كه كار جمع آوری اطلاعات مورد نیاز یك موتور جستجوگر را بر عهده دارد. اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینکها را دنبال می کند، اطلاعات مورد نیاز را جمع آوری می كند و آنرا در اختیار سایر بخش های موتور جستجوگر قرار می دهد. كار یك اسپایدر، بسیار شبیه كار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازدید می كنند، اسپایدر هم درست این كار را انجام می دهد با این تفاوت كه اسپایدر كدهای HTML صفحات را می بیند اما كاربران نتیجه حاصل از كنار هم قرار گرفتن این كدها را.

اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آن را داشته باشید، می توانید مشخص كنید كه اسپایدر كدام یک از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یکی از فعالیتهای اصلی که در SEM انجام می شود تحلیل آمار همین دید و بازدیدها است.

اسپایدرها كاربردهای دیگری نیز دارند، به عنوان مثال عده ای از آنها به سایت های مختلف مراجعه می كنند و فقط به بررسی فعال بودن لینك های آنها می پردازند و یا به دنبال آدرس ایمیل (Email) می گردند.

ب- Crawler (خزنده)
كراولر، نرم افزاری است كه به عنوان یك فرمانده برای اسپایدر عمل می كند. آن مشخص می كند که اسپایدر كدام صفحات را مورد بازدید قرار دهد. در واقع کراولر تصمیم می گیرد كه كدام یك از لینك های صفحه ای كه اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضی ها را دنبال كند و یا هیچ كدام را دنبال نكند.

کراولر، ممكن است قبلا" برنامه ریزی شده باشد که آدرس های خاصی را طبق برنامه، در اختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال كردن لینك های یک صفحه به این بستگی دارد كه موتور جستجوگر چه حجمی از اطلاعات یک سایت را می تواند (می خواهد) در پایگاه داده اش ذخیره كند. همچنین ممكن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.

شما به عنوان دارنده سایت، همان طور كه دوست دارید موتورهای جستجوگر اطلاعات سایت شما را با خود ببرند، می توانید آنها را از بعضی صفحات سایت تان دور كنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور جستجو اگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوای سایت را (در صورت وجود) در فایلی خاص بررسی می کند و از حقوق دسترسی خود اطلاع می یابد. تنظیم میزان دسترسی موتورهای جستجوگر به محتوای یک سایت توسط پروتكل Robots انجام می شود. به عمل کراولر ، خزش (Crawling) می گویند.

ج- Indexer (بایگانی كننده)
تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به بخش های متفاوتی تقسیم می شوند. عوامل مهم در فهرست كردن يك صفحه وب (تجزیه و تحلیل كردن يك صفحه وب)، تعداد وقوع كلمه در صفحه ، محل قرارگيري آن ، نوع فايلهاي مورداستفاده در صفحه ، درجه اهميت كلمه در صفحه با توجه به كليد واژه هاي تعيين شده توسط مالك صفحه و توضيحات آمده در بخش دستورات meta در شناسنامه صفحه مي باشد.

موتورهاي جستجوعمومي به دو روش كلمات را فهرست بندي مي كنند:

1- keyword indexing: اغلب موتورهاي جستجو براساس كلمات فهرست بندي مي كنند. درواقع درجستجوكلمات هم معني راتشخيص نمي دهند.

concept based indexing – 2 : براساس مفهوم كلمه فهرست بندي مي كنند. بدين ترتيب كه اگر شما به دنبال كلمه y2kبگرديد، صفحاتي كه كلمات 2000 year problem نيز در نتايج مي آيد.

معروفترين موتوري كه براساس مفهوم جستجو مي كند، excite.com مي باشد.

نكته ديگري كه در فهرست بندي بايد بدانيد اين است كه هر موتور چه بخشهايي ازيك صفحه را فهرست مي كند. براي مثال ممكن است فقط hyperlink,heading, titleها ويا چند خط اول صفحه را فهرست كند. در برخي از موتورهاي جستجو مانند opentext مي توان تعيين كرد كه كلمه مورد جستجو در كجاي صفحه باشد. براي مثال در...,heading,title .

در حقیقت ایندکسر، صفحه را به پارامترهای آن خرد می کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستم رتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند. در زمان تجزیه و تحلیل اطلاعات، ایندکسر برای كاهش حجم داده ها از بعضی كلمات كه بسیار رایج هستند صرفنظر می کند. كلماتی نظیر a ، an ، the ، www ، is و ... از این گونه كلمات معروف به stop word هستند.

د - DataBase (پایگاه داده)
تمام داده های تجزیه و تحلیل شده در ایندکسر، به پایگاه داده ارسال می گردد. در این بخش داده ها گروه بندی، كدگذاری و ذخیره می شود. همچنین داده ها قبل از آنكه ذخیره شوند، طبق تکنیکهای خاصی فشرده می شوند تا حجم كمی از پایگاه داده را اشغال كنند. یك موتور جستجوگر باید پایگاده داده عظیمی داشته باشد و به طور مداوم حجم محتوای آنرا گسترش دهد و البته اطلاعات قدیمی را هم به روز رسانی نماید. بزرگی و به روز بودن پایگاه داده یك موتور جستجوگر برای آن امتیاز محسوب می گردد. یكی از تفاوتهای اصلی موتورهای جستجوگر در حجم پایگاه داده آنها و همچنین روش ذخیره سازی داده ها در پایگاه داده است.

و- Ranker (سیستم رتبه بندی)
بعد از آنكه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گویی به سوالات كاربران است. كاربران چند كلمه را در جعبه جستجوی (Search Box) آن وارد می كنند و سپس با فشردن Enter منتظر پــاسخ می مانند. برای پاسخگویی به درخواست کاربر، ابتدا تمام صفحات موجود در پایگاه داده كه به موضوع جستجو شده، مرتبط هستند، مشخص می شوند. پس از آن سیستم رتبه بندی وارد عمل شده، آنها را از بیشترین ارتباط تا كمترین ارتباط مرتب می كند و به عنوان نتایج جستجو به كاربر نمایش می دهد.

می توان با ادغام کردن اسپایدر با کراولر و همچنین ایندکسر با پایگاه داده، موتور جستجوگر را شامل سه بخش زیر دانست که این گونه تقسیم بندی هم درست می باشد:

کراولر
بایگانی
سیستم رتبه بندی

برای آنكه تصور درستی از نحوه كار یك موتور جستجوگر داشته باشید داستان نامتعارف زیر را با هم بررسی می كنیم. داستان ما یک شکارچی دارد. او تصمیم به شكار می گیرد:

- کار کراولر
او قصد دارد برای شكار به منطقه حفاظت شده ابیورد، واقع در شهرستان درگز (شمالی ترین شهر خراسان بزرگ) برود.

- پروتكل Robots
ابتدا تمام محدودیت های موجود برای شكار در این منطقه را بررسی می كند:

آیا در این منطقه می توان به شکار پرداخت؟
کدام حیوانات را می توان شکار کرد؟
حداکثر تعداد شکار چه میزانی است؟
و ... .
فرض می کنیم او مجوز شكار یک اوریال (نوعی آهو) را از شكاربانی منطقه دریافت می كند.

- کار اسپایدر
او اوریالی رعنا را شكار می كند و سپس آنرا با خود به منزل می برد.

- کار ایندکسر
شكار را تكه تكه كرده، گوشت، استخوان، دل و قلوه، كله پاچه و ... آنرا بسته بندی می كند و بخش های زاید شکار را دور می ریزد.

- کار پایگاه داده
بسته های حاصل را درون فریزر قرار داده، ذخیره می کند.

- کار سیستم رتبه بندی
مهمانان سراغ او می آیند و همسرش بسته به ذائقه مهمانان برای آنها غذا طبخ می كند. ممكن است عده ای كله پاچه، عده ای آبگوشت، عده ای ... دوست داشته باشند. پخت غذا طبق سلیقه مهمانان کار سختی است. ممكن است همه آنها آبگوشت بخواهند اما آنها مسلما" بامزه ترین آبگوشت را می خواهند!

شکارچی می توانست برای شکار کبک یا اوریال و یا هر دو به آن منطقه برود همانطور که موتور جستجوگر می تواند از سرور سایت شما انواع فایل (عکس، فایل متنی، فایل اجرایی و ...) درخواست کند.
شکارچی می تواند شب به شکار برود یا روز. موتور جستجوگر هم ممکن است شب به سایت شما مراجعه کند یا روز. بنابراین همواره مطمئن باشید که سایت شما آپ است و موتور جستجوگر می تواند در آن به شکار فایلها بپردازد.
غذای خوشمزه را می توانید با نتایج جستجوی دقیق و مرتبط مقایسه کنید. اگر شکارچی بهترین شکار را با خود به منزل ببرد اما غذایی خوشمزه و مطابق سلیقه مهمانان طبخ نگردد، تمام زحمات هدر رفته است.

عوامل مهم در انتخاب موتور جستجو

عوامل زيردرانتخاب موتورجستجومهم هستند:

· حجم بانك اطلاعاتي موتور جستجو و تعداد صفحات مرور شده توسط آن

· به روز بودن بانك اطلاعاتي

· تعداد صفحات مرورشده در روز

· سرعت برگرداندن نتايج جستجو

· تعداد سرويس دهنده هاي آن در شبكه اينترنت جهت كاهش ترافيك و افزايش سرعت

· نحوه نمايش نتايج جستجو و كنترل آن توسط كاربر

· نحوه اولويت بندي نتايج حاصله و ارتباط آنها با يكديگر و كنترل آن توسط كاربر

· راحتي استفاده

· صفحات معرفي شده به آن طي چند روز در فهرست قرار مي گيرند

· پشتيباني ,imagemap,frameامنيت در پايگاهها

· قابليت جستجو در نتايج

· پشتيباني stop words

· حساس به حروف بزرگ و كوچك

· پشتيباني عبارت

· عدم محدوديت درتعدادحروف عبارت جستجو

· دسته بندي موضوعي وامكان جستجودرهردسته

· جستجو در خدمات اينترنت شامل وب ، گروههاي خبري و مباحثه ،...

· پشتيباني عملگرهاي جستجو

· پشتيباني زبانهاي مختلف وتبديل زبانهابه يكديگر

· جستجو براساس تاريخ

· ارائه امكانات بهتر از جمله ارسال نتايج به آدرس پست الكترونيك ، ارائه تبليغات "banner" مرتبط با عبارت .

· جستجو براساس نوع فايل مانند تصوير

· جستجو در مكان خاصي از صفحه وب

· جستجو در دستورات "tag" صفحه وب

· ارائه كليد واژه ها و نتايج مشابه

عملگرهاي جستجو

· عملگر REQUIRED TERM "+" وقتي اين عملگر در كنار يك كلمه مي آيد به معني اين است كه كلمه موردنظر حتما در صفحه باشد.

· عملگر PROHIBITED TERM"-" با گذاشتن اين عملگر كنار كلمه ، صفحاتي آورده مي شود كه كلمه موردنظر در آن نباشد، در مثال language-english +تمام صفحاتي آورده مي شود كه كلمه language در آن باشد ولي زبان english در آنها نباشد.

· عملگر PROXIMITY كلمات موردنظر در كنار هم و يا نزديك هم باشند. با عملگرnear/n دو كلمه به تعداد n كلمه نزديك يكديگر باشند. با عملگر followed byمابين دوكلمه ، دوكلمه دقيقا در كنار هم و با ترتيب قيدشده بيايند. موتور جستجوي webcrawler قويترين موتور در زمينه PROXIMITY است .

· عملگرWILDCARD"* ويا$" با اين عملگر براي مثال radio* تمام صفحاتي كه كلمه radio و مشتقات آن را داشته باشد مي آورد. مثل كلمه radiology، باتوجه به موتور،تعداد حروف آورده شده بعداز كلمه متفاوت خواهدبود.

· عملگر منطقي BOOLEAN شامل

AND NOT, OR, AND با استفاده از ANDمابين دوكلمه صفحاتي كه هم كلمه اول وهم كلمه دوم را شامل شود مي آورد. با استفاده ORمابين دوكلمه ، صفحاتي كه يا كلمه اول و يا كلمه دوم را شامل شود مي آورد.

بااستفاده AND NOT مابين دوكلمه ، صفحاتي آورده مي شود كه شامل كلمه اول باشد و حتي شامل كلمه دوم نباشد. بجاي عبارت AND NOT,OR,AND مي توان ازنشانه هاي آن استفاده كرد:

- & به جاي AND

- ا به جاي OR

- ! به جاي NOT

گروهبندي منطقي با استفاده از پرانتز () مثل : iran and "tourism or hotel"

استفاده از quotation mark براي مشخص كردن عبارت . " search engine" دقيقا دوكلمه به صورت يك عبارت در صفحه باشد. مي توان براي مشخص كردن عبارت ازعلامت |;بين كلمات استفاده كرد.

بسياري از موتورهاي جستجو در دو حالت ساده و پيشرفته "advanced" جستجومي كنند. معمولا درحالت پيشرفته ، عملگرهاي منطقي و PROXIMITY قابل استفاده مي باشد.

چگونه جستجوي بهتري انجام دهيم

بخاطر داشته باشيد كليد جستجوي موفق در اين است كه شما باهوش تر از كامپيوترهستيد.

ابتدا ببينيدكه به دنبال چه موضوعي هستيد باتوجه به انواع موتور جستجو كه درابتداي مقاله ذكر شد، موتور خود را انتخاب كنيد. قبل از جستجو لازم است با مراجعه به برنامه help هر موتور دستورالعمل هاي آن را مطالعه كنيد تا حداكثراستفاده ازآن رابكنيد.عملگرهاي گفته شده دربالا معمولا دراكثرموتورهاقابل استفاده هستند.

علاوه بر نكات قيدشده در مقاله رعايت نكات ذيل كمك بسياري در انجام جستجوي بهتر دارد:

1 - از حروف بزرگ براي جستجو اسامي خاص ، شركتها و محصولات استفاده كنيد. درانگليسي بسياري از كلمات عام و خاص هستند مثل ORACLE كه به معني الهام غيبي است ولي به صورت خاص ORACLE يك RDBMS است .

2 - بعضي از كلمات از ساير كلمات مشتق شده است كوچكترين آن مجموعه را بدهيد.

3 - از كلمات مفرد استفاده كنيد جمع آن نيز در نتايج خواهدآمد.

4 - اگر تلفظ صحيح يك كلمه را نمي دانيد چند تلفظ را با هم بدهيد مثل : dostoyevski dostoevski dostoevsky

5 - از عبارت استفاده كنيد " best search engine "

6 - چند مترادف كلمه را باهم بدهيد. secure security privacy safe

7 - مي توان درجه بندي نتايج را كنترل كرد و يا مي توان به يك كلمه در يك عبارت وزن بيشتري دادبراي مثال shopping shopping shopping mall

8 - از كلمات عمومي مثل كتاب car استفاده نكنيد بلكه با استفاده از عبارت ، دقيقا دريك زمينه ســــوال كنيـد بــــراي مثــــال اگر مي خواهيد ماشين بخريد نام ماشين و شهر موردنظر خود را وارد كنيد "toyota dealership" and texas

9 - بسياري از موتورهاي جستجو در كنار نتايج حاصله similar sites دارند كه امكان دسترسي به نتايج بهتر را مي دهند.

10 - تاريخ صفحات را مشخص كنيد.

11 - نوع زبان را مشخص كنيد. در انتها پايگاههايي هستند كه مي توان از طريق آنها استراتژي جستجو را تعريف كرد.باتوجه به عوامل مهم ازنظر شما، موتور جستجوي مناسب را معرفي مي كند. نمونه آن noodlequest.com است.

اهمیت تجاری موتورهای جستجوگر

فعالان عرصه تجارت الکترونیک، آوردن بیننده به سایت را برای موفقیت در دنیای وب و تجارت آنلاین ضروری می دانند. فرقی نمی‌کند که سایت چه می‌فروشد و چه خدماتی ارایه می دهد: اگر سایتی به دنبال فروش کالا یا خدمات و کسب درآمد یا محبوبیت است، باید بیننده داشته باشد.

تعداد بینندگان یک سایت، برگ برنده آن برای کسب موفقیت در دنیای وب می‌باشد. سایتی که بیننده ندارد، بدون شک مرگی آنلاین را تجربه می‌کند و چه بسیارند سایتهایی که هر روزه از چرخه زندگی در وب خارج می شوند!
مدیران و طراحان خبره وب به خوبی می دانند که فقط طراحی یک وب سایت تضمینی برای آمدن بیننده به آن نیست بلکه باید بینندگان را به طریقی به سایت جذب کرد. بینندگان تنها به دنبال رفع نیازهای اطلاعاتی خود می باشند و وظیفه ندارند به هر قیمتی که شده سایت شما را بیابند.
برای دعوت بینندگان به وب سایتتان چه تدابیری اندیشیده اید؟ چگونه دیگران بدانند که شما سایت پر محتوا و جذابی دارید؟ خود شما چگونه سایتهای دیگر را می یابید؟

بدون هیچ گونه تردیدی باید گفت که ما در اغلب موارد به کمک موتورهای جستجوگر به آنچه که می خواهیم، دست می یابیم.
اگر ما اینکار را انجام می دهیم، دیگران نیز دقیقا همین کار را می کنند: جستجوی چند عبارت در یکی از موتورهای جستجوگر و مراجعه به یکی از وب سایتها. ببینیم آمارها چه می گویند:

• 82 درصد کاربران اینترنت، موتورهای جستجوگر را ابزار اصلی خود برای یافتن وب سایتها عنوان کرده اند.
• 57 درصد از کاربران اینترنت، هر روز جستجو می‌کنند و 46 درصد این جستجوها برای کالا یا خدمات است. (منبع: SRI )
• 85 درصد ترافیک هدفمند در اینترنت را موتورهای جستجوگر باعث می‌شوند.
(منبع: 7th www user survey-Georgia Institute of Technology)

همان گونه که آمارها نشان می‌دهند موتورهای جستجوگر ابزار مناسبی هستند که خریداران به کمک آنها، کالا یا خدمات مورد نیاز خود را می‌یابند. البته تنها رده‌های بالای نتایج جستجو هستند که مورد توجه کاربران قرار می گیرند و آنها به سایت‌های لیست شده در این رتبه‌ها مراجعه می کنند.
بسیاری از کاربران دریافته اند که در اغلب موارد 10 رتبه اول نتایج جستجو می تواند خواسته آنها را برآورده کند و هنوز هم علاقه دارند که تنها 10 سایت اول در نتایج جستجو را مرور کنند. اما آمارها چه می گویند:

• 70 درصد از کاربران به هنگام جستجو حتما یکی از سه سایت ابتدای نتایج جستجو را کلیک می کنند.
• تنها 7 درصد از آنها سایتهای قرار گرفته در رتبه های بیستم به بعد را کلیک می کنند.
• 85 درصد از آنها اگر جوابی برای جستجوی خود در بیست نتیجه اول نتایج جستجو نیابند، موتور جستجوگر مورد استفاده خود را عوض می کنند.
• 33 درصد کاربران وب فکر می کنند سایتی که در ابتدای نتایج جستجو قرار دارد، در موضوع جستجو شده سرآمدتر از رقبای خود است و در آن موضوع پیشرو می باشد.

با دقت در این آمارها، اهمیت کسب رتبه‌های بالا در موتورهای جستجوگر روشن تر می‌شود. نکته مهم دیگر این است که بینندگانی که موتورهای جستجوگر روانه سایت‌ها می‌کنند، به احتمال زیاد مخاطبان اصلی سایت مورد نظر می‌باشند و این در حالی است که هزینه چندانی نیز صرف آوردن آنان به سایت نشده است.

آمارهای ارایه شده از رفتار کاربران وب پیام بسیار واضحی دارد: سایتهایی ‌که در رتبه‌های بالا قرار نمی‌گیرند، بخش مهمی از کاربران مخاطب خود را از دست می دهند.
یک سایت ممکن است هزاران بیننده داشته باشد اما تعداد بینندگان گروه مخاطب آن است که موفقیت سایت را رقم می زند. زیرا در اغلب موارد این بینندگان مخاطب سایت هستند که از سایت چیزی بیشتر از اطلاعات رایگان ارایه شده می خواهند.

امروزه تجارت الکترونیک خود را با مسئله رتبه بندی در موتورهای جستجوگر هماهنگ کرده است زیرا رتبه های بالاتر مستقیما به فروش بیشتر، تعبیر می شوند. طبق آمارهای ارایه شده در ابتدای سال جدید میلادی (2003) نزدیک به 93 درصد بینندگان سایت های فعال در زمینه ارایه هدایای کریسمس را موتورهای جستجوگر فراهم کرده اند که در این بین گوگل با 27 درصد در صدر ایستاده است و پس از آن یاهو با 25 درصد در رده دوم قرار گرفته است.

شم بازاریابی حکم می کند که همواره در جایی حضور داشته باشیم که مشتری ما آنجاست. اگر ما آنجا نباشیم، رقیب ما آنجا خواهد بود. به عبارت دیگر کسیکه قرار است از ما خرید کند، از رقیب ما خرید می کند:

رقیب ما هر روز چاق تر و چاق تر می شود و ما نحیف و نحیف تر.

بازاریابی با موتورهای جستجوگر (Search Engine Marketing) نیز دو هدف عمده زیر را دنبال می کند:

1. حضور در جاهایی که خریداران ما آنجا هستند.
2. بالاتر بودن از رقبا ( کسب وضعیت بهتر نسبت به رقبا)

اینگونه از بازاریابی شامل فعالیتهای مختلفی می باشد که از مهمترین فعالیتهای آن، بهینه سازی سایت (Search Engine Optimization) می باشد. در حقیقت موتورهای جستجوگر از مهمترین بینندگان هر سایتی هستند. اگر سایت شما تنها برای مرورگرها، بهینه سازی شده است، کمی تامل کنید: سایت شما باید برای موتورهای جستجوگر هم بهینه سازی گردد. به عنوان مثال مرورگرها می توانند صفحات را با وجود بعضی از خطاها در کدهای آنها، به کاربران نمایش دهند اما موتورهای جستجوگر تا این حد مهربان نیستند. خوشبختانه توجه به موتورهای جستجوگر در طراحی سایت، آنرا برای کاربران سایت هم قابل استفاده تر می کند.

بهینه سازی سایت به معنای به کارگیری ترفندهای پیچیده نیست بلکه در اغلب موارد به کارگیری و اعمال تغییرات کوچک و ساده در سایت است که معمولا تاثیر فوق العاده ای در بالا بردن ضریب نفوذ سایت شما در موتورهای جستجوگر دارند.
ضریب نفوذ مناسب به معنای حضور در موتورهای جستجوگر مهم و عمده، بایگانی شدن هر چه بیشتر صفحات سایت در پایگاه داده آنها و قرار گرفتن در صفحه های اول تا پنجم نتایج جستجوی آنهاست.

متخصصین بسیاری در تلاش‌اند تا الگوریتم و پارامترهای مورد توجه موتورهای جستجوگر را شناسایی کنند تا بتوانند به کمک آنها به رتبه‌های بالاتری دست یابند و شانس خود را در کسب درآمد بیشتر، افزایش دهند.
البته به موازات آنها، موتورهای جستجوگر نیز روز به‌ روز الگوریتم های خود را هوشمندتر کرده و بر اقدامات امنیتی برای حفاظت از الگوریتم‌هایشان می‌افزایند.
چیزی که امروزه این متخصصان با تاکید بر آنها قصد بهبودی رتبه های سایت های خود را دارند، تنها تجربه است و نه یافته های علمی ثابت شده از اسرار بسیار موتورهای جستجوگر.

معرفی چند موتور جستجوی معروف

1. گوگل

گوگل، جستجوی شرکت امریکایی گوگل، بزرگ‌ترین موتور جستجوی اینترنتی با بیش از ۲۰ میلیون درخواست خدمات روزانه.

علاوه بر جستجو در صفحات اینترنتی، خدماتی چون جستجوی در تصاویر، ‌خبرنامه‌ها، و گروه‌های اینترنتی، سرویس ایمیل با نام جی میل را نیز در فهرست خدمات خود دارد، وب‌گاه گوگل از معدود وب‌گاه‌هایی است که خدمات‌اش را به بیش از ۷۰ زبان از جمله فارسی ارایه می‌کند.

شعار و هدف گوگل:

شعار رسمی گوگل «شرارت ممنوع» است که می‌شود «هرگز بد نباشید» هم معنا گردد. هدف اعلامی گوگل از طرف بنیان گذاران آن «لری و سرگئی»، عبارت از "سامان دادن تمامی اطلاعات دنیا است..

فناوری گوگل:

فناوری متحول جستجوی گوگل و طراحی اینترفیس مطلوب برای کاربران، گوگل را به عنوان بخشی از ماشین‌های جستجوی نسل جدید تبدیل کرده‌است. فراتر از استفاده از فناوری کلمات کلیدی، گوگل براساس فناوری رتبه صفحه (PageRank) نیز پایه‌گذاری شده، که این فناوری باعث می‌شود تا نتایج مهم‌تر در یک جستجو بالاتردیده شوند.

رتبه صفحه یک سنجش معقول را برای اعتبار صفحات وبی که بر اساس معادله برابر ۵۰۰میلیون متغیر و بیش از ۲بیلیون شرایط محاسبه شدند را ایفا می‌کند. رتبه صفحه از ساختار پیوند عظیم وب به عنوان ابزار سازماندهی استفاده می‌کند. وجود یک پیوند از صفحه A به صفحه B به عنوان یک امتیاز توسط گوگل تفسیر می‌شود. با مجموع این امتیازها، گوگل تشخیص می‌دهد که کدام صفحه مهم‌تر است. همچنین گوگل این صفحات را تجزیه و تحلیل می‌کند.

مجتمع گوگل با داشتن بیش از ۱۵۰ هزار سرور، روش‌های جستجوی خودکار انسداد اینترفیس دستی است. بر خلاف ماشین‌های جستجوی دیگر، گوگل ساختاربندی شده تا نتایج جستجوی را به بهترین شکل برای تجارت ارایه دهد. یک جستجوی گوگل راهی است برای جستجوی وب‌گاهی با کیفیت مطلوب و بالا.

گروه مدیریت:

دکتر اریک ا. اشمیت، رییس کل و رییس هییت مدیره
لری پیج، کمک مؤسس و رییس، محصولات
سرگئی برین، کمک مؤسس و رییس، تکنولوژی
امید کردستانی، معاون رییس، توسعه تجاری و فروش
وینی روسینگ، معاون رییس مهندسی
سیندی مک کفری، معاون رییس، ارتباطات
جوان بردی، معاون رییس، خدمات جستجو
تیم آرمسترونگ، معاون رییس، فروش آگهی
اورس هولتزل، شخص گوگل
کریگ سیلور اشتاین، مدیر تکنولوژی

معنی گوگل:

گوگل بر گرفته شده از کلمه Googlo که به معنی «یک عدد یک و صد صفر جلوی آن» است که توسط میلتون سیروتا پسر خواهر ادوارد کاسنر ریاضیدان امریکایی اختراع شده‌است. این موضوع «یک عدد یک و صد صفر جلوی آن»، در واقع نوعی شعار و در واقع مقصود موضوع است. بدین معنی که گوگل قصد دارد تا سرویس‌ها، اهداف و اطلاع‌رسانی و اطلاعات خود را تا آن مقدار در وب در جهان گسترش دهد.

Alltheweb

يك موتورجستجوي خيلي بزرگ كه اعتبار و عموميت زيادي دارد. درسال 2002 ظاهراً يکي از مهمترين رقباي Google بشمار مي رفت . در يك بررسي صورت گرفته توسط Pandecta magazine ، كه در چهارمين سه ماه سال 2002 انجام شده است ، تخمين زده شده است كه alltheweb دومين و بزگترين پايگاه داده را دارد , همچنين در تست ارتباط نيز خوب كار ميكند و بعد ازگوگل و wisenut در رتبه سوم است. اما در تست سرعت معمولا شكست ميخورد.

Altavista

موتورجستجوي پيشگامي است كه توسط overture درفوريه 2003 خريداري شده است.

Ask jeeves

يك موتورجستجوي نسبتاً عمومي است. ادعايش براي شهرت اين است كه به شما اجازه ميدهد تا بجاي استفاده تنها از كلمات كليدي بتوانيد درخواست خود را بصورت يک سئوالات متني توضيحي واردكنيد. Ask jeeves ازteoma ، overture و ODP نتايج جستجو را دريافت ميكند.

5. Excite

يكي از موتورهاي اصلي جستجو است . و معروفترين موتوري است كه براساس مفهوم جستجو مي كند.

Hotbot

يك موتورجستجوي نسبتاً عمومي است ، اگرچه محبوبيت آن شديدا با تسلط پيدا كردن گوگل كاهش يافته است. Hotbot يكبار گزارش شده است كه بزرگترين پايگاه داده را در اختيار دارد. دريك بررسي صورت گرفته توسط pandecta magazine تخمين زده شده است كه چهارمين پايگاه داده بزرگ را بعد ازگوگل ، alltheweb و wisenut دارد . hotbot به منظور رسيدن به سرعت از فن آوري محاسبه موازي بهره برداري ميكند ( شبكه ايستگاه هاي كاري ). زماني كه شما قدرت محاسبه تركيبي اين مولفه هاي كوچكتر را اضافه ميكنيد، شما كارايي طبقاني ابركامپيوتر را به دست مي آوريد

7. Lycos

خود را به عنوان يك موتورجستجو مطرح کرده است و در اواخر دهه 90 داراي رتبه بالايي از لحاظ محبوبيت بين کاربران اينترنتي بوده است.

8. Overture

بزرگترين و عمومي ترين موتورجستجوي PPC است , كه قبلاً به عنوان GoTo شناخته شده است.

9. Teoma

يك موتورجستجوي نسبتاً جديد است . (درمقايسه با oldies‌مانند altavista ).

10. Yahoo

يكي ازاولين و دوست داشتني ترين دايركتوريهاي وب است. Yahoo درحال حاضر ( 2002 ) سايتي است كه بيشترين بازديد كننده را در اينترنت دارد.

مطلب فوق را از اينجا مشاهده کنيد