МИНИСТЕРСТВООБРАЗОВАНИЯ и науки РОССИЙСКОЙ ФЕДЕРАЦИИ
Белгородский государственныйуниверситет
Старооскольский филиал
реферат
Поисковыесистемы интернета
напримере системы «Rambler»
Выполнил:Дёменко Алексей.
студент 150группы
специальности«Педагогика и методика начального обучения»
Проверила:Карнаухова М. В.
Старый Оскол — 2004Содержание
ВВЕДЕНИЕ……………………………………………………………….……………………3
Языкпоисковых запросов……………………………………………………....…3
Регистр……………………………………………………………………………………….3
Операторы………………………………………………………………………………….3
Кавычки……………………………………………………………………………………..4
Скобки………………………………………………………………………………………..4
Метасимволы…………………………………………………………………………….4
Применениеязыка запросов…………………………………………………..….4
Морфология……………………………………………………………………………….5
Стоп-слова………………………………………………………………………………...5
Ограничениерасстояния………………………………………………………….5
Ненайденныеслова…………………………………………………………………..5
Специальныеоператоры…………………………………………………………..5Комфортныйпоиск…………………………………………………………………...5Как включитьпанель ссылок…………………………………………………..6Как сделать,чтобы Rambler находил мои документы?…………..6Как управлятьиндексированием сайта, Использование файлов robots.txt, Роботы и файл robots.txt………………………...7
Размещение файла robots.txt…………………………………………………8
Формат файлаrobots.txt…………………………………………………………8
Группы инструкций дляотдельных роботов: User-agent……..…8
Пустые строки икомментарии………………………………………………..9
Использование META-тегов «Robots»……………………………………….9Определениепозиции сайта в результатах поиска по заданномузапросу……………………………………………………………….…9Принципы работыпоисковой машины Рамблер………………….…9
Заключение………………………………………………………………………….….16Введение
Здесьописаны:
· Языкпоисковых запросов: что и как можно написать в поисковой строке;
· Применениеязыка запросов: как поисковая машина Рамблера обрабатывает запрос;
· Расширенныйпоиск: как искать в Рамблере более эффективно, пользуясь страницей Расширенногопоиска;
· Комфортныйпоиск: как установить специальную кнопку для поиска в Рамблере прямо на панельбраузера.
А такжерекомендации для владельцев сайтов:
· Каксделать, чтобы Rambler находил мои документы;
· Какуправлять индексированием сайта;
· Ответына часто задаваемые вопросы.
Языкпоисковых запросов
Поисковыйзапрос может состоять из одного или нескольких слов, в нем могут присутствоватьзнаки препинания. Составлять простые запросы можно и не вдаваясь в тонкостиязыка запросов. Так, если ввести в поисковую строку несколько слов без знаковпрепинания и логических операторов, будут найдены документы, содержащие все этислова (причем на ограниченном расстоянии друг от друга). Знание и правильноеприменение языка запросов поисковой машины поможет сделать поиск на Рамблеребыстрым и эффективным.
Регистр
В общемслучае, регистр написания поисковых слов и операторов значения не имеет, тоесть дом и ДОМ, Not и nOt воспринимаются одинаково. И лишь иногда, в целяхповышения качества поиска, регистр слов поискового запроса принимается вовнимание.
Например,если запрос состоит из двух, трех или четырех слов, каждое из которых написанос большой буквы, то предполагается поиск по имени собственному, и автоматическипроизводится изменение ограничения расстояния между словами запроса со значенияпо умолчанию на величину (n-1)*2, где n — количество слов запроса. Этопозволяет находить группу слов запроса, внутри которой есть не более одного«лишнего» слова или знака препинания, например«Баден-Баден», «А. Пушкин», «Федор МихайловичДостоевский».
Операторы
Запрос,состоящий из нескольких слов, может содержать операторы. Поиск операторов вдокументе не производится, они служат лишь инструкцией поисковой машине. Всеоператоры поисковой машины бинарные, то есть имеют левую и правую часть, каждаяиз которых также является запросом (по умолчанию состоящим из одного слова).Для изменения сферы действия операторов (группировки нескольких слов запроса варгумент оператора) применяются скобки и кавычки.
Двазапроса, соединенные оператором AND (логическое И) образуют сложный запрос,которому удовлетворяют только те документы, которые одновременно удовлетворяютобоим этим запросам. Иными словами, по запросу 'собака AND кошка'найдутся только те документы, которые содержат и слово 'собака', и слово'кошка'.
Сложномузапросу, состоящему из двух запросов, соединенных оператором OR (логическоеИЛИ) удовлетворяют все документы, удовлетворяющие хотя бы одному из этих двухзапросов. По запросу 'собака OR кошка' найдутся документы, в которыхесть хотя бы одно из слов 'собака' или 'кошка' (либо оба этислова вместе).
ОператорNOT (логическое И-НЕ) образует запрос, которому отвечают документы,удовлетворяющие левой части запроса и не удовлетворяющие правой. Так,результатом поиска по запросу 'собака NOT кошка' будут все документы, вкоторых есть слово 'собака' и нет слова 'кошка'.
Еслиоператор явно не указан, используется оператор по умолчанию AND: находятсятолько документы, содержащие все слова запроса. Так, запрос 'информациятехнологии кредит' будет истолкован как 'информация AND технологии ANDкредит'. На странице Расширенного поиска оператор по умолчанию можнозаменить на OR (Искать слова запроса: хотя бы одно).
Каждыйиз операторов имеет сокращенное обозначение:
Оператор
Сокращенное обозначение
AND
&
OR
|
NOT
!
Запросиз нескольких слов, перемежающихся операторами, будет истолкован в соответствиис их приоритетом. Операторы AND и NOT традиционно имеют более высокийприоритет, поэтому запрос из нескольких слов при обработке сначала группируетсяпо операторам AND и NOT, и лишь потом по операторам OR. Изменить порядокгруппировки можно использованием скобок.
Кавычки
Дляпоиска цитат можно использовать двойные кавычки. Слова запроса, заключенного вдвойные кавычки, ищутся в документах именно в том порядке и в тех формах, вкоторых они встретились в запросе.
Такимобразом, двойные кавычки можно использовать и просто для поиска слова взаданной форме (по умолчанию слова находятся во всех формах). Например, запросу'самолет «заправился» посадка' удовлетворяет документ,содержащий текст '… самолет совершил посадку и заправился ...', и неудовлетворяет документ, содержащий '… самолет совершил посадку, чтобызаправиться ...'.
Скобки
Припостроении запросов иногда возникает необходимость объединения слов запроса вгруппы, которые будут аргументами некоторого оператора. Такие группызаключаются в скобки.
Частьзапроса, заключенная в скобки, сама является запросом, и на неераспространяются правила языка построения запросов. Использование скобокпозволяет строить вложенные запросы и передавать их операторам в качествеаргументов, а также перекрывать приоритеты операторов, принятые по умолчанию.
Еслизапрос без скобок 'машина самолет | аэродром' эквивалентен запросу 'машинаAND самолет OR аэродром' и, в соответствии с приоритетами операторов,означает «найти документы, содержащие либо слова 'машина' и 'самолет',либо слово аэродром, то запрос со скобками 'машина (самолет | аэродром)'равносилен запросу 'машина AND (самолет OR аэродром)', что означает»найти документы, содержащие слово 'машина' и одно из слов 'самолет'или 'аэродром'".
Метасимволы
Рамблерпока не поддерживает поиск строк с использованием метасимволов ('*', '?'),которые обычно используются в значении «любая подстрока» и«произвольный одиночный символ» соответственно. Тем не менее, этиоператоры зарезервированы для подобного использования в будущем.
Применениеязыка запросов
Каждыйзапрос, адресованный поисковой машине Рамблера, обрабатывается в соответствии справилами языка запросов. Некоторые слова и символы трактуются как операторыязыка запросов и обрабатываются специальным образом. Фактически, языкомзапросов описывается некая формула, которая используется при поиске — каждый издокументов «сопоставляется» с ней, и результатом поиска являютсятолько те документы, которые ей удовлетворяют.
Например, запросу 'самолет' удовлетворяют все документы, в которых хотябы раз встретилось слово 'самолет' в любой форме. Запросу, состоящему изнескольких слов, удовлетворяют документы, содержащие каждое из этих слов влюбой форме (при некоторых условиях). Вопрос соответствия документа болеесложному запросу определяется логикой операторов и конструкций языка запросов.
Морфология
Покаждому слову запроса поиск ведется с учетом правил словоизменениясоответствующего языка. Рамблер понимает и различает слова русского ианглийского языков — по умолчанию, поиск ведется по всем формам слова.
Например,при поиске по слову 'человек' будут также найдены документы, содержащиеслова 'человеку', 'человеком', 'человека' и даже 'люди'.Чтобы провести поиск только по одной определенной форме слова, нужно взять егов двойные кавычки или воспользоваться поиском точной фразы в расширенномпоиске.
Стоп-слова
Некоторыеслова и символы по умолчанию исключаются из запроса в связи с их малойинформативностью. Это так называемые стоп-слова — самые частотные словарусского и английского языков, например, предлоги, частицы и артикли.Присутствие этих слов может замедлить поиск и негативно повлиять на полнотурезультатов. Есть возможность обозначить необходимость этих слов в запросе,взяв запрос в двойные кавычки или воспользовавшись поиском точной фразы врасширенном поиске.
Ограничение расстояния
Еслизапрос составлен из одного или нескольких слов без применения операторов иконструкций языка запросов, то будут найдены документы, в которых встречаютсявсе слова запроса. При этом для каждого запроса всегда существует такназываемое ограничение контекста — положительное число, по умолчанию равноерасстоянию в 40 слов. Документ, в котором встретились все слова запроса, будетвыдан только в том случае, если расстояние в словах между вхождениями словзапроса будет меньше этого числа. Например, по запросу 'красная армия'будут найдены те документы, в которых слова 'красная' и 'армия'хотя бы один раз встретятся менее чем в 40 словах друг от друга.
Значениеограничения контекста можно изменять конструкцией '(число, запрос)', гдечисло — любое положительное число, запрос — любой корректный с точки зренияпоисковой машины запрос, состоящий более чем из одного слова (очевидно,ограничение расстояния между словами в случае однословного запроса не имеетсмысла). Таким образом, по запросу '(2, красная армия)' найдутся толькоте документы, в которых между словами 'красная' и 'армия' хотя быраз не стоит ни одного слова (поскольку лишь в случае их непосредственногососедства разница в порядковых номерах слов меньше 2, т.е. равна 1)
Ненайденные слова
Еслизапрос состоит из нескольких слов, и при этом некоторые из них вообще неудалось найти в Интернете, то выдаются результаты поиска по частичному запросу,из которого отсутствующие в Интернете слова исключены. При этом на страницерезультатов поиска выдается соответствующая диагностика.
Специальные операторы
Рамблерпозволяет искать страницы, на которых размещены счетчики Top100, TopShop,TopList, SpyLog, а также HotLog. Для того, чтобы найти в интернете всестраницы, на которых размещен счетчик с заданным идентифтикатором, используйтеоператор ${counter=ID}, где counter — название счетчика (top100,topshop, toplist, spylog или hotlog), а ID — номер счетчика (идентификаторресурса).
Пример: длятого, чтобы найти в Интернете все страницы раздела Рамблер-Открытки(идентификатор Top100 — 193680), подайте Рамблеру запрос ${top100=193680}.
Комфортныйпоиск
Для облегчения поиска в Internet можноустановить на панель броузера (Netscape или Internet Explorer версии не ниже 4)специальную кнопку поиска в Rambler. Как это сделать?
Перетащить мышкой одну из ссылок на специальной страничке в поле панелиссылок.
После этого на панели появитсякнопка «Искать в Rambler». В броузере должно быть разрешеновыполнение JavaScript. Если во времяпросмотра документа выделить текст, который надо задать в качестве поисковогозапроса, и нажать на эту кнопку, запрос будет передан Rambler.Результаты поиска будут выведены в другом окне. Длина запроса ограничена 96 символами Как включить панель ссылок
Если панель ссылок отключена, то включить ееможно следующим образом:
Netscape
Вменю'View' отметьте'Show PersonalToolbar'
Internet Explorer
Вменю'View' (или 'Вид') определите 'ToolBars'('Панели инструментов'). Затем пометьте 'Links' ('Ссылки') Каксделать, чтобы Rambler находил мои документы?
1. Прежде всего надо заполнитьрегистрационную анкету в поисковой системе Rambler. Это будет гарантией того,что роботы Рамблера узнают о сайте и скорее начнут его индексацию. Анкетанаходится по адресу www.rambler.ru/doc/add_site_form.shtml.
2. Автоматическироботы Rambler сканируют сайты, находящиеся в следующих доменах первого уровня:
РоссийскаяФедерация: .ru, .su
Украина: .ua
Белоруссия: .by
Казахстан: .kz
Киргизия: .kg
Узбекистан: .uz
Грузия: .ge
и игнорируют сайты из других доменов.
Еслиданный сайт находится вне названных доменов (например, в зонах .com, .org,.net), но существенная часть сайта содержит русскоязычные материалы или онможет представлять интерес для русскоязычной аудитории Рамблера, можно отослатьписьмо на адрес search.support@rambler-co.ru с просьбой включить сайт в числосканируемых, либо заполнить форму обратной связи. Сотрудники Рамблерарассмотрят эту просьбу и примут решение о целесообразности такого включения.
3. Рекомендуется зарегистрировать сайт врейтинге Top100 и расставить счетчик на всех страницах сайта. Анкета,заполняемая при регистрации в этом рейтинге, индексируется ежедневно, аспециальный робот Рамблера дважды в день пополняет базу поисковой машины новымистраницами, на которых размещен счетчик. Таким образом, включение сайта вТор100 — это самый быстрый способ попасть в результаты поиска!
4. Призаполнении полей анкеты «Название сайта» и «Описание» неследует вводить в них длинные перечни ключевых слов. Эти поля все равно пока неиспользуются для поиска. Название и описание должны быть предназначены дляпрочтения человеком, так как эти поля используются в наших внутренних базахданных и просматриваются редакторами.
5. Рамблерумеет извлекать гиперссылки из объектов Macromedia Flash. Если сайт имеетзаставку или навигационные панели, выполненные c использованием этойтехнологии, Рамблер обработает их, найдет адреса всех страниц сайта ипроиндексирует весь сайт. Однако, сами тексты flash-объектов не индексируются.Это решение принято потому, что большая часть таких объектов содержит элементынавигации, заставки, меню и другие фрагменты, очень важные в качестве источникагиперссылок, но малоинформативные как текст. Для сайтов, которые целикомсостоят из flash-объектов, рекомендуется создать HTML-копию и зарегистрироватьее в поисковой машине.
6. и все другие поля ,кроме . Это связано с тем, чтоэта система старается индексировать документ таким, какой он есть (то естьтаким, каким его видит пользователь). Не секрет, что зачастую создателиинтернет-страниц злоупотребляют этими полями, пытаясь заставить поисковые машинынаходить документ по запросам, не имеющим к нему прямого отношения. Не следуеттакже использовать невидимый текст (в котором цвет шрифта совпадает с цветомфона). Комментарии в документе роботыРамблера тоже не сканируют, поэтому использовать их лучше по прямомуназначению. Помните, что каждый комментарий увеличивает размер документа, азначит, снижает вероятность того, что документ будет просмотрен пользователемдо конца.
7. Обратитевнимание на заголовки и выделения в документе. Базовые понятия и ключевые дляданного сайта слова целесообразно включать в следующие HTML-теги (в порядкезначимости):
...
, ,
Чемчаще слово встречается в этих полях, тем более вероятно, что поисковая системаRambler выдаст ссылку на Ваш документ ближе к началу списка результатов поиска.Конечно, использование этих тегов должно органично сочетаться с дизайном Вашегосайта.
8. С точки зрения поиска, использованиефреймов в документе не приветствуется. Это не означает, что роботы не умеютсканировать фреймы. Роботы Rambler прекрасно справляются с конструкциямифреймов, однако наличие лишнего этажа ссылок (от головного навигационногофрейма к «содержательным») замедляет индексацию.
Оптимальнымявляется включать в документы с фреймами HTML-тег стекстом документа и ссылками. Разумеется, это увеличит размер документа, нобудет являться актом доброй воли по отношению к пользователям текстовыхбраузеров (например, Lynx) и поисковым машинам.
9. Максимальный размер документа дляроботов Рамблера составляет 200 килобайт. Документы большего размера усекаютсядо указанной величины. Впрочем, размещать в Сети документы такого размера безособой на то необходимости — все равно дурной тон; в любом случае надоограничивать объем документа разумными рамками.
10. Роботы Рамблера обрабатывают ссылки типа, однако наряду со ссылкойтакого вида хорошо бы поместить в текст документа конструкцию . Это ускорит индексацию документов,указанных в imagemap, и облегчит доступ к документам для обычныхбраузеров.
11. При написании документов надовнимательно следить за соблюдением русского/латинского регистров. Часто,например вместо русской буквы 'р' используют латинскую 'p', вместо русского 'с'- латинское 'c'. Некоторые подобные ошибки индексатор исправляет, но не все.Слова с подобными опечатками теряют информативность.
Старайтесьне использовать дефисы '-' в качестве символов переноса. При этом словаразбиваются и теряют информативность; кроме того, такие переносы имеют всешансы оказаться у пользователя в середине строки. Помните, что браузер самосуществляет представление документа согласно текущим установкам каждогоконкретного пользователя.
12. Часто изменяющиеся (динамические)документы рекомендуется исключить из списка индексируемых, т. к. актуальностьэтих документов быстро теряется. Осуществить это можно с помощью стандартногодля HTTP механизма — посредством файла robots.txt в головной директории Вашегосайта или HTML-тега .
Частидокумента, не требующие, по Вашему мнению, индексации, можно отделять вдокументе с помощью тегов … . Изчастей документа, размеченных этими тегами, также не будут выделены ссылки длядальнейшего обхода.
13. При задании перекрестных ссылок вдокументе будьте предельно внимательны, проверьте работоспособность каждойссылки, иначе роботы (и пользователи!) не смогут добраться до некоторыхдокументов.
Следуеттакже иметь в виду, что с точки зрения HTML записи типа:
и
(«слэш» в конце href)
являются разными ссылками. Обычно при запросе по первой ссылке роботполучит редирект на вторую, а значит извлечет сам документ при обращении ксерверу только на следующем проходе. Тем самым замедлится индексация сайта.
14. Необходимо относится к планированию иразмещению сайта серьезно, чтобы впоследствии не пришлось забрасыватьадминистраторов поисковых систем письмами с просьбой переиндексировать сайт всвязи с его переносом или полным изменением структуры. Поисковые машины — вещьдостаточно инерционная, и переиндексация не будет мгновенной.
Какуправлять индексированием сайта
Использование файлов robots.txt
Роботыи файл robots.txt
Рамблер,как и другие поисковые машины, для поиска и индексации интернет-ресурсовиспользует программу-робот. Робот скачивает документы, выставленные в Интернет,находит в них ссылки на другие документы, скачивает вновь найденные документы инаходят в них ссылки, и так далее, пока не обойдет весь интересующий егоучасток Сети. Называется этот робот StackRambler.
Когдаробот-индексатор поисковой машины приходит на web-сайт (к примеру, наhttp://www.rambler.ru/), он прежде всего проверяет, нет ли в корневом каталогесайта служебного файла robots.txt (в нашем примере — www.rambler.ru/robots.txt).
Еслиробот обнаруживает этот документ, все дальнейшие действия по индексированиюсайта осуществляются в соответствии с указаниями robots.txt. Можнозапретить доступ к определенным каталогам и/или файлам своего сайта любымроботам-индексаторам или же роботам конкретной поисковой системы.
Правда,инструкциям файла robots.txt (как и meta-тегов Robots, см. ниже)следуют только так называемые «вежливые» роботы — к числу которыхробот-индексатор Рамблера, разумеется, относится.
Размещениефайла robots.txt
Роботищет robots.txt только в корневом каталоге сервера. Под именем сервераздесь понимаются доменное имя и, если он есть, порт. Размещать на сайтенесколько файлов robots.txt, размещать robots.txt в подкаталогах(в том числе подкаталогах пользователей типа www.hostsite.ru/~user1/)бессмысленно: «лишние» файлы просто не будут учтены роботом. Такимобразом, вся информация о запретах на индексирование подкаталогов сайта должнабыть собрана в едином файле robots.txt в «корне» сайта. Имя robots.txtдолжно быть набрано строчными (маленькими) буквами, поскольку именаинтернет-ресурсов (URI) чувствительны к регистру. Ниже приведены примерыправильных и неправильных размещений robots.txt.
Правильные:
www.w3.org/robots.txt
w3.org/robots.txt
www.w3.org:80/robots.txt
(В данном случае все эти три ссылки ведут на один и тот же файл.)
Неправильные:
www.yoursite.ru/publick/robots.txt
www.yoursite.ru/~you/robots.txt
www.yoursite.ru/Robots.txt
www.yoursite.ru/ROBOTS.TXT
Форматфайла robots.txt
Пример
Следующийпростой файл robots.txt запрещает индексацию всех страниц сайта всемроботам, кроме робота Рамблера, которому, наоборот, разрешена индексация всехстраниц сайта.
#Инструкции для всех роботов
User-agent: *
Disallow:/
#Инструкции для робота Рамблера
User-agent:StackRambler
Disallow:
Группыинструкций для отдельных роботов: User-agent
Любойфайл robots.txt состоит из групп инструкций. Каждая из них начинается состроки User-agent, указывающей, к каким роботам относятся следующие за нейинструкции Disallow.
Длякаждого робота пишется своя группа инструкций. Это означает, что робот можетбыть упомянут только в одной строке User-agent, и в каждойстроке User-agentможет быть упомянут только один робот.
Исключениесоставляет строка User-agent: *.Она означает, что следующие за ней Disallow относятся ко всем роботам, крометех, для которых есть свои строки User-agent.
Инструкции:Disallow
Вкаждой группе, вводимой строкой User-agent, должна быть хотябы одна инструкция Disallow.Количество инструкций Disallow не ограничено.
Строка"Disallow:/dir" запрещает посещение всех страниц сервера, полное имякоторых (от корня сервера) начинается с "/dir". Например: "/dir.html", "/dir/index.html","/directory.html".
Чтобызапрещать посещение именно каталога "/dir",инструкция должна иметь вид: "Disallow: /dir/". Длятого, чтобы инструкция что-либо запрещала, указанный в ней путь долженначинаться с "/".Соответственно, инструкция "Disallow:" не запрещаетничего, то есть все разрешает.
Внимание: точнотак же и инструкции "Disallow: *","Disallow:*.doc", "Disallow: /dir/*.doc"не запрещают ничего, поскольку файлов, имя которых начинается со звездочки илисодержит ее, не существует! Использование регулярных выражений в строках Disallow,равно как и в файле robots.txt вообще, не предусмотрено.
Ксожалению, инструкций Allow в файлах robots.txt небывает. Поэтому даже если закрытых для индексирования документов очень много,все равно придется перечислять именно их, а не немногочисленные«открытые» документы. Надо продумать структуру сайта, чтобы закрытыедля индексирования документы были собраны по возможности в одном месте.
Пустыестроки и комментарии
Пустыестроки допускаются между группами инструкций, вводимыми User-agent.
ИнструкцияDisallowучитывается, только если она подчинена какой-либо строке User-agent — то естьесли выше нее есть строка User-agent.
Любойтекст от знака решетки "#" до конца строкисчитается комментарием и игнорируется.
Использование META-тегов «Robots»
Вотличие от файлов robots.txt, описывающих индексацию сайта в целом, тег управляетиндексацией конкретной web-страницы. При этом роботам можно запретить не толькоиндексацию самого документа, но и проход по имеющимся в нем ссылкам.
Инструкциипо индексации записываются в поле content. Возможны следующиеинструкции:
· NOINDEX — запрещает индексирование документа;
· NOFOLLOW — запрещает проход по ссылкам, имеющимся вдокументе;
· INDEX — разрешает индексирование документа;
· FOLLOW — разрешает проход по ссылкам.
· ALL — равносильноINDEX,FOLLOW
· NONE — равносильноNOINDEX,NOFOLLOW
Значение по умолчанию: .
Вследующем примере робот может индексировать документ, но не должен выделять изнего ссылки для поиска дальнейших документов:
Имятега, названия и значения полей нечувствительны к регистру.
В поле contentдублирование инструкций, наличие противоречивых инструкций и т.п. недопускается; в частности, значение поле content не можетиметь вид "