A: Сайты разные и причины бывают разные. Поэтому точного ответа на вопрос нет и не будет.
Тем не менее, возможны варианты:

1. Все могут ошибаться.
- Убедитесь, что правильно проверяете наличие сайта в поисковой базе.
Введите Ваш домен в форму на http://webmaster.yandex.ru/check.xml - если Яндекс выдаст ссылку на главную страницу, а под ней "Еще с сайта NN", значит, сайт в индексе. Вы проверяли не тем инструментом.
Если в ответ получаете "Ничего не найдено", сайта в индексе действительно нет.

- Проверьте, не поставлен ли в robots.txt запрет для бота Яндекса.
- Проверьте, какой код статуса отдает сервер в заголовках. Бот считывает страницы, если получает статус "200 OK" или "304 Not Modified". Проверить заголовки можно на http://be1.ru/services/stat/
- Возможно, Ваш сервер блокирует запросы поисковых систем. Если на том же аккаунте хостинга у Вас есть другие сайты и они тоже не индексируются Яндексом, узнайте у хостера, нет ли запрета по IP или юзер-агенту.

2. Еще не время.
- Добавили ли Вы URL сайта в форму регистрации на http://webmaster.yandex.ru/ (ее обычно называют "аддурлом")? Попробуйте это сделать. Внимательно прочтите ответ Яндекса.
- Много ли времени прошло с момента добавления? Если не больше 2-3 недель, проверьте серверные логи - появлялся ли посетитель "Yandex/1.01.001 (compatible; Win16; I)". Это бот-индексатор Яндекса. Если он там уже был и просмотрел не только главную страницу, просто ждите. Сайты попадают в индекс не сразу. Иногда (при изменениях алгоритма и отладке) работа индексатора приостанавливается и новые сайты долго не могут попасть в индекс. Добавляйте URL в форму регистрации повторно. Возможно, поможет ссылка на сайт со страницы, часто посещаемой ботом. Прогон по каталогам не рекомендуется - прогоны бывают разные, так что результат непредсказуем.

Типичная картина индексации нового сайта в Яндексе:
- после добавления в аддурл через 1-3 недели (как повезет) в индексе всплывает главная страница.
- примерно через неделю после главной (может быть дольше) начинают появляться остальные страницы.
- потом первая партия проиндексированных страниц может выпасть, а главная останется. Не паникуйте, выпавшие страницы обычно возвращаются примерно через неделю.

3. Бан на взлете.
В последнее время участились такие случаи - сайт впервые добавляется в аддурл, а Яндекс отвечает, что его индексация запрещена.
- Попробуйте узнать историю домена. Возможно, Вы приобрели домен, уже попавший в бан ранее. Например, там раньше был каталог с большим количеством обратных ссылок с линкопомоек 1ps или линкаторов.
- Доменные зоны "второго уровня" - net.ru, org.ru и т.п. не в почете у Яндекса. Слишком много доменов в них в свое время бесплатно набирали под дорвеи. Хотя техподдержка Яндекса отрицает "особое отношение" к таким доменам, есть факты, которые оспорить трудно.
В этих случаях полезно сделать запрос техподдержке Яндекса через форму обратной связи - http://feedback.yandex.ru/
Постарайтесь кратко, ясно и вежливо изложить свою проблему. Дайте понять, что уже проверили отсутствие технических ошибок - это помогает.
Если получили шаблонный ответ "...возможно, алгоритм решил, что сайт предназначен не для людей..." - скорее всего, на Ваш сайт даже не взглянули. Пишите ответ с опровержением этих "возможно" (но если сайт действительно не для людей, то опровергать тут нечего).

- Если сайт представляет собой дорвей или каталог ссылок (доску объявлений) на заезженных скриптах - помните, что такие сайты Яндексу не нужны изначально и попадание их в индекс - только вопрос Вашего везения. Не создавайте топик "Как скормить это Яндексу". По-человечески прошу Вас.
- Если Ваш сайт от рождения набит текстами, "позаимствованными" с других сайтов - см. предыдущий совет.

Продолжение, которое пока еще не успели украсть копипастеры.

4. Задержка и потеря заявок на индексацию
Начиная с 2007 года участились изменения алгоритмов ранжирования. И новые версии и поправки внедряют на рабочем индексе, – база данных Яндекса уникальная, распределенная, для «локальной» отладки нужен дубликат всего программно-аппаратного комплекса.

Программисты Яндекса тоже люди и могут ошибаться. Ошибка может привести к порче индекса, потребуется откат (полное или частичное восстановление базы данных с резервной копии).
В период внедрения нового алгоритма ссылка, которую вы вводите в AddURL, может быть:
- отложена (пока не пройдет отладка, индекс стараются менять минимально)
- попросту потеряна (после ввода прошел откат базы)
- вообще не принята
Поскольку об изменениях алгоритма не сообщают, пока он не внедрен полностью, весь период внедрения эти «потери» остаются без комментариев. Форма AddURL продолжает работать, но гарантии приема ссылки нет.

Наблюдались случаи, когда после ввода ссылки буквально через одну секунду приходил ответ "время ожидания превышено". Можно предположить, что на время подготовки резервной копии прием прекращается под предлогом тайм-аута или ограничивается – например, может проскочить только сайт с очень малым временем отклика. Быстрый отклик свидетельствует, что у сайта достаточно качественный хостинг и быстродействующий движок – а значит, мала вероятность, что это очередная дешевая поделка.

Часть II - «Был, да весь выпал.»
Q: Вы тут все про новые сайты, а мой уже весь был в индексе, имел трафик с Яндекса, а теперь исчез.

A: Такие случаи тоже достаточно часты, для начала проверьте причину.
Введите Ваш домен в форму добавления URL на http://webmaster.yandex.ru/ и прочтите ответ.

1. Сообщение "Адрес yoursite.ru не был внесен в базу Яндекса, так как его индексация запрещена."
Сайт попал в бан (англ. ban - запрет, в данном случае это запрет индексации). Внимательно читайте FAQ Яндекса, начиная с http://help.yandex.ru/webmaster/?id=995294#995311
Причин бана может быть множество. По отдельным публичным высказываниям сотрудников Яндекса, бан "за какое-то одно нарушение" бывает редко. Гарантированно приводит в бан при обнаружении клоакинг (от англ. cloak - скрывать, показ разного контента поисковому роботу и посетителям). Гарантированно банят дорвеи (принудительное перенаправление посетителя на другие сайты). Остальные нарушения могут привести к бану "по совокупности признаков".

2. Сообщение "Добавленный вами сайт не индексируется, так как является зеркалом http://www.yoursite.ru/. "
Вы проверяете yoursite.ru, а Яндекс считает главным зеркалом www.yoursite.ru.
Если до сих пор сайт индексировался без www, то с момента, когда зеркальщик Яндекса переопределил главное зеркало, сайт вываливается из индекса и его индексация начинается заново, уже как www.yoursite.ru.
Случай досадный, но не фатальный. Чтобы избежать такого, нужно еще до добавления сайта в аддурл прописать строку в секции для Яндекса robots.txt:

______________________
Host: yoursite.ru |
_____________________ |

При расстановке ссылок на сайт старайтесь указывать выбранный хост. Если половина ссылок будет с www, а другая половина без www, риск "смены зеркала" сильно увеличивается. Это касается и других поисковых систем.

3. Сообщение "Ваш сайт ... будет проиндексирован в ближайшее время".
Здесь есть масса вариантов. Раньше выпадение сайта из индекса без запрета индексации объясняли исключительно техническими сбоями ("выпал кластер из базы"). Сейчас такие случаи участились, но техподдержка Яндекса уже не пишет о сбоях. Обычно в ответ Вас поблагодарят за внимание и пообещают разобраться в причинах.
Есть предположение, что кроме всем привычного бана появился "мягкий бан", когда сайт из индекса исчезает, бот-индексатор продолжает его регулярно посещать, запрета нет и сайт может через какое-то время так же внезапно вернуться в индекс.
Предположительно такая мера применяется к сайтам, которые по ряду признаков сочтены "не имеющими ценности" для поиска. Иногда может помочь всестороннее улучшение технических характеристик сайта, замена текстов на главной и близлежащих страницах, добавление контента, удаление пустых и слабо различающихся страниц. Речь, естественно, идет об уникальном контенте.

Поскольку явление это относительно новое, достоверной статистики "что лучше помогает" пока нет.

Если уже касаться причин бана, то нужно перечислить все известные.

Q: А за что могли забанить мой сайт?
A: Причины бана могут быть разными. И сразу запомните: бан – это не "наказание за что-то". Поисковая система – не воспитатель и не судья, наказывать она не может. Бан – это удаление из индекса сайтов, которые мешают нормальному ранжированию выдачи. Еще точнее, тех, что совсем не вписываются в характеристики "нормальных" сайтов, для которых и сделан алгоритм ранжирования.

Что на эту тему говорит Яндекс: http://help.yandex.ru/webmaster/?id=995298#995342

______________________________________________________________________________

О причинах:

Если в этом разделе не описан какой-то прием, помогающий искусственно повлиять на ранжирование сайта в Яндексе, это не значит, что мы его приветствуем. Следуйте здравому смыслу и духу описанных выше принципов.

Мы стараемся не индексировать или не ранжировать высоко:

- автоматически сгенерированный (бессмысленный) текст,
- сайты, копирующие информацию с других ресурсов и не создающие оригинального контента или сервиса,
- сайты, представляющие товары или информацию по партнерским программам, но не представляющие никакой ценности для пользователя,
- страницы с невидимым или слабовидимым текстом или ссылками,
- сайты, отдающие разный контент пользователям и роботам поисковых систем («клоакинг»),
- страницы и сайты, единственной целью которых является перенаправление пользователя на другой ресурс, автоматически («редирект») или добровольно (реклама без контента),
- сайты, на которых из-за обилия навигационных меню, новостей, вспомогательной информации, рекламы трудно найти их основное содержание,
- страницы и сайты, ставящие ссылки исключительно для обмана поисковых систем и «накачивания» релевантности,
- сайты или группы сайтов, интенсивно ссылающиеся друг на друга («линкфармы»),
- ссылки, не являющиеся рекомендацией автора посетить ресурс.
________________________________________________________________________________

Клоакинг и автоматическое перенаправление на другие сайты приводят к бану обязательно, как только будут обнаружены.
Остальное может привести в бан, если его окажется "достаточно много". Не спрашивайте, сколько именно – этого никто здесь не может точно знать. Все точные критерии Яндекса – его секрет. Вдобавок, они постоянно изменяются.

Нельзя точно сказать, сколько должно быть неуникального текста или ссылок на странице, чтобы сайт попал в бан. Насколько известно, при фильтрации учитываются все "дефекты" сайта. Например, один сайт с половиной неуникального контента может остаться в индексе, а другой будет забанен, потому что кроме неуникального контента на нем еще и избыток ссылок.