среда, 24 июня 2009 г.

Разъяснения Яндекса по поводу ситуации с роботами + наши коментарии

Вчера Александр Садовский, руководитель отдела веб-поиска Яндекс ответил на наши пожелания своим разъяснением.

В целом нас порадовал тот факт, что столь крупная компания не уходит от ответа на вопросы, в принципе, рядовых пользователей, но точное мнение передает следующий мой коментарий к посту.


Немного больше подумал над сутью данного разъяснения, мне кажется что мы уходим от сути проблемы, она совсем не в ненадежности нашего «не совсем хостинга».

1. Мы не хостинг в классическом понимании, мы скорее система создания сайтов, нечто подобное ucoz.ru или narod.ru но узко заточеное под сайты визитки компаний. Графа надежность хостинга (соглашусь с коментариями, что это странное оправдание, так как врядли бот парсил нашу таблицу) в uaprom.net/tour-4 означает только что у нах нормальное оборудование, хороший up-time и хорошая скорость отдачи (в случае обычных нагрузок). У нас и есть подобие IPS, но Яндекс бот был включен в список ботов которым наша IPS доверяет, поэтому он не был отсечен.

2. Для поддоменов вроде company.uaprom.net/robots.txt Crawl-delay Яндексу стоит в 5 сек, но даже это не поможет учитывая то, что их 15 000 (формально можно делать 3 000 запросов в секунду). Очевидно что тут нужно учитывать не субъективную надежность хостинга, а иметь обратную связь между скоростью индексации (на один IP) адреса и временем ответа, не смотря на Crawl-delay. Так как эти параметры объективно связаны, то это раз и навсегда избавит Яндекс от претензий вроде той что была предъявлена.

3. Нам очень хотелось чтобы также Яндекс позволил отдельно блокировать разные роботы, как это делают многие другие системы. Чтобы вполне логичное блокирование YandexSomething в случае некоректного его поведения не приводило к выпаданию сайта из индекса. Также хотелось бы услышать временную оценку того, когда наши сайты будут восстановлены в индексе из-за этой ошибки (до прежних значений количества страниц основных доменов).

4. Еще раз спасибо за публичный ответ, я думаю что несмотря на довольно негативный фон, из этой дискусии все стороны (и Яндекс и вебмастеры) могут извлечь выгоду если будут сделаны правильные выводы. Стоит отметить, что мы очень хорошо относимся к сервисам Яндекса и всячески интегрируемся с ними (Карты, Директ, РСЯ) так как они, по нашему мнению, действительно лучше аналогов.


Я сомневаюсь что такого результата можно достигнуть через службу поддержки, (мы не раз и не десять пытались) все таки публичное обсуждение иногда более эффективно, возможно Яндекс выполнит в итоге пожелания и это обсужждение принесет еще большую пользу всем нам.

PS. Сайты потихоньку начинают индексироваться, и оба сайта БЕСПЛАТНО взяли в Яндекс.Каталог, за что отдельное спасибо, а ведь помните как было раньше?

вторник, 23 июня 2009 г.

А вы знаете что?

Для того чтобы открыть депозит юридическому лицу в банке, среди почти десятка бумажек вполне резонного характера присутствует еще и вот такое уведомление:


Повідомлення




ТОВ “УАПРОМ”, зареєстроване в Фонді соціального страхування від нещасних випадків на виробництві та професійних захворювань України за номером страхового свідоцтва 2602020647, 5 червня 2009 року, повідомляє про відкриття депозитного рахунку в валюті марсианськый реал в Міжгалактичному районному відділенні ВАТ «Другий у Всесвіті Банк» МФО 00000, що знаходіться за адресою 02121, м. Київ, планета Земля.


23 червня 2009 року




Директор Палієнко М.О.



Забавно, что в фонде мне так и не сообщили логику этого явления, просто надо :(
Заверяется это уведомление кстати тоже не очень просто, всего в одном месте в Киеве, на Шулявке.

понедельник, 22 июня 2009 г.

Пожелания Яндексу

На выходных нормально так выпали из Яндекса, в связи с чем, я подготовил, на мой взгляд хороший, список куда включил все наболевшее в наших отношениях с лидером поиска рунета.
Список опубликован тут.
Дополняйте, раз уж Яндекс лидер, пусть он будет лучше :)

Теперь у нас появился review process для robots.txt так как здравый смысл иногда не работает, а ошибки очень больно бьют по проекту.

пятница, 19 июня 2009 г.

Месть Яндекса

Как вы думаете что происходит когда вы добавляете в robots.txt

User-agent: YandexSomething
Disallow: /


А происходит следующее, Яндекс перестает индексировать ваш сайт вообще!



И это не глюк интерфейса вебмастера, логи nginx-а говорят о том же.

Причину почему он тупит сейчас выясняем, но на будущее стоит осторожнее относиться к Яндексу, он очень обидчив и мстителен, надеюсь что по-неосторожности.

UPD спасибо @gray_ru обещали починить

Когда нет времени(квалификации) написать спам фильтр

Люди начинают сочинять нечто подобное

Mail.ua


Я пользуюсь антиспам-системой, которая пропускает письма только из "белого списка".
Адрес "Служба поддержки UAProm.net" отсутствует в моем белом списке.

Чтобы добавить свой адрес и подтвердить что Ваще сообщение не является спамом, воспользуйтесь моей персональной страницей (визиткой) по адресу:
www.k....k.mail.ua/confirm/1245378032.H323174P26766.mx.mail.ua

Эту операцию достаточно выполнить один раз. После этого можно будет отправлять мне письма с адреса "Служба поддержки UAProm.net" используя обычные средства.

С уважением, надеюсь на понимание
Андрей k.....k@mail.ua


-------------------------- english -------------------------------

I wasn't able to read Your message.

I am using antispam system which allows only whitelisted e-mails.
Address "Служба поддержки UAProm.net" doesn't exist in my address book.

To add your address and confirm that your message is not a spam please use my personal page:
www.k....k.mail.ua/confirm/1245378032.H323174P26766.mx.mail.ua

This operation should be done only once. After that it will be possible to send me e-mail messages from "Служба поддержки UAProm.net" using conventional means.

With the respect, I hope for the understanding
Андрей k...k@mail.ua



I.ua


RUS
Ваше письмо попало в карантин. Если Вы хотите, чтобы оно гарантированно
дошло до получателя, то ответьте на данное письмо не меняя текста
содержания, или перейдите по этой ссылке:
http://mail.i.ua/quarantine/?f=support%40uaprom.net&t=lewenka%40ua.fm&m=4a2e3e0a32f0&c=1706376117

UKR
Ваш лист потрапив до карантину. Якщо Ви бажаєте, щоб він гарантовано дійшов до
одержувача, то відповідайте на даний лист не змінюючи тексту змісту,
або перейдіть по цьому посиланню:
http://mail.i.ua/quarantine/?f=support%40uaprom.net&t=lewenka%40ua.fm&m=4a2e3e0a32f0&c=1706376117

ENG
Your email was placed to the quarantine. If you want your addressee to
receive it, then press button "Reply" and leave message body unchanged,
or follow this link:
http://mail.i.ua/quarantine/?f=support%40uaprom.net&t=lewenka%40ua.fm&m=4a2e3e0a32f0&c=1706376117



Люди, я вас очень прошу, не пользуйтесь этими мейл сервисами.

Чем думали Мась и I.ua когда придумали (каждый свою) инновационную защиту от спама? Не знаю чем, но вышло мыло которое нельзя использовать как мыло в привычном понимании пользователя, использовать для получения автоматических нотификаций и т п. Инновации должны способствовать развитию, а не деградации функционала.

Теперь нам прийдется запрещать регистрировать мейлы с этих доменов так как white-list у них нет (в I.ua я лично писал трижды) а вводить капчи или кликать по линкам как-то несерьезно.

понедельник, 15 июня 2009 г.

YandexSomething - гоу бийонд

Сегодня наш сервер переполнил количество соединений с СУБД из-за излишней прожорливости YandexSomething бота. Этот бот как я узнал в здесь - это робот, индексирующий новостные потоки партнеров Яндекс-Новостей.

Собственно вопрос к серверу 77.88.30.248 и разработчикам робота, что он делал в 20:00-21:00 часов 15 июня на серверах uaprom.net и ruprom.net и почему при этом было выкачано 19238 страниц, причем в 20:40 их было выкачано 717 то есть 12 страниц в секунду?

Пруфлог:

sudo cat /var/log/nginx0.7/access.log| grep -v css|grep -v js| grep -v img | grep YandexSom | grep -c '15/Jun/2009:20'
19238
sudo cat /var/log/nginx0.7/access.log| grep -v css|grep -v js| grep -v img | grep YandexSom | grep -c '15/Jun/2009:20:40'
717


Пришлось сделать


User-agent: YandexSomething
Disallow: /


Помогло, здоровье сервера дороже каких-то новостей.

UPD Не пытайтесь повторить это не прочитав этот пост

среда, 10 июня 2009 г.

Ищем хорошую дизайн студию для долгосрочного сотрудничества

Лебедева не предлагать, хоть он и до осени в Киеве:), сильно дорого. Ворлд веб студию тоже, и дорого и не так качественно как хотелось бы за такие деньги.

Итак мы ищем хорошую студию или надежного фрилансера для выполнения следующих работ:

- переработка дизайна сайта http://prom.ua
- создание фирменного стиля для компании УАПРОМ, переработка логотипов и прочее

В дальнейшем хотелось бы наладить долгосрочное сотрудничество так как рисовать нам есть чего всегда, акции и прочее.

Требования к объекту поиска:
- портфолио, желательно чтобы там были проекты подобные нашему и чтобы они нам понравились, пример того что нам нравится и по дизайну и по юзабилити - work.com.ua
- хорошее понимание юзабилити
- умение выполнять задачи в срок

Присылайте ваши предложения на mykola@uaprom.net или оставляйте в коментариях. Заранее спасибо.
UPD Предложения без портфолио или хотя бы ссылок на несколько работ не рассматриваются

вторник, 2 июня 2009 г.

Снова ищем разработчика (Python/web)

Ищем web-разработчика для работы над нашим проектом.

Требования к кандидату:
- высшее техническое образование
- знание DHTML/CSS/Javascript
- опыт web-разработки от 1-го года
- хорошее логическое мышление
- ответственность и целеустремленность
- знание Python желательно, но не обязательно

Работа в офисе на левом берегу, (Бориспольская 9) в динамично развивающемся коллективе. Достойная з/п по результатам собеседования.

Портрет идеального кандидата - несколько вариантов:
- опытный python программист.
- опытный веб-программист который не против изучить python.
- перспективный начинающий web-программист.

Если кто заинтересовался, пишите на mykola@uaprom.net или звоните +380681243522
UPD Пока временно не ищем, но резюме все еще можно присылать если есть интерес к проекту