воскресенье, 26 июля 2009 г.

Перенесли контент на Amazon S3

В свете грядущего переезда в новый датацентр, мы решили облегчить себе этот процесс путем выноса всех контентных картинок и прочих файлов на Amazon S3. Добра этого за год насобоиралось уже под 20Гб и бекапить такое количество информации на Amazon стало дороже, чем просто размещать там.

Плюсы такого решения:
- не нужно бекапить (данные сохраняются в несколько локейшинов самим сервисом)
- при переезде, контент не нужно копировать и синхронизировать (это сильно все усложняет)
- не нужно думать над тем как запаковать миллионы файлов в многоуровневые папочные структуры на диске (иначе будет безжалостно тормозить файловая система)
- быстрее доступ из России, Беларуси, Казахстана
- дешевле
- не нужно городить распределенную FS для доступа к файлам со всех физических серверов
- при жестком умирании сервера, более быстрое восстановлени (нужно поднять только систему и базу)
- надежность (S3 за последний год не сбоил ни разу)
- меньше нагрузка на веб сервера

Из минусов видится только один
- зарубежный трафик для пользователей из Украины

Мораль: если будете делать проект с кучей мелкого контента, будьте готовы к тому, что в один день вы поймете, что чем поддерживать это все легче и дешевле вынести его на Amazon S3.

9 комментариев:

dimadubina комментирует...

Меня на Амазоне смутила плата за POST и GET-запросы. Действительно дешевле, чем свой хостинг?

Dmitry Utkin комментирует...

Слегка походит на стрельбу по воробьям из пушки :)
Не те объёмы, имхо, если конечно не планируется рост до сотен гигабайт.
Как по мне, тут была бы кстати именно распределённая fs типа glusterfs, хотя s3 менее геморно, конечно.

arturclancy комментирует...

Дима, а почему не те объемы?
Я не первый раз в Украине встречаю мнение, что s3 это что-то такое не реальное, предназначенное исключительно для интернет-монстров. Почему?
Там удобная и прозрачная система, как по мне, вполне подходящая для разных сервисов, в том числе маленьких, а уарупром уже немного даже выросли:-)

rootart комментирует...

+1 S3 - штука дійсно дуже непогана. Я також переніс туди статику. Плата дійнсно не така вже й висока + якщо автоматизовувати це добро то для python є непогана бібліотечка + для перегляду різні плагіни для firefox.

Dmitry Utkin комментирует...

Артур, вовсе нет, это один из немногих _правильных_ способов организовать любое хранилище файлов для проекта любого размера. Но просто как и любой инструмент S3 лучше использовать для тех целей, где он лучше других.
В данном случае, при наличии нескольких физических серверов и относительно мелких файлов-картинок(может тут не прав?) и необходимости вещать это добро на уанет, s3 не оптимальный выбор. Если же планируется сильный рост этих залежей файлов и администрировать это всё дело некому или лень, тогда да, лучше S3 не найти пожалуй. Разве что ещё Rackspace cloud files, там хоть и траф дороже исходящий, но на вход дешевле и доставка файлов по CDN "из коробки", а амазон за cloudfront дополнительных денег хочет.

Mykola Paliyenko комментирует...

@dimadubina
дешевле чем бекапить раз в неделю все на Амазон. Ты ведь не хочешь в один прекрасный день потерять все из-за того что придут маски-шоу или оба веника сгорят, или хакнут тебя, такое бывает.
Нам это стоит сейчас 50-100$/месяц, на 200 000 хитов в день, недорого.

Mykola Paliyenko комментирует...

@Dmitry Utkin
у нас проект на 4 страны, а пинг из России в Украину идет больше чем из России в Ирландию, то же самое и с другим СНГ. Да и контент у нас растет быстро (х2 в 3-4 месяца), и бекапить его уже дороже чем хранить в нормальном хранилище, тем более что оно будет понадежнее чем любое самописное.

rattler комментирует...

Использование Amazon S3 хорошо подходит для относительно небольших проектов, которым внедрение и содержание своей инфраструктуры будет слишком дорого обходиться, но требования успели подрасти.

А так, всяких удобных и быстрых систем для хранения и обработки больших объемов данных имеется немало. Тот же tokyocabinet, например.

Paskal_07 комментирует...

Уважаемый автор, не могли бы вы написать мне на e-mail и ответить на пару вопросов по технической стороне переноса статики на амазон?