Высоконагруженные сайты и приложения на Python / Django (29 проектов)
Наша компания довольно давно занимается разработкой больших веб-приложений на Python / Django. В рунете крайне мало информации об этом замечательном языке программирования и фремворке на его основе. Мы решили исправить эту ошибку и рассказать о популярных высоконагруженных сайтах на этой технологии, а также дать много интересных технических подробностей. Для удобства сравнения сайтов между собой мы приводим еще и немного статистики к каждому из проектов. В целом сайтов на Python / Django, конечно, очень много в мире, мы охватим только наиболее интересные по нашему мнению.
Небольшая таблица известных проектов (на основе данных http://builtwith.com/), кликабельно:
Pinterest (cоциальная сеть)
Использованные технологии:
Python как язык программирования и в качестве фреймворка был выбран Django. Хостинг – Amazon. За основную систему управления базами данных взята MySQL, кэширование объектов выполняет memcached, а коллекций объектов – Redis. Solr используется как поисковая платформа, а Hadoop – для реализации поисковых и контекстных механизмов, анализа данных.
Немного о статистике:
В штате работают более чем 140 сотрудников по последним данным. Около 11-ти миллионов уникальных посетителей в неделю на декабрь 2011. 500 виртуальных машин в EC2, 410 Терабайт пользовательских данных или 80 миллионов различных объектов хранится в Amazon S3. На июль 2013 года Pinterest имеет около 70 миллионов пользователей, согласно французскому агентству Semiocast. Итого, Pinterest становится 4-ой по популярности социальной сетью в США после Facebook, Twitter и LinkedIn.
Disqus (сервис)
Использованные технологии:
Python как язык программирования и в качестве фреймворка был выбран Django. Операционная система – Linux. За основную систему управления базами данных взята PostgreSQL, кэширование объектов выполняет memcached, как и в случае с Pinterest. За балансировку нагрузки отвечает HAProxy, за репликацию данных – Slony.
Немного о статистике:
В штате работают 33 человека. Число зарегистрированных пользователей растет и на данный момент составляет 50 миллионов человек. Сайт получает примерно 17 тысяч запросов в секунду. Более 144 миллионов уникальных посещений в месяц только с территории США. Около 750 000 сайтов и блогов.
Instagram (фото- и видео-приложение)
Использованные технологии:
За основную операционную систему взят Ubuntu Linux 11.04. Python как язык программирования в качестве фреймворка был выбран Django. За основную систему управления базами данных взята PostgreSQL, кэширование объектов выполняет опять же memcached, а Redis выступает в качестве дополнительного хранилища данных. За балансировку нагрузки отвечает HAProxy. Проект использует инфраструктуру Amazon, в частности EC2, ELB, Route, S3 и CloudFront. За поисковую платформу взят Solr. Для работы с задачами используется Gearman.
Немного о статистике:
Все начиналось с одного небольшого и слабого сервера и двоих разработчиков. В первый же день было зарегистрировано около 25 000 пользователей. Сегодня же Instagram пользуются более 200 миллионов человек — более 7 миллионов пользователей ежедневно. Около 20 миллиардов фотографий было опубликовано, и 60 миллионов публикуется ежедневно. Facebook приобрел сервис за 1 миллиард долларов в апреле 2012 года.
Reddit (новостной сайт)
Использованные технологии:
Python как язык программирования в качестве фреймворка был выбран Pylons. За основную систему управления базами данных взята также PostgreSQL, кэширование объектов выполняет memcached. RabbitMQ используется для автономной обработки данных. За балансировку нагрузки отвечает HAProxy. За поисковую платформу взят Amazon CloudSearch.
Немного о статистике:
Около 112 миллионов уникальных посещений в месяц. 5,46 миллиардов просмотров страниц в месяц. Reddit пользуются 2,89 миллиона человек. И все это обслуживает команда, состоящая из 28 человек.
Dropbox (облачное хранилище данных)
Использованные технологии:
И Dropbox сервер и клиентское приложение написаны на Python. Клиент использует средства разработки GUI, такие как wxWidgets и Cocoa и другие важные библиотеки Python такие как Twisted, ctypes и pywin32. Dropbox зависит от librsync библиотеки, которая написана на C. Информация о файлах содержится в хранилище, реализованном на базе MySQL. Для хранения самих файлов используется Amazon S3.
Немного о статистике:
Штат состоит из 110 сотрудников. Более 50 миллионов зарегистрированных пользователей. Каждые 3 минуты более чем миллион файлов сохраняются с использованием сервиса. 500 миллионов файлов сохраняются ежедневно.
Pitchfork (музыкальный электронный журнал)
Использованные технологии:
Python как язык программирования в качестве фреймворка был выбран Django. Хостинг – Amazon. Основной системой управления базами данных была выбрана MySQL. В дополнение используется PostgreSQL. За кэширование объектов отвечает Redis. В качестве поисковой платформы используется ElasticSearch и Solr. Также используются сервисы Amazon (EC2, RDS, SES).
Немного о статистике:
Проект имеет более 14,5 миллионов посещений в месяц (580 тысяч в день), из них 5,5 уникальных (410 тысяч в день). Просмотр страниц составляет 38,5 миллионов в месяц (1,6 миллиона в день). На март-апрель 2014 года количество зарегистрированных пользователей составляет 4,3 миллиона.
Lanyrd (портал)
Использованные технологии:
Python как язык программирования и в качестве фреймворка был выбран Django. За основную систему управления базами данных взята PostgreSQL, кэширование объектов выполняет memcached. Redis используется в связке с Celery для хранения промежуточных результатов задач, которые выполняет Celery в асинхроном режиме. За балансировку нагрузки отвечает HAProxy. Проект использует инфраструктуру Amazon, в частности S3. За поисковую платформу взят Solr.
Немного о статистике:
Команда разработчиков состоит из всего 6 человек, как заявляет Andrew Godwin в своей презентации. Около 900 000 уникальных посетителей в месяц на март 2014 года, максимальное значение было в октябре 2013го и составляло немногим более миллиона посетителей (http://www.trafficestimate.com/lanyrd.com). Ежедневный просмотр страниц составляет около 55 000.
Mozilla (программное обеспечение)
Использованные технологии:
Компания Mozilla использует различные языки программирования, в том числе и Python, который используется широко: от написания сборочных скриптов до сайта компании, Webmaker и других компонентов, а также сервера синхронизации – минималистичное WSGI приложение использующее Paste для разворачивания на хостинге и Sqlite3 в качестве базы данных.
Немного о статистике:
На сегодняшний день проектами Mozilla пользуются более 500 миллионов человек. Это весьма большой показатель, если учесть конкуренцию. Проектами Mozilla занимаются более тысячи разработчиков.
Yelp (портал с элементами социальной сети)
Использованные технологии:
За основную операционную систему взят Ubuntu Linux. Python как язык программирования и в качестве фреймворка был выбран Django. За основную систему управления базами данных взята MySQL. Также Yelp использует сервисы Amazon, в частности S3 для хранения логов и фотографий, и EMR. В качестве поисковой платформы используется Solr/Lucene. За балансировку нагрузки отвечает HAProxy и LVS.
Немного о статистике:
Посещаемость сайта составляет около 200 миллионов человек в месяц, из них порядка 120 миллионов уникальных посещений. (https://www.quantcast.com/yelp.com). За все время работы проекта написано более 53 миллионов отзывов пользователями по всему миру.
Foursquare (социальная сеть с функцией геопозиционирования)
Использованные технологии:
Проект написан на нескольких языках, в том числе и Python, который используется для автоматизации операционных задач и других процессов. CentOS Linux является основной операционной системой. HAProxy отвечает за распределение нагрузки и API-запросов. За основную систему управления базами данных взята MongoDB, кэширование вычислительных процессов выполняет Memcache. Часть информации, а именно пользовательские фотографии, хранится в Amazon S3. Анализом занимается Hadoop. За поисковую платформу взяты Solr и Elasticsearch. Для поиска по гео-индексам используется библиотека s2 от Google в связке с PostGIS. Kestrel отвечает за обработку асинхронных задач.
Немного о статистике:
Штат состоит примерно из 140 сотрудников. По данным за 2013 год проектом занимались около 40 тысяч разработчиков. Пользователей около 45 миллионов. Общее количество чек-инов по всему миру 5 миллиардов, и примерно 3 миллиона добавляется каждый день.
Rdio (музыкальный сервис)
Использованные технологии:
Rdio использует несколько языков программирования. В частности, часть Бэкенда написана на Python и в качестве фреймворка выбран Django. Для хранения информации используется несколько баз данных – MongoDB и MySQL. Redis был выбран в качестве альтернативы memcached.
Немного о статистике:
Каталог из более чем 20 миллионов песен. Ежедневно около 200 тысяч просмотров страниц. На территории Соединенных Штатов около 300 тысяч людей пользуются сервисами проекта в течение месяца.
Google (поисковая система)
Использованные технологии:
Google использует множество языков программирования. Так как создатель Python работал одно время в Google, легко предположить, что и этот язык программирования используется. Так и есть. На Python написана часть YouTube и поискового движка, а также много других компонентов. Вкратце, используется LevelDB как основная система управления базами данных. Также используется Closure для работы с JavaScript, это своего рода набор инструментов, созданный разработчиками Google.
Немного о статистике:
Статистика Google известна всем и везде, но приведем несколько цифр. Ежемесячно через поиск проходит 12,477 миллиардов запросов. Google занимает около 67% поискового рынка Соединенных Штатов. Уникальных посещений за месяц – 191 миллион человек. Штат компании составляет 53,891 человек.
Quora (социальный сервис «Вопросы и ответы»)
Использованные технологии:
Python как язык программирования. Хостинг – Amazon. За основную систему управления базами данных взята MySQL, кэширование объектов выполняет memcached. За балансировку нагрузки отвечает HAProxy.
Немного о статистике:
Штат состоит из 72 сотрудников. Число уникальных посещений за февраль 2014 года составляет более одного миллиона. Ежемесячно сервисом Quora пользуются 1,126,00 людей (данные за 2013).
Подведем итог
Как видите, довольно много известных проектов использует Python / Django и это вполне оправданно. Python – очень интересный современный язык программирование, который сейчас очень быстро набирает популярность, как на западе, так и в рунете. Про преимущества Python / Django мы уже писали ранее небольшую заметку. На данный момент мы наблюдаем большой спрос на программирование на Python / Django, ведь это качество! Спрос на проекты рождает и спрос на специалистов.
Если Вы хотите разработать высоконагруженный проект, то мы рекомендуем рассмотреть Python / Django в качестве технической платформы. Ну а для коллег, если Вы хотите стать программистом или освоить новый язык программирования – Python будет одним из наилучших вариантов.
Курсы Python. В нашей школе стартует пятимесячный курс обучения «Разработка веб-приложений на Python / Django» — еще есть несколько мест. Чтобы записаться пишите на info@digitov.com
Новые статьи Чтобы получать наши новые статьи раньше других или просто не пропустить новые публикации — подписывайтесь на нас в Facebook, VK и Twitter.
Курсы по программированию Совсем скоро в нашей бизнес-школе Digitov стартуют курсы: Хочу стать Junior PHP Developer!, Symfony 2. Гибкая разработка и Ruby on Rails. По рельсам к профессиональной разработке. Подписывайтесь на курсы сейчас и сможете купить их со скидкой.
Авторы:
Андрей Астафьев, Middle Project Manager, Компания «SECL GROUP» / «Internet Sales Technologies»
Никита Семенов, президент, Компания «SECL GROUP» / «Internet Sales Technologies»
10 самых популярных сайтов написанных на Django
Django набирает популярность и многие крупные компании используют его для создания веб проектов. Мы подобрали 10 популярных сайтов, написанных на Django.
Django это фреймворк языка Python , который очень сильно облегчает работу над созданием веб проектов. Построение сайтов на этой технологии достаточно удобное, а сайты могут быть любых масштабов и жанров.
#1 — YouTube
Крупнейший видео хостинг YouTube является частью компании Google, которая во многих своих проектах использует язык Python и фреймворк Django. YouTube также не стал исключением и вся эта гигантская платформа написана на этом фреймворке.
#2 — Google Search
Компания Google с давних пор использует язык Python во многих своих продуктах. Они всегда видели потенциал данного языка и старались внедрять его как можно больше и как можно чаще. Компания использует язык Python и фреймворк Django и для своего главного проекта — Поисковика Гугл.
#3 — DropBox
Один из крупнейших в мире сайтов для хранения данных или проще говоря облачное хранилище. DropBox создал новый способ хранения данных: вместо компьютера — на облаке. Dropbox позволяет нам хранить, синхронизировать и делиться почти чем угодно, используя мощь Python.
#4 — Instagram
Инстаграм является одной из наиболее крупных социальных сетей в мире. Он позволяет пользователям выкладывать свои фотографии, лайкать другие и вникать в жизнь не только своих друзей, но и различных знаменитостей по всему миру. Инстаграм является мобильным приложением, но если говорить про его веб версию, то она полностью и целиком построена на Python Django.
#5 — Reddit
Reddit это крупнейший социальный новостной проект. Сами пользователи могут размещать различные статьи, а также комментировать и голосовать за други статьи других авторов. На этом сайте вы найдете тысячи Интернет новостей и споров на различные тематики. Большая часть всего функционала сайта выполнена как раз на Python.
#6 — Pinterest
Ресурс Pinterest очень схож с инстаграмом. Здесь пользователи также могут делиться различными фотографиями, но лишь теми фотографиями, которые отвечают их интересам или же их подборке. К примеру, если пользователь ведет Pin про самые быстрые машины, то подписавшись на него вы будете получать кучу фотографий с быстрыми машинами.
#7 — Quora
Сайт Quora это американский аналог сайта Отеты Mail.ru. На этом сайте пользователи могут задавать различные большие или не очень вопросы и другие пользователи могут отвечать на них. Чем больше вы ответите на вопросы, тем больший рейтинг у вас будет на сайте. Так, если вы не знаете ответа на что-либо, то самым легким вариантом добиться ответа — будет написать его на этом сайте.
#8 — Yahoo Maps
В целом Yahoo использует для своих проектов платформу Node.js . Тем не менее, они решили использовать язык Python для создания своих карт. Yahoo Maps это обычная, хорошая карта, которая позволяет вам получить маршрут из точки А в точку B. В странах СНГ данный поисковик не особо популярен, но на западе он является весьма крупным и популярным поисковиком. Карты от Yahoo считаются надежными, поэтому многие люди используют именно их в своих ежедневных поездках.
#9 — Spotify
Spotify — это приложение, которое позволяет вам бесплатно находить, прослушивать и делиться музыкой с друзьями. Приложение очень удобно, так как позволяет быстро находить релевантную музыку и добавлять её к себе в плейлист.
#10 — Onion
Onion это сатирическая газета, которая также имеет онлайн версию своей газеты. Все публикации, дизайн и вся функциональность их сайта выполнены на Python с использованием Django.
Это лишь небольшая часть всех сайтов, которые были созданы при помощи технологии Django. Если вы знаете еще какие-либо крупные проекты, которые также созданы при помощи этой технологии, то обязательно оставляйте ваш отзыв с ссылкой на проект в комментариях к этой статье!
Більше цікавих новин
Странные языки программирования? Да, они существуют!
Google Translate теперь использует ИИ
Сколько зарабатывают программисты?
Эти проекты обречены на успех: самые свежие идеи для программистов
10 классных проектов GitHub на языке Python
Разработчики все чаще выбирают для своих проектов Python. На GitHub он уже стал вторым по популярности языком!
Так как речь идет о крупнейшем в своем роде IT-веб-сервисе, это многое значит.
Почему же разработчики так любят Python? Есть несколько причин: простой синтаксис, лаконичный и ясный код, высокая эффективность, большой выбор важных пакетов и пр.
Python — один из тех языков, которые позволяют воплотить в жизнь практически любой проект и продемонстрировать все грани своего таланта.
В статье мы расскажем вам о нескольких прекрасных проектах GitHub, созданных на этом языке, которые не только наглядно покажут вам все возможности Python, но и подарят море вдохновения. Поехали!
Прошу обратить внимание! Автор данной статьи не несёт ответственности за любые последствия вслед использования предоставленной информации. Все материалы опубликованы исключительно в образовательных целях!
1. Manim
Автор: Grant Sanderson
Manim (Mathematical Animation Engine) — это движок анимации для пояснительных математических видеороликов. Благодаря ему скучные учебные материалы можно представить в виде наглядных анимированных графиков, диаграмм и т.п. Таким образом, изучение математических наук становится более увлекательным и эффективным.
Если хотите увидеть все своими глазами, заходите на YouTube-канал Гранта Сандерсона 3Blue1Brown. Он применяет Manim для оформления материалов по высшей математике. Со всеми возможностями библиотеки вы можете познакомиться, посмотрев этот ролик.
2. DeepFaceLab
Автор: iperov
Этот проект, скорее всего, впечатлит вас сильнее всех остальных в данной подборке. DeepFaceLab с помощью технологии deepfake позволяет изменять внешность людей на фото и видео, в том числе омолаживать, менять местами лица и даже корректировать речь. По словам разработчика, 95% всех deepfake-роликов были созданы на этом ПО. На странице DeepFaceLab на GitHub выложено руководство и даже немного заготовок лиц для старта работы. А здесь вы можете посмотреть инструкцию, как делать deepfake-видео с помощью DeepFaceLab.
3. Airflow
Автор: Apache Software Foundation
Эта ссылка ведет на платформу для создания, планирования и мониторинга рабочих процессов. Благодаря Airflow ими намного проще управлять, тестировать и налаживать совместную работу. Плюсами данного планировщика являются простой интерфейс, масштабируемость, интеграция с другими службами, возможность подключать сторонние инструменты. Не зря им пользуются команды таких гигантов, как Adobe, Lyft и Expedia.
4. GPT-2
Автор: WuTheFWasThat
Этот проект — большая языковая модель, обучающаяся на огромном наборе данных (текст на 8 млрд веб-страниц). Она предсказывает следующие слова или продолжение предложения, когда пользователь задает первые слова (начальную часть контекста). Другими словами, вы дает GPT-2 отрывок, а он генерирует на его основе качественное развернутое предложение. На GitHub есть описание проекта и его главных особенностей.
5. XSStrike
Автор: Somdev Sangwan
Самый продвинутый сканер XSS, защищающий сайты от вредоносного кода, который злоумышленник может внедрить со стороны клиента.
- анализирует контекст;
- обладает сильным фаззинг-движком;
- поддерживает многопоточный анализ;
- есть индивидуальный анализатор JS и HTML;
- сканирует устаревшие JS-библиотеки.
Детальный обзор ПО в этом ролике.
6. Загрузка графических файлов из Google
Автор: Hardik Vasa
Скрипт Python для загрузки на ПК изображений из Google Images. Нужно установить библиотеку, выбрать команду, задать ключевые слова — и программа начнет делать чудеса! Она найдет все изображения, соответствующие введенным ключевым словам, и скачает их на компьютер. Довольно необычный, интересный и полезный проект, если вам нужно быстро и без усилий скачать картинки из Google.
7. Photon
Автор: Somdev Sangwan
Невероятно мощный, быстрый и простой сканер, который использует технологии разведки. Он осуществляет сбор и анализ информации, найденной в открытых источниках.
Вот откуда Photon получает и где сканирует данные:
- URL-адреса;
- профили в соцсетях;
- email-адреса;
- файлы (документы разных форматов);
- поддомены;
- JS-файлы.
Photon полученную информацию упорядочивает и сохраняет, так что потом можно сделать экспорт данных в виде текстового файла JSON. В этом инструменте предусмотрены такие параметры настройки, как изменение времени ожидания, добавление URL-адресов в исключения и пр.
8. NeuralTalk
Автор: Andrej Karpathy
Эффективный код для создания подписей к графическим файлам, который использует нейронные сети. Есть и вторая версия — NeuralTalk2 — более совершенный, технологичный и быстрый вариант. В основе новой версии лежит Torch, она функционирует на GPU и поддерживает тонкую настройку нейросети. И хотя поддержка оригинальной NeuralTalk прекратилась, она все еще осталась в открытом доступе на GitHub.
9. Xonsh
Автор: Энтони Скопац
Кроссплатформенная оболочка с поддержкой Unix на базе Python. Xonsh значительно улучшает использование Python, даже если рассматривать самые элементарные задачи, за счет глубокой интеграции.
Например, с Xonsh вы можете набрать $ 3 + 3 вместо “$ echo 3+3”, и результат от этого не изменится.
Начать работать с этой оболочкой просто — она устанавливается одной единственной командой (в зависимости от среды, которую вы используете). Xonsh поддерживает скрипты, содержит обширную коллекцию типизированных переменных и пр.
10. Rebound
Автор: Jonathan Shobrook
Rebound — это очень полезный инструмент, потому что он является практически панацеей от нервных срывов, причиной которых становятся ошибки компилятора. Что мы обычно делаем, когда они возникают? Конечно же, заходим на Stack Overflow и пытаемся найти там ответ, или же изучаем документацию. Благодаря Rebound этот процесс облегчается в разы!
Принцип действия этого помощника прост: разработчик запускает свой файл, программа проверяет его на ошибки компилятора, а затем сразу загружает все связанные с обнаруженной проблемой ответы с портала Stack Overflow.
Таким образом, Rebound полезен не только для начинающих, но и для опытных программистов, поскольку позволяет не терять время на поиски нужного ответа среди бесконечного океана информации. Сейчас Rebound поддерживает Java, Ruby, Go, Node.js и, конечно же, Python.
Заключение
Фантазии и творчеству талантливых людей нет предела. Представленные в подборке проекты — яркое тому подтверждение. Но не забывайте, что Python не стоит на месте: он очень быстро развивается. Так что совсем скоро вы сможете использовать его для решения и более сложных задач! Главное — иметь четкие цели, хорошие знания и усердно работать, не пасуя перед трудностями.