DSCM005 Изграждане на приложения за големи данни
Анотация:
- Google съхранява около 15 ексабайта (15x1018 байта); Facebook съхранява около 300 петабайта (300x1015 байта); CERN съхранява около 100 петабайта (100x1015 байта). Такива са обемите от данни, които ползват някои от най-технологичните организации днес. Често пъти тези данни се натрупват с големи скорости и в слабоструктуриран вид.
- За създаването на полезни софтуерни системи, обработващи големи данни е нужно да се намерят правилните взаимотношения между програмните компоненти, обработващи данни в реално време и тези, които обработват статични данни.
- Курсът запознава с т. нар. ламбда архитектура, както с подходите, които се прилагат за отстраняване на нейни недостатъци при решаването на определени класове задачи. Ламбда архитектурата търси баланса между времето за отлик на системата, скоростта на нарастване на данните и надежността й на работа.
- Платформата за големи данни, използвана в курса е Apache Hadoop и технологиите свързани с нея, а работният език - Python.
Преподавател(и):
доц. Стоян Мишев д-р
Описание на курса:
Компетенции:
Студентите ще знаят :
- основните характеристики на системите за големи данни
- базовата архитектура за изграждане приложения за големи данни
Студентите ще могат :
- да я ползват Apache Hadoop, Apache Spark и други техногии за големи данни
- да получат практически опит за реализиране на архитектури за големи данни
Предварителни изисквания:
Желателни са основни познания по езика Python.
Форми на провеждане:
Редовен
Учебни форми:
Лекция
Език, на който се води курса:
Български
Теми, които се разглеждат в курса:
Литература по темите:
- Nathan Marz and James Warren. Big Data, Principles and best practices of scalable realtime data systems, 2015, Manning Publications;
- Gwen Shapira, Jonathan Seidman, Mark Grover, Ted Malaska, Hadoop Application Architectures, 2015, O’Reilly.