DSCM005 Изграждане на приложения за големи данни

Анотация:

- Google съхранява около 15 ексабайта (15x1018 байта); Facebook съхранява около 300 петабайта (300x1015 байта); CERN съхранява около 100 петабайта (100x1015 байта). Такива са обемите от данни, които ползват някои от най-технологичните организации днес. Често пъти тези данни се натрупват с големи скорости и в слабоструктуриран вид.

- За създаването на полезни софтуерни системи, обработващи големи данни е нужно да се намерят правилните взаимотношения между програмните компоненти, обработващи данни в реално време и тези, които обработват статични данни.

- Курсът запознава с т. нар. ламбда архитектура, както с подходите, които се прилагат за отстраняване на нейни недостатъци при решаването на определени класове задачи. Ламбда архитектурата търси баланса между времето за отлик на системата, скоростта на нарастване на данните и надежността й на работа.

- Платформата за големи данни, използвана в курса е Apache Hadoop и технологиите свързани с нея, а работният език - Python.

прочети още
Извличане на знания и технологии за големи данни

Преподавател(и):

 Стоян Мишев  д-р

Описание на курса:

Компетенции:

Студентите ще знаят :

- основните характеристики на системите за големи данни

- базовата архитектура за изграждане приложения за големи данни

Студентите ще могат :

- да я ползват Apache Hadoop, Apache Spark и други техногии за големи данни

- да получат практически опит за реализиране на архитектури за големи данни


Предварителни изисквания:
Желателни са основни познания по езика Python.

Форми на провеждане:
Редовен

Учебни форми:
Лекция

Език, на който се води курса:
Български

Теми, които се разглеждат в курса:

Литература по темите:

- Nathan Marz and James Warren. Big Data, Principles and best practices of scalable realtime data systems, 2015, Manning Publications;

- Gwen Shapira, Jonathan Seidman, Mark Grover, Ted Malaska, Hadoop Application Architectures, 2015, O’Reilly.