59
правок
Изменения
→Обработка разнородных данных в рамках одной системы
Рассмотрим модель распределенного хранения разнородных данных в концепции '''''«озеро данных»'''''.
::<tex>S=\langle\{DT\}_{i=1}^{n_{st}},\{SS\}_{j=1}^{m_{ss}},\{E\}_{k=1}^{p_e},IS,DS\rangle</tex>:
* <tex>\{DT\}_{i=1}^{n_{st}}</tex> {{---}} множество шаблонов данных;
::Здесь также следует помнить, что:
:::<tex>\exists r_{lon}:\langle lon^{(sC)}, lon^{sD} \rangle</tex>,
:::<tex>\exists r_{lat}:\langle lat^{(sC)}, lat^{sD} \rangle</tex>.
::4. '''Реализация алгоритмов преобразования данных:'''
::5. '''Разделение данных:'''
::Схема <tex>DS</tex> для разделения потоков данных в микро-потоки:
:::<tex>DS_{\alpha_k}=\langle df, \alpha_k, \{mdf_l\}_{l=1}^{L_{\alpha_k}}</tex>.
:: Здесь <tex>df</tex> {{---}} исходный поток данных, <tex>mdf_l</tex> {{---}} <tex>l</tex>-й l поток данных в памяти для определенного алгоритма <tex>\alpha_k</tex>, <tex>L_{\alpha_k}</tex> – количество потоков. Данные разбиваются на потоки данных, подлежащие обработке в распределенной архитектуре, в соответствии с предопределенными задачами.
::6. '''Вставка обработанных данных в базу данных:'''
