Викиконспекты - Вклад участника [ru]

Многопоточность в машинном обучении

2020-04-22T18:07:01Z

AccountAll: Добавил пример для OpenCL

Следует выделить следующие виды параллелизма:
* Параллелизм на уровне инструкций (ILP): запускать несколько инструкций одновременно.
* Параллелизм одна инструкция множество данных(SIMD): одна инструкция работает с вектором чисел
* Многопоточный параллелизм: несколько независимых рабочих потоков взаимодействуют через абстракцию совместно используемой памяти.
* Распределенные вычисления: несколько независимых рабочих компьютеров взаимодействуют по сети. (MLlib на Spark, Mahout на Hadoop)

== Идеи используемые для ускорения вычислений в ML ==
=== Параллелизм для ускорения линейной алгебры. ===
Мы можем значительно повысить производительность, создав ядра линейной алгебры (например, умножение матриц, векторное сложение и т.д.), которые используют параллелизм для ускорения работы. Поскольку умножение матриц занимает большую часть времени обучения нейронных сетей, это может привести к значительному сквозному ускорению обучающего конвейера. В основе этого лежит параллелизм ILP, SIMD а для больших матриц также может использоваться многопоточность.

Примеры оптимизаций:
* Высоко оптимизированные тензорные библиотеки для арифметики.
* Алгоритмы в терминах матричных операций, а не векторных операций, насколько это возможно.
* Broadcast операции, а не циклы.
* Распараллеленные реализации некоторых специальных операций (таких как свертки для [[Сверточные нейронные сети | CNN]]).

==== Параллелизм broadcast операций ====
Просмотрите код наивной реализации поэлементное произведение двух векторов на Python

def elementwise_product(x, y):
assert(len(x) == len(y))
z = numpy.zeros(len(x))
for i in range(len(x)):
z[i] = x[i] * y[i]
return z

Такой код лучше заменять на broadcast операции из numpy, которые выигрывают от векторизации и ILP. Также такой код может быть легко распараллелен для больших векторов

=== Параллелизм в оптимизации гиперпараметров ===
Для параллельной [[Настройка гиперпараметров | оптимизации гиперпараметров]] можно использовать поиск по решётке или случайный поиск в которых мы можем оценить параметры независимо.
Такая оптимизации часто встречаются в библиотеках машинного обучения.

=== Параллелизм [[Кросс-валидация | кросс-валидации]] ===
Полная кросс-валидация, k-fold, t×k-fold, Leave-One-Out легко распараллеливаются на несколько потоков, каждый из которых работает на своем разбиении данных

[[Файл:ParallelCrossValidation.png|500px]]

=== Параллелизм GPU ===
Типичное число потоков обработки графического процессора - десятки тысяч, что позволяет вычислять одну и ту же операцию параллельно на множестве элементов.

Фреймворки машинного обучения, такие как TensorFlow, PyTorch и MxNet используют эти возможности через библиотеки от компаний производителей графических ускорителей и открытые фреймворки:
* [https://developer.nvidia.com/cuda-toolkit CUDA] - язык параллельного программирования/вычислительная платформа для вычислений общего назначения на графическом процессоре
* [https://developer.nvidia.com/cublas cuBLAS] - библиотека представляет собой реализацию BLAS (базовых подпрограмм линейной алгебры) поверх среды выполнения CUDA.
* [https://www.khronos.org/opencl/ OpenCL] - фреймворк для написания компьютерных программ, связанных с параллельными вычислениями на различных графических и центральных процессорах, а также FPGA

Пример перемножения матриц на cuBLAS
void gpu_blas_mmul(cublasHandle_t &handle, const float *A, const float *B, float *C, const int m, const int k, const int n) {
int lda = m, ldb = k, ldc = m;
const float alf = 1;
const float bet = 0;
const float *alpha = &alf;
const float *beta = &bet;
// Do the actual multiplication
cublasSgemm(handle, CUBLAS_OP_N, CUBLAS_OP_N, m, n, k, alpha, A, lda, B, ldb, beta, C, ldc);
}

Пример перемножения матриц на PyCUDA
import pycuda.gpuarray as gpuarray
import numpy as np
import skcuda.linalg as linalg
# --- Initializations
import pycuda.autoinit
linalg.init()

A = np.array(([1, 2, 3], [4, 5, 6])).astype(np.float64)
B = np.array(([7, 8, 1, 5], [9, 10, 0, 9], [11, 12, 5, 5])).astype(np.float64)

A_gpu = gpuarray.to_gpu(A)
B_gpu = gpuarray.to_gpu(B)

C_gpu = linalg.dot(A_gpu, B_gpu)

print(np.dot(A, B))
print(C_gpu)

Наивная реализация перемножения матриц на OpenCL
// First naive implementation
__kernel void myGEMM1(const int M, const int N, const int K,
const __global float *A,
const __global float *B,
__global float *C) {

// Thread identifiers
const int globalRow = get_global_id(0); // Row ID of C (0..M)
const int globalCol = get_global_id(1); // Col ID of C (0..N)

// Compute a single element (loop over K)
float acc = 0.0f;
for (int k = 0; k < K; k++) {
acc += A[k * M + globalRow] * B[globalCol * K + k];
}

// Store the result
C[globalCol * M + globalRow] = acc;
}
=== Параллелизм SGD ===
Запускаем внешний цикл [[Стохастический градиентный спуск|SGD]] параллельно в пуле потоков и используем конструкции синхронизации, такие как блокировки, чтобы предотвратить состояние гонки. Но это может работать медленно из-за накладных расходов на синхронизацию.

Еще более интересная идея (называемая асинхронным SGD или Hogwild): Несколько потоков запускают SGD параллельно без какой-либо синхронизации. Теперь условия гонки могут возникнуть, но оказывается, что во многих случаях это хорошо, шум/ошибка в условиях гонки просто добавляет небольшое количество к шуму/ошибке, уже присутствующей в алгоритм из-за случайной выборки градиента.

== Источники информации ==
# [http://www.cs.cornell.edu/courses/cs4787/2019sp/notes/lecture1.pdf Principles of Large-Scale Machine Learning]
# [https://docs.nvidia.com/cuda/pdf/CUBLAS_Library.pdf cuBLAS library user guide]
# [https://solarianprogrammer.com/2012/05/31/matrix-multiplication-cuda-cublas-curand-thrust/ Matrix multiplication on GPU using CUDA with CUBLAS]
# [https://medium.com/@CIulius/a-short-notice-on-performing-matrix-multiplications-in-pycuda-cbfb00cf1450 A short notice on performing matrix multiplications in PyCUDA]
# [https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html CUDA C++ Programming Guide]
# [https://cnugteren.github.io/tutorial/pages/page1.html OpenCL SGEMM tuning for Kepler]
[[Категория: Машинное обучение]]

Многопоточность в машинном обучении

2020-04-22T17:49:30Z

AccountAll: Добавил больше примеров для GPU

Следует выделить следующие виды параллелизма:
* Параллелизм на уровне инструкций (ILP): запускать несколько инструкций одновременно.
* Параллелизм одна инструкция множество данных(SIMD): одна инструкция работает с вектором чисел
* Многопоточный параллелизм: несколько независимых рабочих потоков взаимодействуют через абстракцию совместно используемой памяти.
* Распределенные вычисления: несколько независимых рабочих компьютеров взаимодействуют по сети. (MLlib на Spark, Mahout на Hadoop)

== Идеи используемые для ускорения вычислений в ML ==
=== Параллелизм для ускорения линейной алгебры. ===
Мы можем значительно повысить производительность, создав ядра линейной алгебры (например, умножение матриц, векторное сложение и т.д.), которые используют параллелизм для ускорения работы. Поскольку умножение матриц занимает большую часть времени обучения нейронных сетей, это может привести к значительному сквозному ускорению обучающего конвейера. В основе этого лежит параллелизм ILP, SIMD а для больших матриц также может использоваться многопоточность.

Примеры оптимизаций:
* Высоко оптимизированные тензорные библиотеки для арифметики.
* Алгоритмы в терминах матричных операций, а не векторных операций, насколько это возможно.
* Broadcast операции, а не циклы.
* Распараллеленные реализации некоторых специальных операций (таких как свертки для [[Сверточные нейронные сети | CNN]]).

==== Параллелизм broadcast операций ====
Просмотрите код наивной реализации поэлементное произведение двух векторов на Python

def elementwise_product(x, y):
assert(len(x) == len(y))
z = numpy.zeros(len(x))
for i in range(len(x)):
z[i] = x[i] * y[i]
return z

Такой код лучше заменять на broadcast операции из numpy, которые выигрывают от векторизации и ILP. Также такой код может быть легко распараллелен для больших векторов

=== Параллелизм в оптимизации гиперпараметров ===
Для параллельной [[Настройка гиперпараметров | оптимизации гиперпараметров]] можно использовать поиск по решётке или случайный поиск в которых мы можем оценить параметры независимо.
Такая оптимизации часто встречаются в библиотеках машинного обучения.

=== Параллелизм [[Кросс-валидация | кросс-валидации]] ===
Полная кросс-валидация, k-fold, t×k-fold, Leave-One-Out легко распараллеливаются на несколько потоков, каждый из которых работает на своем разбиении данных

[[Файл:ParallelCrossValidation.png|500px]]

=== Параллелизм GPU ===
Типичное число потоков обработки графического процессора - десятки тысяч, что позволяет вычислять одну и ту же операцию параллельно на множестве элементов.

Фреймворки машинного обучения, такие как TensorFlow, PyTorch и MxNet используют эти возможности через библиотеки от компаний производителей графических ускорителей и открытые фреймворки:
* [https://developer.nvidia.com/cuda-toolkit CUDA] - язык параллельного программирования/вычислительная платформа для вычислений общего назначения на графическом процессоре
* [https://developer.nvidia.com/cublas cuBLAS] - библиотека представляет собой реализацию BLAS (базовых подпрограмм линейной алгебры) поверх среды выполнения CUDA.
* [https://www.khronos.org/opencl/ OpenCL] - фреймворк для написания компьютерных программ, связанных с параллельными вычислениями на различных графических и центральных процессорах, а также FPGA

Пример перемножения матриц на cuBLAS
void gpu_blas_mmul(cublasHandle_t &handle, const float *A, const float *B, float *C, const int m, const int k, const int n) {
int lda = m, ldb = k, ldc = m;
const float alf = 1;
const float bet = 0;
const float *alpha = &alf;
const float *beta = &bet;
// Do the actual multiplication
cublasSgemm(handle, CUBLAS_OP_N, CUBLAS_OP_N, m, n, k, alpha, A, lda, B, ldb, beta, C, ldc);
}

Пример перемножения матриц на PyCUDA
import pycuda.gpuarray as gpuarray
import numpy as np
import skcuda.linalg as linalg
# --- Initializations
import pycuda.autoinit
linalg.init()

A = np.array(([1, 2, 3], [4, 5, 6])).astype(np.float64)
B = np.array(([7, 8, 1, 5], [9, 10, 0, 9], [11, 12, 5, 5])).astype(np.float64)

A_gpu = gpuarray.to_gpu(A)
B_gpu = gpuarray.to_gpu(B)

C_gpu = linalg.dot(A_gpu, B_gpu)

print(np.dot(A, B))
print(C_gpu)

=== Параллелизм SGD ===
Запускаем внешний цикл [[Стохастический градиентный спуск|SGD]] параллельно в пуле потоков и используем конструкции синхронизации, такие как блокировки, чтобы предотвратить состояние гонки. Но это может работать медленно из-за накладных расходов на синхронизацию.

Еще более интересная идея (называемая асинхронным SGD или Hogwild): Несколько потоков запускают SGD параллельно без какой-либо синхронизации. Теперь условия гонки могут возникнуть, но оказывается, что во многих случаях это хорошо, шум/ошибка в условиях гонки просто добавляет небольшое количество к шуму/ошибке, уже присутствующей в алгоритм из-за случайной выборки градиента.

== Источники информации ==
# [http://www.cs.cornell.edu/courses/cs4787/2019sp/notes/lecture1.pdf Principles of Large-Scale Machine Learning]
# [https://docs.nvidia.com/cuda/pdf/CUBLAS_Library.pdf cuBLAS library user guide]
# [https://solarianprogrammer.com/2012/05/31/matrix-multiplication-cuda-cublas-curand-thrust/ Matrix multiplication on GPU using CUDA with CUBLAS]
# [https://medium.com/@CIulius/a-short-notice-on-performing-matrix-multiplications-in-pycuda-cbfb00cf1450 A short notice on performing matrix multiplications in PyCUDA]
# [https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html CUDA C++ Programming Guide]
[[Категория: Машинное обучение]]

Многопоточность в машинном обучении

2020-04-22T14:28:28Z

AccountAll: /* Параллелизм GPU */

Следует выделить следующие виды параллелизма:
* Параллелизм на уровне инструкций (ILP): запускать несколько инструкций одновременно.
* Параллелизм одна инструкция множество данных(SIMD): одна инструкция работает с вектором чисел
* Многопоточный параллелизм: несколько независимых рабочих потоков взаимодействуют через абстракцию совместно используемой памяти.
* Распределенные вычисления: несколько независимых рабочих компьютеров взаимодействуют по сети. (MLlib на Spark, Mahout на Hadoop)

== Идеи используемые для ускорения вычислений в ML ==
=== Параллелизм для ускорения линейной алгебры. ===
Мы можем значительно повысить производительность, создав ядра линейной алгебры (например, умножение матриц, векторное сложение и т.д.), которые используют параллелизм для ускорения работы. Поскольку умножение матриц занимает большую часть времени обучения нейронных сетей, это может привести к значительному сквозному ускорению обучающего конвейера. В основе этого лежит параллелизм ILP, SIMD а для больших матриц также может использоваться многопоточность.

Примеры оптимизаций:
* Высоко оптимизированные тензорные библиотеки для арифметики.
* Алгоритмы в терминах матричных операций, а не векторных операций, насколько это возможно.
* Broadcast операции, а не циклы.
* Распараллеленные реализации некоторых специальных операций (таких как свертки для [[Сверточные нейронные сети | CNN]]).

==== Параллелизм broadcast операций ====
Просмотрите код наивной реализации поэлементное произведение двух векторов на Python

def elementwise_product(x, y):
assert(len(x) == len(y))
z = numpy.zeros(len(x))
for i in range(len(x)):
z[i] = x[i] * y[i]
return z

Такой код лучше заменять на broadcast операции из numpy, которые выигрывают от векторизации и ILP. Также такой код может быть легко распараллелен для больших векторов

=== Параллелизм в оптимизации гиперпараметров ===
Для параллельной [[Настройка гиперпараметров | оптимизации гиперпараметров]] можно использовать поиск по решётке или случайный поиск в которых мы можем оценить параметры независимо.
Такая оптимизации часто встречаются в библиотеках машинного обучения.

=== Параллелизм [[Кросс-валидация | кросс-валидации]] ===
Полная кросс-валидация, k-fold, t×k-fold, Leave-One-Out легко распараллеливаются на несколько потоков, каждый из которых работает на своем разбиении данных

[[Файл:ParallelCrossValidation.png|500px]]

=== Параллелизм GPU ===
Типичное число потоков обработки графического процессора - десятки тысяч, что позволяет вычислять одну и ту же операцию параллельно на множестве элементов.

Фреймворки машинного обучения, такие как TensorFlow, PyTorch и MxNet используют эти возможности через библиотеки от компаний производителей графических ускорителей и открытые фреймворки:
* [https://developer.nvidia.com/cublas cuBLAS] - библиотека от Nvidia позволяющая эффективно перемножать матрицы.
* [https://developer.nvidia.com/cuda-toolkit CUDA] - язык параллельного программирования/вычислительная платформа для вычислений общего назначения на графическом процессоре
* [https://www.khronos.org/opencl/ OpenCL] - фреймворк для написания компьютерных программ, связанных с параллельными вычислениями на различных графических и центральных процессорах, а также FPGA

=== Параллелизм SGD ===
Запускаем внешний цикл [[Стохастический градиентный спуск|SGD]] параллельно в пуле потоков и используем конструкции синхронизации, такие как блокировки, чтобы предотвратить состояние гонки. Но это может работать медленно из-за накладных расходов на синхронизацию.

Еще более интересная идея (называемая асинхронным SGD или Hogwild): Несколько потоков запускают SGD параллельно без какой-либо синхронизации. Теперь условия гонки могут возникнуть, но оказывается, что во многих случаях это хорошо, шум/ошибка в условиях гонки просто добавляет небольшое количество к шуму/ошибке, уже присутствующей в алгоритм из-за случайной выборки градиента.

== Источники информации ==
# [http://www.cs.cornell.edu/courses/cs4787/2019sp/notes/lecture1.pdf Principles of Large-Scale Machine Learning]

[[Категория: Машинное обучение]]

Многопоточность в машинном обучении

2020-04-20T11:13:13Z

AccountAll:

Следует выделить следующие виды параллелизма:
* Параллелизм на уровне инструкций (ILP): запускать несколько инструкций одновременно.
* Параллелизм одна инструкция множество данных(SIMD): одна инструкция работает с вектором чисел
* Многопоточный параллелизм: несколько независимых рабочих потоков взаимодействуют через абстракцию совместно используемой памяти.
* Распределенные вычисления: несколько независимых рабочих компьютеров взаимодействуют по сети. (MLlib на Spark, Mahout на Hadoop)

== Идеи используемые для ускорения вычислений в ML ==
=== Параллелизм для ускорения линейной алгебры. ===
Мы можем значительно повысить производительность, создав ядра линейной алгебры (например, умножение матриц, векторное сложение и т.д.), которые используют параллелизм для ускорения работы. Поскольку умножение матриц занимает большую часть времени обучения нейронных сетей, это может привести к значительному сквозному ускорению обучающего конвейера. В основе этого лежит параллелизм ILP, SIMD а для больших матриц также может использоваться многопоточность.

Примеры оптимизаций:
* Высоко оптимизированные тензорные библиотеки для арифметики.
* Алгоритмы в терминах матричных операций, а не векторных операций, насколько это возможно.
* Broadcast операции, а не циклы.
* Распараллеленные реализации некоторых специальных операций (таких как свертки для [[Сверточные нейронные сети | CNN]]).

==== Параллелизм broadcast операций ====
Просмотрите код наивной реализации поэлементное произведение двух векторов на Python

def elementwise_product(x, y):
assert(len(x) == len(y))
z = numpy.zeros(len(x))
for i in range(len(x)):
z[i] = x[i] * y[i]
return z

Такой код лучше заменять на broadcast операции из numpy, которые выигрывают от векторизации и ILP. Также такой код может быть легко распараллелен для больших векторов

=== Параллелизм в оптимизации гиперпараметров ===
Для параллельной [[Настройка гиперпараметров | оптимизации гиперпараметров]] можно использовать поиск по решётке или случайный поиск в которых мы можем оценить параметры независимо.
Такая оптимизации часто встречаются в библиотеках машинного обучения.

=== Параллелизм [[Кросс-валидация | кросс-валидации]] ===
Полная кросс-валидация, k-fold, t×k-fold, Leave-One-Out легко распараллеливаются на несколько потоков, каждый из которых работает на своем разбиении данных

[[Файл:ParallelCrossValidation.png|500px]]

=== Параллелизм GPU ===
Типичное число потоков обработки графического процессора - десятки тысяч, что позволяет вычислять одну и ту же операцию параллельно на множестве элементов.

Фреймворки машинного обучения, такие как TensorFlow, PyTorch и MxNet используют эти возможности через библиотеки от компаний производителей графических ускорителей:
* cuBLAS - библиотека от Nvidia позволяющая эффективно перемножать матрицы.
* CUDA - язык параллельного программирования/вычислительная платформа для вычислений общего назначения на графическом процессоре

=== Параллелизм SGD ===
Запускаем внешний цикл [[Стохастический градиентный спуск|SGD]] параллельно в пуле потоков и используем конструкции синхронизации, такие как блокировки, чтобы предотвратить состояние гонки. Но это может работать медленно из-за накладных расходов на синхронизацию.

Еще более интересная идея (называемая асинхронным SGD или Hogwild): Несколько потоков запускают SGD параллельно без какой-либо синхронизации. Теперь условия гонки могут возникнуть, но оказывается, что во многих случаях это хорошо, шум/ошибка в условиях гонки просто добавляет небольшое количество к шуму/ошибке, уже присутствующей в алгоритм из-за случайной выборки градиента.

== Источники информации ==
# [http://www.cs.cornell.edu/courses/cs4787/2019sp/notes/lecture1.pdf Principles of Large-Scale Machine Learning]

[[Категория: Машинное обучение]]

Файл:ParallelCrossValidation.png

2020-04-20T11:04:18Z

AccountAll:

Многопоточность в машинном обучении

2020-04-20T11:01:22Z

AccountAll: Статья, первый вид

Машинное обучение

2020-04-20T09:50:09Z

AccountAll: /* В разработке */

[[Категория: Машинное обучение]]

=Общие понятия=
*[[Общие понятия]]
*[[Переобучение]]
*[[Кросс-валидация]]
*[[Стохастический градиентный спуск]]
*[[Регуляризация]]
*[[Ранжирование]]
*[[Обучение с частичным привлечением учителя]]<tex>^\star</tex>
*[[Жизненный цикл модели машинного обучения]]<tex>^\star</tex>

=Классификация и регрессия=
*[[Метрический классификатор и метод ближайших соседей]]
*[[Дерево решений и случайный лес]]
*[[Вариации регрессии]]
*[[Линейная регрессия]]
*[[Логистическая регрессия]]
*[[Метод опорных векторов (SVM)]]
*[[Ядра]]
*[[Оценка качества в задачах классификации и регрессии]]
*[[Байесовская классификация]]
*[[Байесовские сети]]
*[[Поиск ближайших соседей с помощью иерархического маленького мира]]<tex>^\star</tex>

=Кластеризация=
*[[Кластеризация]]
*[[EM-алгоритм]]
*[[Иерархическая кластеризация]]
*[[Оценка качества в задаче кластеризации]]<tex>^\star</tex>
*[[Эволюционные алгоритмы кластеризации]]<tex>^\star</tex>

=Ансамбли=
*[[Виды ансамблей]]
*[[Бустинг, AdaBoost]]
*[[XGBoost]]<tex>^\star</tex>
*[[CatBoost]]<tex>^\star</tex>

=Нейронные сети=
*[[Нейронные сети, перцептрон]]
*[[Обратное распространение ошибки]]
*[[Практики реализации нейронных сетей]]

==Глубокое обучение==
*[[Глубокое обучение]]
*[[Настройка глубокой сети]]
*[[Batch-normalization]]
*[[Рекуррентные нейронные сети]]
*[[Долгая краткосрочная память]]

===Сверточные сети===
*[[Сверточные нейронные сети]]
*[[Neural Style Transfer]]<tex>^\star</tex>

===Компьютерное зрение===
*[[Компьютерное зрение]]
*[[Задача нахождения объектов на изображении]]<tex>^\star</tex>
*[[Сегментация изображений]]
*[[PixelRNN и PixelCNN]]

===Порождающие модели===
*[[Порождающие модели]]
*[[Generative Adversarial Nets (GAN)]]
*[[Автокодировщик]]
*[[Вариационный автокодировщик]]<tex>^\star</tex>

===Обработка естественного языка===
*[[Распознавание речи]]
*[[Обработка естественного языка]]
*[[Векторное представление слов]]
*[[Классификация текстов и анализ тональности]]
*[[Долгая краткосрочная память]]
*[[Механизм внимания]]

=Автоматическое машинное обучение=
*[[Автоматическое машинное обучение]]
*[[Модель алгоритма и ее выбор]]
*[[Мета-обучение]]

=Работа с данными=
*[[Уменьшение размерности]]
*[[Выброс]]
*[[Алгоритмы сэмплирования]]
*[[Известные наборы данных]]
*[[Метод главных компонент (PCA)]]
*[[Стохастическое вложение соседей с t-распределением]]

=Обучение с подкреплением=
*[[Обучение с подкреплением]]<tex>^\star</tex>
*[[Методы policy gradient и алгоритм асинхронного актора-критика]]<tex>^\star</tex>

=Активное обучение=
*[[Активное обучение]]<tex>^\star</tex>

=Примеры кода=
*[[Обзор библиотек для машинного обучения на Python]]
*[[Примеры кода на Java]]
*[[Примеры кода на Scala]]

=В разработке=
*[[Графовые нейронные сети]]
*[[Рекомендательные системы]]
*[[Настройка гиперпараметров]]
*[[Примеры кода на R]]<tex>^\star</tex>
*[[PixelRNN и PixelCNN]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]]
*[[Дополнение к ранжированию]]
*[[Поиск архитектуры нейронной сети]]
*[[Генерация объектов]]
*[[Распознавание текста на изображении]]
*[[Обучение в реальном времени]]
*[[Оценка положения]]
*[[Примеры кода на Kotlin]]
*[[Примеры кода на Kotlin в Jupyter Notebook]]
*[[Сети глубокого доверия]]
*[[Многопоточность в машинном обучении]]