7
правок
Изменения
→Параллелизм GPU
Типичное число потоков обработки графического процессора - десятки тысяч, что позволяет вычислять одну и ту же операцию параллельно на множестве элементов.
Фреймворки машинного обучения, такие как TensorFlow, PyTorch и MxNet используют эти возможности через библиотеки от компаний производителей графических ускорителейи открытые фреймворки:* [https://developer.nvidia.com/cublas cuBLAS ] - библиотека от Nvidia позволяющая эффективно перемножать матрицы.* [https://developer.nvidia.com/cuda-toolkit CUDA ] - язык параллельного программирования/вычислительная платформа для вычислений общего назначения на графическом процессоре* [https://www.khronos.org/opencl/ OpenCL] - фреймворк для написания компьютерных программ, связанных с параллельными вычислениями на различных графических и центральных процессорах, а также FPGA
=== Параллелизм SGD ===
