Нейронный процессор

Нейро́нный проце́ссор (англ. Neural Processing Unit, NPU или ИИ-ускоритель англ. AI accelerator) — это специализированный класс микропроцессоров и сопроцессоров (часто являющихся специализированной интегральной схемой), используемый для аппаратного ускорения работы алгоритмов искусственных нейронных сетей, компьютерного зрения, распознавания по голосу, машинного обучения и других методов искусственного интеллекта[1].

Описание

Нейронные процессоры относятся к вычислительной технике и используются для аппаратного ускорения эмуляции работы нейронных сетей и цифровой обработки сигналов в режиме реального времени. Как правило, нейропроцессор содержит регистры, блоки памяти магазинного типа, коммутатор и вычислительное устройство, содержащее матрицу умножения, дешифраторы, триггеры и мультиплексоры[2].

На современном этапе (по состоянию на 2017 год) к классу нейронных процессоров могут относиться разные по устройству и специализации типы чипов, например:

История

Области применения

Примеры

Существующие продукты

16-ядерный чип Adapteva Epiphany (E16G301) на одноплатном компьютере для параллельных вычислений.
  • Процессоры машинного зрения:
  • Тензорные процессоры:
    • Google TPU (англ. Tensor Processing Unit) — представлен как ускоритель для системы Google TensorFlow, которая широко применяется для свёрточных нейронных сетей. Сфокусирован на большом объёме арифметики 8-битной точности[5].
    • Huawei Ascend 310 / Ascend 910 — первые два чипа оптимизированные под решения задач искусственного интеллекта из линейки Ascend компании Huawei[13].
    • Intel Nervana NNP (англ. Neural Network Processor) — это первый коммерчески доступный тензорный процессор, предназначенный для постройки сетей глубокого обучения[14], компания Facebook была партнёром в процессе его проектирования[15][16].
    • Qualcomm Cloud AI 100 — ускоритель искусственного интеллекта, предназначенный для использования в составе облачных платформ, поддерживающий программные библиотеки PyTorch, Glow, TensorFlow, Keras и ONNX[17].
  • Нейроморфные процессоры:
    • IBM TrueNorth — нейроморфный процессор, построенный по принципу взаимодействия нейронов, а не традиционной арифметики. Частота импульсов представляет интенсивность сигнала. По состоянию на 2016 год среди исследователей ИИ нет консенсуса, является ли это правильным путём для продвижения[18], но некоторые результаты являются многообещающими, с продемонстрированной большой экономией энергии для задач машинного зрения[19].
  • Adapteva Epiphany — предназначен как сопроцессор, включает модель блокнотной памяти сети на кристалле, подходит к модели программирования потоком информации, которая должна подходить для многих задач машинного обучения.
  • ComBox x64 Movidius PCIe Blade board - плата расширения PCI Express с максимальной плотностью VPU Intel Movidius (MyriadX) для инференса сверхточных нейронных сетей в ЦОД
  • Cambricon MLU100 — карта расширения PCI Express с ИИ-процессором мощностью 64 TFLOPS с половинной точностью или 128 TOPS для вычислений INT8[20].
  • Cerebras Wafer Scale Engine (WSE, CS-1) — экспериментальный суперпроцессор компании Cerebras, содержит 1,2 трлн транзисторов, организованных в 400 000 ИИ-оптимизированных вычислительных ядер и 18 Гбайт локальной распределённой памяти SRAM, и всё это связано ячеистой сетью с общей производительностью 100 петабит в секунду. Чип Cerebras ― это фактически суперкомпьютер на чипе, где вычислительные ядра SLAC (Sparse Linear Algebra Cores) ― полностью программируемые и могут быть оптимизированы для работы с любыми нейронными сетями[21].
  • KnuPath — процессор компании KnuEdge, предназначен для работы в системах распознавания речи и прочих отраслях машинного обучения, он использует соединительную технологию LambdaFabric и позволяет объединять в единую систему до 512 тысяч процессоров[22].

GPU-продукты

  • Nvidia Tesla — серия специализированных GPGPU-продуктов компании Nvidia[23]:
    • Nvidia Volta — графические процессоры (GPU) архитектуры Volta (2017 год) компании Nvidia (такие как Volta GV100), содержат до 640 специальных ядер для тензорных вычислений[1].
    • Nvidia Turing — графические процессоры архитектуры Turing (2018 год) компании Nvidia (такие как Nvidia TU104), содержат до 576 специальных ядер для тензорных вычислений[24].
    • Nvidia DGX-1 — специализированный сервер, состоящий из 2 центральных процессоров и 8 GPU Nvidia Volta GV100 (5120 тензорных ядер), связанных через быструю шину NVLink[25]. Специализированная архитектура памяти у этой системы является особенно подходящей для построения сетей глубокого обучения[26][27].
  • AMD Radeon Instinct — специализированная GPGPU-плата компании AMD, предлагаемая как ускоритель для задач глубокого обучения[28][29].

ИИ-ускорители в виде внутренних сопроцессоров (аппаратных ИИ-блоков)

6-ядерный SoC Apple A11 Bionic с Neural Engine

Научные исследования и разрабатываемые продукты

  • Индийский технологический институт в Мадрасе разрабатывает ускоритель на импульсных нейронах для новых систем архитектуры RISC-V, направленных на обработку больших данных на серверных системах[34].
  • Eyeriss — разработка, направлена на свёрточные нейронные сети с применением блокнотной памяти и сетевой архитектуры в пределах кристалла.
  • Fujitsu DLU — многоблочный и многоядерный сопроцессор компании Fujitsu использующий вычисления с низкой точностью и предназначенный для глубокого машинного обучения[35].
  • Intel Loihi — нейроморфный процессор компании Intel, который сочетает процессы обучения, тренировки и принятия решений в одном чипе, позволяя системе быть автономной и «сообразительной» без подключения к облаку. Например, при обучении с помощью базы данных MNIST (Mixed National Institute of Standards and Technology) процессор Loihi оказывается в 1 млн раз лучше, чем другие типичные спайковые нейронные сети[36].
  • Kalray — показала MPPA[37] и сообщила о повышении эффективности свёрточных нейронных сетей в сравнении с GPU.
  • SpiNNaker — массово-параллельная компьютерная архитектура, которая сочетает ядра традиционной ARM-архитектуры с усовершенствованной сетевой структурой, специализированной для моделирования крупной нейронной сети.
  • Zeroth NPU — разработка компании Qualcomm, направленная непосредственно на привнесение возможностей распознавания речи и изображений в мобильные устройства[38].
  • IVA TPU — тензорный процессор, над созданием которого работает[39][40] российская компания IVA Technologies. В октябре 2020 года были опубликованы результаты[41][42] тестирования архитектуры ускорителя расчета нейронных сетей IVA TPU, проведенного международным консорциумом MLPerf (учрежден в 2018 году Baidu, Google, Harvard University, Stanford University, University of California, Berkeley).

Примечания

  1. Популярность машинного обучения влияет на эволюцию архитектуры процессоров. Servernews. (31 августа 2017). Дата обращения: 17 ноября 2017.
  2. Нейропроцессор, устройство для вычисления функций насыщения, вычислительное устройство и сумматор. FindPatent.RU. Дата обращения: 17 ноября 2017.
  3. IBM поставила LLNL нейропроцессоры TrueNorth за $1 млн. Компьютерра. (31 марта 2016). Дата обращения: 17 ноября 2017.
  4. Intel разрабатывает тензорные процессоры для ИИ. PC Week/RE. (22 ноября 2016). Дата обращения: 17 ноября 2017.
  5. Подробности о тензорном сопроцессоре Google TPU. Servernews. (25 августа 2017). Дата обращения: 17 ноября 2017.
  6. Intel анонсировала процессор машинного зрения Movidius Myriad X. 3DNews. (29 августа 2017). Дата обращения: 17 ноября 2017.
  7. Nvidia Drive PX: Scalable AI Supercomputer For Autonomous Driving. Nvidia. Дата обращения: 17 ноября 2017. (англ.)
  8. NVIDIA представила Drive PX Pegasus — платформу для автопилота нового поколения. 3DNews (10 октября 2017). Дата обращения: 17 ноября 2017. (рус.)
  9. Movidius powers worlds most intelligent drone. (англ.)
  10. Qualcomm Research brings server-class machine learning to everyday devices. (англ.)
  11. Design of a machine vision system for weed control (недоступная ссылка). Дата обращения: 15 ноября 2017. Архивировано 23 июня 2010 года. (англ.)
  12. The Evolution of EyeQ.
  13. Huawei создала первые в мире ИИ-процессоры, пойдя по пути разработчиков «Эльбрусов», CNews (23 октября 2018). Дата обращения 24 октября 2018.
  14. До конца года Intel выпустит «первую в отрасли микросхему для обработки нейронных сетей» — Intel Nervana Neural Network Processor. iXBT.com (18 октября 2017). Дата обращения: 21 ноября 2017.
  15. Intel unveils purpose-built Neural Network Processor for deep learning, Tech Report (17 октября 2017). Дата обращения 17 ноября 2017.
  16. Intel Nervana Neural Network Processors (NNP) Redefine AI Silicon (17 октября 2017). Дата обращения 17 ноября 2017.
  17. Qualcomm представила ускоритель искусственного интеллекта Cloud AI 100, Servernews.ru (10 апреля 2019). Дата обращения 16 апреля 2019.
  18. Ян ЛеКун про IBM TrueNorth. (англ.)
  19. IBM cracks open new era of neuromorphic computing. — «TrueNorth is incredibly efficient: The chip consumes just 72 milliwatts at max load, which equates to around 400 billion synaptic operations per second per watt — or about 176,000 times more efficient than a modern CPU running the same brain-like workload, or 769 times more efficient than other state-of-the-art neuromorphic approaches». (англ.)
  20. Китайская компания Cambricon разрабатывает чипы ИИ для дата-центров. (недоступная ссылка). Дата обращения: 15 июня 2018. Архивировано 16 июня 2018 года.
  21. Cerebras ― процессор для ИИ невероятных размеров и возможностей. 3DNews. (20 августа 2019). Дата обращения: 21 августа 2019.
  22. KnuPath — нейроморфный процессор военного назначения. 3DNews. (9 июня 2016). Дата обращения: 17 ноября 2017.
  23. Computex: Глава Nvidia не видит угрозы в «тензорном» процессоре Google. «Открытые системы». (1 июня 2016). Дата обращения: 17 ноября 2017.
  24. Что принесёт на рынок новая архитектура NVIDIA Turing?. 3DNews. (14.08.2018). Дата обращения: 17 августа 2018.
  25. Эра NVIDIA Volta началась с ускорителя Tesla V100. Servernews. (11 мая 2017). Дата обращения: 17 ноября 2017.
  26. GTC Europe 2017: библиотека NVIDIA TensoRT 3 ускоряет работу нейросетей в 18 раз по сравнению с универсальным решением. Servernews. (12 октября 2017). Дата обращения: 17 ноября 2017.
  27. Новый российский суперкомпьютер предназначен для обучения нейросетей. Servernews. (1 сентября 2017). Дата обращения: 17 ноября 2017.
  28. AMD Announces Radeon Instinct: GPU Accelerators for Deep Learning, Coming in 2017, Anandtech (12 декабря 2016). Дата обращения 12 декабря 2016.
  29. Radeon Instinct Machine Learning GPUs include Vega, Preview Performance, PC Per (12 декабря 2016). Дата обращения 12 декабря 2016.
  30. Huawei представляет будущее мобильного искусственного интеллекта на IFA 2017.
  31. CEVA NeuPro. A Family of AI Processors for Deep Learning at the Edge.
  32. The iPhone X’s new neural engine exemplifies Apple’s approach to AI, The Verge (13 сентября 2017). Дата обращения 17 ноября 2017.
  33. Imagination представила новые ИИ-ускорители PowerVR 2NX, 3DNews (8 июня 2018). Дата обращения 15 июня 2018.
  34. India preps RISC-V Processors - Shakti targets servers, IoT, analytics (недоступная ссылка). — «The Shakti project now includes plans for at least six microprocessor designs as well as associated fabrics and an accelerator chip». Дата обращения: 15 ноября 2017. Архивировано 3 июля 2017 года. (англ.)
  35. Fujitsu разрабатывает специализированный процессор для систем ИИ. Servernews. (24 июля 2017). Дата обращения: 17 ноября 2017.
  36. Intel представила нейроморфный процессор Loihi. 3DNews. (26 сентября 2017). Дата обращения: 17 ноября 2017.
  37. Kalray MPPA. (англ.)
  38. Qualcomm показала нейропроцессор Zeroth. Logmag.net (16 октября 2013). Дата обращения: 17 ноября 2017.
  39. embedded world. IVA TPU – DNN inference accelerator // NeuroMatrix Architecture for Neural Network Applications | embedded world (англ.). www.embedded-world.de. Дата обращения: 30 ноября 2020.
  40. В России создана оригинальная процессорная архитектура, способная потеснить NVidia. CNews.ru. Дата обращения: 30 ноября 2020.
  41. Inference Results (англ.). MLPerf. Дата обращения: 30 ноября 2020.
  42. Sally Ward-Foxton. Machine learning benchmark expands support for edge, data center workloads (англ.) ?. Embedded.com (3 ноября 2020). Дата обращения: 30 ноября 2020.

Ссылки

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.