Большинство периферийных рабочих нагрузок AI/ML относятся к ЦП, но ускорители необходимы для небольшого меньшинства рабочих нагрузок, с которыми ЦП не может справиться. Пользователи Raspberry Pi имеют множество вариантов ускорения, используя наши собственные AI HAT+ и HAT+ 2, а также предложения из более широкой экосистемы Raspberry Pi. Здесь наши друзья из Sixfab и DEEPX обсуждают работу машинного зрения и компактного языкового искусственного интеллекта на Raspberry Pi 5 с использованием Sixfab AI HAT+, а также то, что делает возможным трехваттный NPU на периферии.
Raspberry Pi сделал разработку ИИ доступной для миллионов инженеров, студентов и производителей. Следующий шаг — перейти от модели, которая запускается один раз в демо-версии, к интеллектуальной системе, которая постоянно наблюдает, понимает и реагирует — не полагаясь на постоянное подключение к облаку.
Sixfab AI HAT+ для Raspberry Pi 5 — это плата ускорителя искусственного интеллекта стороннего производителя, построенная на базе NPU DEEPX DX-M1M. Это добавляет 25 TOPS выделенного ускорения искусственного интеллекта к примерно 3 Вт типичной постоянной мощности NPU, оставляя при этом ЦП Raspberry Pi свободным для управления камерой, логики приложений, подключения и управления устройствами. В этой статье мы хотим показать, что на самом деле делает эта комбинация, где она не является подходящим инструментом и как пройти путь от первой загрузки до первого вывода за считанные минуты.
Почему в заголовке — три ватта, а не число TOPS
Пиковые показатели TOPS способствуют отличному маркетингу, но большинство периферийных продуктов живут и умирают в зависимости от своего энергопотребления и теплового баланса. Реальной системе по-прежнему требуется место для самого Raspberry Pi, камеры, хранилища, сети и всего, что фактически контролирует устройство. Ускоритель, мощность которого составляет около 3 Вт при постоянной нагрузке, означает меньшие размеры корпуса, более простое (часто пассивное) охлаждение и искусственный интеллект, который может работать непрерывно, а не короткими перерывами.
Именно эта эффективность делает локальный ИИ практичным в тех областях, где это наиболее важно: интеллектуальные камеры, роботы, промышленное оборудование и распределенные датчики, где задержка в облаке, возможность подключения или конфиденциальность данных могут быть ограничением.
ТЕХНИЧЕСКИЕ ПРИМЕЧАНИЯ: Значение ~3 Вт относится к типичной постоянной мощности NPU для варианта 25 TOPS DX-M1M, а не к полной мощности настенной системы. Всегда измеряйте окончательную конфигурацию Raspberry Pi с учетом фактической камеры, хранилища, рабочей нагрузки и охлаждения.
Один НПУ на три класса интеллекта
Большинство периферийных продуктов начинаются с восприятия: CNN обнаруживает объект, сегментирует рабочее место, оценивает позу или отмечает аномальное событие. Следующему поколению периферийных систем также необходимо будет понимать контекст и сообщать то, что оно видит. DX-M1M предназначен для обеспечения полного перемещения одного куска кремния и цепочки инструментов.
CNN: отличное визуальное восприятие
Обнаружение объектов, классификация, сегментация, оценка позы, глубина и улучшение изображения превращают пиксели камеры в структурированные события. DEEPX ModelZoo поставляется с предварительно оптимизированными примерами, включая детекторы семейства YOLO, модели сегментации и позы, а DX-Stream помогает собрать их в конвейеры камер на базе GStreamer.
Компактный VLM: связь видения со смыслом
Компактная модель языка видения добавляет контекстуальное понимание к визуальным результатам: описание сцены, ответ на конкретный вопрос об изображении или интерпретация события на естественном языке — локально, ничего не оставляя на устройстве.
УУЗР: система говорящего края
Небольшая языковая модель может интерпретировать команды пользователя, суммировать локальные события или генерировать краткое объяснение, создавая естественный интерфейс для камер, роботов и машин без перенаправления каждого взаимодействия в облако.
А что насчет памяти?
Первый вопрос, который возникает у любого разработчика относительно моделей пограничного языка, — это сколько памяти доступно и насколько большой должна быть модель. Модуль DX-M1M содержит 2 ГБ выделенного встроенного LPDDR4x, который удобно поддерживает рабочие нагрузки VLM и SLM, а также модели машинного зрения.
Точность важнее пикового эталона
Производительность Edge AI полезна только в том случае, если модель остается точной в соответствии с изображениями и условиями, с которыми фактически сталкивается ваше приложение. DEEPX считает оптимизацию INT8 высокоточным инженерным процессом, а не простым этапом преобразования:
- Начните с известного базового уровня точности FP32 и четко определенных показателей приложения.
- Выполняйте калибровку с использованием репрезентативных данных из реальной среды развертывания, а не просто чистых образцов изображений.
- Скомпилируйте и оптимизируйте модель с помощью DX-COM в переносимый артефакт развертывания .dxnn.
- Сравните точность, задержку, энергопотребление и тепловые характеристики окончательной системы Raspberry Pi.
Это наиболее важно в сложных краевых условиях, с которыми действительно сталкиваются камеры: слабое освещение, блики, размытие изображения при движении, окклюзия и необычные углы. Убедительный результат свидетельствует как о достигнутой эффективности, так и о сохранении точности применения.
Насколько это быстро на самом деле?
Числа превосходят прилагательные. Приведенные ниже цифры были измерены на Raspberry Pi 5 (8 ГБ) с установленной версией программного обеспечения Sixfab и сравнивали NPU DX-M1M и DX-M1:
| Рабочая нагрузка | ДХ-М1М (НПУ) | DX-M1 (НПУ) |
| mobilenet_v2, 240×240 | 2361 кадров в секунду | 3223 кадра в секунду |
| deeplabv3plus, 512×512 | 155 кадров в секунду | 231 кадр/с |
| Qwen3-1.7B, 96 жетонов предварительного заполнения | TTFT: 599,04 мс TPS: 4,64 ток/с | TTFT: 544,58 мс TPS: 11,60 ток/с |
* DX-M1 использует LPDDR5, а DX-M1M использует LPDDR4X, что приводит к разнице в производительности из-за пропускной способности их памяти.
От первой загрузки до первого вывода
Самый быстрый способ понять платформу — проверить оборудование, запустить упакованную модель и посмотреть работу NPU. В ОС Raspberry Pi:
sudo apt update && sudo apt install apt-repo-sixfab
sudo apt update && sudo apt install sixfab-dx
dxrt-cli -s # confirm device and software status
run_hello_world # run a packaged example
dxtop # observe the NPU in real timeОтсюда выберите оптимизированную рабочую нагрузку ModelZoo или используйте собственную поддерживаемую модель ONNX через DX-COM. Полученный файл .dxnn выполняется через API C++ или Python DX-RT, в то время как ваше приложение Raspberry Pi продолжает обрабатывать камеры, бизнес-логику, пользовательский интерфейс, сеть и управление.
Программный стек в одном представлении
| Компоненты | Что это дает вам? |
| DX-COM | Оптимизирует и компилирует поддерживаемые модели ONNX в артефакты DEEPX .dxnn. |
| DX-RT | Запускает модели .dxnn через API C++ или Python на целевом устройстве. |
| DX-поток | Создает конвейеры захвата, вывода и постобработки на основе GStreamer. |
| МодельZoo | Предварительно оптимизированные примеры обнаружения, классификации, сегментации, позы и многого другого. |
| dxrt-cli/dxtop | Состояние устройства, использование, температура, часы и память с первого взгляда. |
Что с его помощью можно построить?
Начните дома. Камера на вашем рабочем месте, которая распознает сбой 3D-печати и отправляет вам снимок с однострочным описанием. Камера на входной двери, которая различает курьера, соседского кота и бездомного — и каждую ночь суммирует события дня, полностью локально. Монитор для сада или домашних животных, который просто предупреждает вас о том, на что следует обратить внимание. Все происходит по одному и тому же циклу: CNN видит событие, компактный VLM добавляет контекст, SLM объясняет его или интерпретирует вашу следующую команду, а ваше приложение Raspberry Pi принимает решение и действует.
Тот же цикл масштабируется и в серьезных развертываниях: непрерывное локальное обнаружение на интеллектуальных камерах с уменьшенной зависимостью от облака; маломощный визуальный контроль качества и безопасности на производственной линии; восприятие и компактный мультимодальный интеллект в роботах, в то время как Raspberry Pi использует ROS 2 и логику управления; а также анализ занятости и поведенческий анализ с учетом конфиденциальности в торговых и интеллектуальных помещениях.
Для чего это не предназначено
Как и любой периферийный ускоритель, AI HAT+ не пытается конкурировать с облачным логическим выводом. Приложения, требующие обширных знаний о мире, очень длинных диалоговых контекстов или непрерывного обучения, всегда будут работать лучше, если вычислительные ресурсы и память практически не ограничены. DX-M1M лучше всего работает как изолированный, постоянно включенный интеллектуальный модуль рядом с камерой или датчиком, где конфиденциальность, задержка, работа в автономном режиме и бюджет мощности, измеряемый одной цифрой ватт, являются требованиями, которые действительно определяют дизайн. Честность в отношении этих границ — вот что делает платформу заслуживающей доверия.
Сообщество и что дальше
Все, во что вам нужно вникать, общедоступно: DX-AllSuite и ModelZoo находятся на GitHub, а на портале разработчиков DEEPX размещена документация, руководства и каналы поддержки, где вы можете задавать вопросы и решать проблемы с файлами.
Где взять
25 TOPS Sixfab AI HAT+ для Raspberry Pi 5 уже доступен на Sixfab, а выпуск версии 13 TOPS ожидается к концу 2026 года. Документация и краткое руководство приведены ниже.
