Решения для сопряжения платформ ADAS и инфотеймента мобильного происхождения с электронными системами «умных» автомобилей

На протяжении последнего десятилетия основной движущей силой инноваций в автомобильной электронике служит мобильная индустрия, что обусловлено широким распространением смартфонов и постоянным расширением экосистемы приложений для них. Реагируя на эти радикальные изменения в способах взаимодействия водителя с автомобилем и как всегда стремясь сделать машины еще безопаснее и доступнее по цене, автопроизводители приспособили процессорные платформы, использующиеся в смартфонах, для создания нового поколения автомобильной электроники. Они рассчитывают на то, что смогут в значительной степени воспользоваться экономией от масштаба и прикладной программной поддержкой, присутствующими на современном мобильном рынке. Сегодня многие производители процессоров предлагают автомобильные версии своих мобильных платформ, но процессоры в них по-прежнему ориентированы на смартфон. Во многих случаях эти платформы приходится адаптировать под нужды автопроизводителя. FPGA — высокоэффективное и недорогое решение для сопряжения существующих платформ с автомобильной электроникой.

Всякий раз, когда конструкторы пытаются применить существующую платформу в какой-то новой области, они сталкиваются с рядом типичных проблем. Не исключение здесь и автомобильная промышленность. К счастью, многие из этих проблем удается решить с помощью устройств сопряжения на базе FPGA (табл.).

Таблица. Распространенные проблемы при адаптации автомобильных платформ

В зависимости от характера проектируемой системы, а также общей идеологии и нужд автопроизводителя для создания требуемого решения может понадобиться несколько сопрягающих компонентов. Компания Lattice Semiconductor предлагает ассортимент FPGA для этих целей:

• устройства CrossLink™ — недорогое решение с низким энергопотреблением для сопряжения с интерфейсами датчиков и камер, которое позволяет эффективно объединять или мультиплексировать данные с различных интерфейсов камер (видимого диапазона или радаров) и передавать их на однокристальную систему (SoC);
• ECP5™ — универсальная микросхема сопряжения для автомобильных нужд. С помощью этого недорогого компонента, имеющего низкое энергопотребление, можно легко соединять устройства по интерфейсу Ethernet или оптическим кабелем, используя выделенный двусторонний последовательно-параллельный преобразователь (SERDES). Встроенные блоки DSP позволяют осуществлять пред- и постобработку данных с датчиков, а также преобразовывать видеоданные в ряд стандартных форматов отображения;
• MachXO™ — небольшая микросхема FPGA с максимальным в отрасли числом линий ввода/вывода на одну таблицу соответствия (lookup table, LUT). С ее помощью удобно увеличивать число линий ввода/вывода, а также выполнять простые преобразования видеоданных.

Ниже описаны варианты использования устройств сопряжения для решения конкретных задач.

Машинное зрение

Машинное зрение — это выражение вызывает ассоциации с чем-то из области научной фантастики, однако является, тем не менее, одной из наиболее интересных и передовых технологий. Как следует из названия, речь идет о способности машин видеть окружающую обстановку и собирать визуальные данные о ней. Технология позволяет производителям конструировать машины (в том числе автомобили), способные видеть, датчики, способные уяснять окружающую обстановку, и компьютеры, способные самостоятельно принимать обоснованные решения.

Данные, собранные с систем машинного зрения, используются для придания машинам более высокоразвитого интеллекта и более широких возможностей в том, что называется машинным обучением. Человеко-машинный интерфейс (ЧМИ) обеспечивает более интеллектуальное управление этими машинами, а сами машины дают обратную связь, помогающую в принятии решений. Ключевая составляющая машинного зрения — применение многомерных изображений для распознавания объектов и объемного зрения с целью измерения расстояний и глубины. Путем сенсо́рной интеграции (sensor fusion) данные от всей совокупности разнородных датчиков комбинируются между собой и превращаются в полезную информацию, пригодную для обработки. При этом описываемые здесь системы могут вести друг с другом защищенную связь по высокоскоростным каналам, что позволяет строить «умные» города, заводы и автомобили.

Компания Lattice предлагает широкий ассортимент программируемых электронных компонентов с грамотно подобранным сочетанием функций совместной обработки, сопряжения и связи, которые позволяют наделить интеллектом периметр сети. Гибкие возможности этих микросхем FPGA помогают сократить время вывода на рынок изделий промышленного и автомобильного назначения, снизить их себестоимость и энергопотребление, а также уменьшить их габариты.

Интеллектуальная вспомогательная система автовождения (ADAS): обзорный вид сверху

В современных процессорах, как правило, предусмотрены интерфейсы для двух камер, но многие системы ADAS требуют наличия по крайней мере четырех, а иногда и до восьми камер, чтобы качество результирующего изображения позволяло точно в динамике измерять пространственные характеристики объектов вокруг автомобиля. Другая трудная задача, стоящая перед конструкторами, — обработка всех изображений, полученных с этих камер, в цифровой форме. Для ее решения обычно конвейер нужен обработки изображений (image signal processing, ISP) с большой пропускной способностью, с выхода которого обработанные данные будут поступать на процессор. Для таких применений специально предназначены микросхемы FPGA Lattice ECP5, обеспечивающие параллельную обработку, необходимую для ускорения конвейера. Эти компоненты с большим числом линий ввода/вывода легко сопрягаются с множеством камер, а имеющиеся в них функции совместной обработки повышают эффективность работы процессора.

Микросхему ECP5, подключенную к нескольким камерам, можно настроить для выполнения простой или сложной обработки изображений, чтобы обеспечить процессору наилучшее качество результирующего изображения для принятия решений. Для иллюстрации можно привести следующий пример. Современные автомобили оснащаются камерами, дающими обзорный вид сверху, спереди, сзади и с боков. Обзорный вид сверху — это передаваемое в реальном времени видеоизображение автомобиля и окружающей обстановки с высоты примерно 6 м. Оно формируется путем сшивания данных с четырех или более широкоугольных камер. ECP5 позволяет объединять сведения со всех камер, сшивать изображения, устранять эффект «рыбьего глаза», обусловленный широкоугольной оптикой, корректировать баланс белого, повышать качество изображения расширением динамического диапазона и передавать высококачественную картинку на процессор.

В подобных применениях одна микросхема ECP5 способна заменить несколько процессоров с ограниченным числом интерфейсов для камер. Это предоставляет конструкторам возможность снизить себестоимость и энергопотребление системы.

При проектировании такой системы следует учитывать ряд факторов, в частности:

• необходимое количество линий видеоинтерфейса и разрешение;
• потребность в быстром и надежном транспортировании данных;
• предобработку изображений для снижения нагрузки на главный процессор системы ADAS.

Количество линий видеоинтерфейса и разрешение

Устройство Lattice CrossLink помогает объединять данные с нескольких датчиков изображений и передавать их на автомобильный процессор по одному интерфейсу CSI-2. Малые поперечные размеры устройства CrossLink позволяют размещать его вблизи датчика, что обеспечивает дополнительную гибкость в конструировании.

Для устройства CrossLink предлагается множество готовых IP-ядер, поддерживающих сопряжение интерфейса физического уровня MIPI D-PHY с другими стандартными интерфейсами камер и дисплеев, а также объединение поступающих с них данных. Благодаря этому специалисты могут использовать камеры или дисплеи как с традиционными (OpenLDI, CMOS, LVDS), так и с современными (MIPI CSI-2 или DSI) интерфейсами.

DisplayPort — еще один открытый стандарт, обретающий популярность в автомобилестроении. Он отличается пониженным уровнем электромагнитных помех (ЭМП). Так, в нем меньше линий, по которым передаются самотактируемые сигналы, и предусмотрен микропакетный протокол, обеспечивающий легкое расширение для поддержки более высоких разрешений и передачи сигналов на более дальние расстояния. Благодаря наличию в ECP5 выделенных каналов SERDES становится реальным применение интерфейсов DisplayPort (DP) или Embedded DisplayPort (eDP) в приборных панелях, навигационных дисплеях и развлекательных системах для пассажиров на заднем сиденье. Их рекомендуется использовать в сочетании со специализированными автомобильными микросхемами MHL/HDMI (рис. 1) компании Lattice, обеспечивающими легкое подключение к современным интеллектуальным устройствам, таким как смартфоны и планшеты.

Рис. 1. Специализированные микросхемы MHL/HDMI компании Lattice для подключения интеллектуальных устройств к автомобильным системам

Транспортирование данных на объединительной плате

Двухточечное соединение становится сложным и дорогим, когда возникает задача подключить большое количество датчиков. Подсоединив датчики к микросхеме ECP5, располагающейся в задней части автомобиля, можно быстро и эффективно передавать данные с них в переднюю часть автомобиля по одному кабелю. Тем самым уменьшается вес, снижается себестоимость и упрощается ремонт.

Двусторонний последовательно-параллельный преобразователь (SERDES) с пропускной способностью 3,2 Гбит/с, имеющийся в составе микросхемы ECP5 (рис. 2), пригодится во многих сетевых и транспортных применениях. С его помощью можно реализовать бортовую сеть связи стандарта BroadR-Reach или Ethernet для сопряжения с микросхемой физического уровня (PHY) или сбора данных с датчиков. В ECP5 предусмотрен также эмулируемый интерфейс CSI-2, через который подключается несколько камер или радаров.

Рис. 2. Объединение данных с датчиков и реализация бортовой сети связи на основе микросхемы ECP5

Предобработка видео

Микросхему ECP5 можно использовать для предобработки видео. Когда в автомобилестроении начали применять мобильные процессоры, конструкторам пришлось столкнуться с большой номенклатурой новых интерфейсов. Например, процессоры для мобильных телефонов чаще всего оснащаются одним дисплейным выходом DSI, а в дисплеях, производимых для автомобильного рынка, обычно используется LVDS. В таких случаях можно применять FPGA для предобработки видеосигналов под разные разрешения и сопряжения различных интерфейсов. Микросхема ECP5 обеспечивает сопряжение выхода DSI или FPD-Link автомобильного процессора с входом LVDS большинства автомобильных дисплеев для передачи видеоизображения. В системах инфотейнмента с помощью ECP5 удается разделять один выходной видеосигнал на два дисплея для пассажиров на заднем сиденье или обрезать и форматировать его под определенное разрешение.

Интеллектуальная вспомогательная система автовождения (ADAS) с радарами и лидарами

Применение радаров и лидаров не ограничивается беспилотными автомобилями — они могут присутствовать и в обычных автомобилях в качестве вспомогательных средств автовождения. Например, с их помощью можно обнаруживать опасные объекты или ситуации и оповещать о них водителя, а если необходимо, то и автоматически принимать меры для обеспечения безопасности пассажиров. Пока такие системы еще совершенствуются, но автомобили будущего станут обрабатывать не только изображения, полученные с камер, но и сигналы радарных датчиков приближения и лидарных датчиков земной поверхности. В радарных и лидарных системах установлены высокоскоростные интерфейсы MIPI, а вывод данных осуществляется по интерфейсу CSI-2. Когда появляется задача подключить их к процессору, конструкторы опять-таки сталкиваются либо с ограниченным числом интерфейсов MIPI CSI-2, либо просто с другим интерфейсом. И в этом случае можно использовать устройство CrossLink для объединения данных с нескольких датчиков или сопряжения интерфейса CSI-2 с интерфейсом автомобильного процессора.

Скажем, многие современные радары на частоту 77 ГГц подключаются к микроконтроллеру системы ADAS по интерфейсу CSI-2. Используя показанную ниже топологию (рис. 3), можно подключить к системе ADAS множество радарных датчиков для сбора данных по всем направлениям через соответствующее количество устройств сопряжения CrossLink, если автомобильный процессор требует параллельного ввода данных.

Рис. 3. Сопряжение радарных датчиков с системой ADAS с помощью устройств CrossLink

Системам ADAS требуются также широкие возможности обработки изображений, чтобы распознавать объекты или фокусироваться на конкретном объекте вместо анализа изображения в целом. Разработчикам нужна гибкость, которую обеспечивают FPGA, для реализации постоянно развивающихся алгоритмов машинного обучения по мере того, как автомобили становятся все более самостоятельными в принятии решений. Теперь на компьютеры возлагается обязанность решать, как управлять автомобилем в той или иной дорожной обстановке, как обходиться с объектами на дороге и в целом обеспечивать безопасность водителя.

В состав микросхемы Lattice ECP5 входит полный пакет средств обработки изображений с расширением динамического диапазона (HDR ISP) компании Helion Vision, GmbH, которые можно использовать для повышения качества зарегистрированного изображения (рис. 4). Распознавание объектов на улучшенном изображении можно легко реализовать с помощью микропроцессора с программным ядром.

Рис. 4. Конвейер обработки изображений Helion IONOS

Системы автомобильного инфотейнмента (AIS) с многоэкранным отображением видео

Если автопроизводитель ставит задачу создать единую систему автомобильного инфотейнмента (automotive infotainment system, AIS), которая будет доставлять информацию и развлекательный контент всем находящимся в салоне, такая система должна будет поддерживать многоэкранный вывод, ввод с камеры заднего вида, а также ввод видео и данных с мобильных устройств.

Как правило, мобильные процессоры предусматривают подключение одного дисплея с интерфейсом DSI. В автомобильной электронике используются различные виды дисплеев с такими интерфейсами, как LVDS, DSI или завоевывающий в последнее время популярность DisplayPort. Микросхема ECP5 позволяет сопрягать интерфейс DSI с интерфейсом LVDS традиционных дисплеев и преобразовывать выходное изображение к совместимому с дисплеем разрешению. Кроме того, ECP5 поддерживает дисплеи с интерфейсами DisplayPort (DP) и Embedded DisplayPort (eDP). Если процессор не поддерживает DSI, на помощь придет устройство CrossLink, которое позволяет сопрягать такие процессоры с дисплеями, имеющими интерфейс DSI. Многоэкранное отображение можно реализовать и с помощью устройства MachXO, а ввод видео с мобильных устройств — с помощью специализированной автомобильной микросхемы HDMI.

Пример из практики клиента

Один из клиентов компании Lattice внедрил аналогичное решение на базе микросхемы FPGA ECP5. В изделии клиента обзорный вид сверху реализован с применением совместной обработки видеоданных и аппаратного ускорения. Изображение регистрируется четырьмя камерами, располагающимися по периметру автомобиля (спереди, сзади и по бокам). Видеоданные обрабатываются и сшиваются с помощью функций обработки изображений, в результате на выходе получается круговой обзорный вид.

Как показывает приведенная выше блок-схема (рис. 5), обзорный вид сверху формируется всего одной микросхемой ECP5, тогда как раньше эта задача выполнялась несколькими процессорами ARM. Изображения со всех четырех камер сшиваются и обрабатываются с применением таких функций, как коррекция баланса белого, устранение эффекта «рыбьего глаза» и тумана. На выходе формируется круговое обзорное изображение пространства вокруг автомобиля.  Автомобиль может комплектоваться платой кругового обзора на этапе производства или дооснащаться ею в послепродажный период.

Рис. 5. Блок-схема системы кругового обзора на базе микросхемы ECP5

Каждая камера регистрирует изображение высокой четкости с разрешением 720p. Выходное круговое обзорное изображение имеет разрешение 1080p и частоту 60 кадров/с. Таким образом, конструкторам изделия удалось заменить несколько процессоров ARM одной недорогой микросхемой FPGA с низким энергопотреблением — ECP5. Маломощный процесс ARM требуется для первичной калибровки, а также кодирования и записи видео.

Выводы

Гибкость микросхем FPGA уже успели оценить во многих отраслях. На автомобильном рынке микросхемы FPGA могут помочь при объединении элементов передовых систем инфотейнмента и безопасности с мобильными процессорами, на базе которых такие системы реализуются. Эта бизнес-модель имеет очевидные преимущества, поскольку позволяет автопроизводителям брать продукцию, уже зарекомендовавшую себя на массовом рынке смартфонов, и быстро приспосабливать ее под меняющиеся нужды автомобилестроения.

Возможно, FPGA найдут применение и в других видах автомобильного оборудования. Они уже начинают распространяться в других отраслях для управления электроприводами, и неисключено, что вскоре смогут успешно выполнять те же функции в автомобилях. Ясно одно: по мере совершенствования автомобильных электронных систем, а также развития ADAS и других систем, движущих отрасль в направлении беспилотных автомобилей, конструкторам придется встраивать все больше датчиков в подобные системы. Это, в свою очередь, будет стимулировать спрос на микросхемы FPGA, позволяющие адаптировать камеры, датчики, видеоданные и скорости интерфейсов передачи данных к меняющимся потребностям рынка.