Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarLanceDB Blog→ original

WeRide usa o LanceDB e reduz de uma semana para uma hora a busca por cenas raras e perigosas para veículos autônomos

Situações raras, como uma pessoa na pista, são essenciais para treinar um veículo autônomo, mas não dá para encontrá-las entre bilhões de quadros com SQL comum. A WeRide adotou o banco de dados vetorial LanceDB: o engenheiro digita uma frase ou envia uma imagem e, em milissegundos, recebe 1000 quadros semelhantes. A coleta desses casos perigosos caiu de 1 semana para 1 hora. Se você tem muitas imagens sem rotulagem, a busca semântica tende a se pagar rápido.

Processado por IA de LanceDB Blog; editado por Hamidun News
WeRide usa o LanceDB e reduz de uma semana para uma hora a busca por cenas raras e perigosas para veículos autônomos
Fonte: LanceDB Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalLanceDB Blog ↗
Editor-chefe
P99 em milissegundos99% das consultas sobre bilhões de registros ficam dentro do limite
Dado-chave #2O índice é reconstruído uma vez por semana e uma vez por mês, e a atualização em tempo real não é crítica
Dado-chave #3Embeddings e metadados ficam no armazenamento próprio da WeRide

O mais difícil para um veículo autônomo não é a estrada comum, e sim as situações raras e perigosas, como uma pessoa deitada na pista. Esses episódios são ínfimos nas gravações de câmeras, radares e lidars, e é justamente neles que o modelo aprende pior. Antes, os engenheiros da WeRide levavam uma semana inteira para reunir esses casos para o treinamento.

Depois da adoção do banco de dados vetorial LanceDB, que busca não por valores exatos em colunas, mas pelo significado de uma imagem ou de uma frase, esse processo leva cerca de uma hora. Para qualquer equipe com muitas imagens, vídeos ou outros dados "pesados" sem rotulagem manual, o caso mostra como a busca acelera todo o ciclo de "encontrar o problema, coletar dados e retreinar".

Por que o SQL comum não funcionou

A WeRide, empresa listada na Nasdaq, desenvolve tecnologias de direção autônoma dos níveis 2 a 4. Ela conduz pesquisa, testes e operação em mais de 30 cidades de sete países, e sua frota autônoma já roda há mais de 1700 dias. Isso gera um fluxo constante de dados multimodais. Em 2023, Fei Chen assumiu a liderança da equipe de infraestrutura de dados, com a tarefa de encontrar rapidamente dados que atendam a um critério específico, sobretudo exemplos raros para a "cauda longa" de cenários.

O SQL não resolve esse problema. A consulta "encontre quadros em que uma pessoa está deitada no chão" não pode ser escrita como uma condição sobre colunas se a tabela não tem essa rotulagem. Por isso, imagens e textos são convertidos em vetores (embeddings), e o banco busca os mais próximos em significado.

Os requisitos para a plataforma eram rígidos:

  • latência P99 em milissegundos (ou seja, 99% das consultas ficam dentro desse limite) na entrega dos 1000 principais resultados para uma consulta de texto ou de imagem, com bilhões de registros;
  • busca vetorial combinada com filtros por metadados;
  • consumo mínimo de largura de banda, para não atrapalhar o armazenamento rápido que alimenta o treinamento dos modelos;
  • custo razoável e manutenção simples conforme os dados crescem.

Como funciona o pipeline

As imagens e os vídeos dos veículos são convertidos em vetores. Eles são carregados, junto com os metadados, no LanceDB, que roda sobre o cluster de armazenamento próprio construído pela mesma equipe de infraestrutura. O LanceDB indexa os dados para busca rápida. Como novos dados chegam o tempo todo, a reindexação é executada por agendamento: uma vez por semana e uma vez por mês. É um compromisso prático: o índice não é atualizado instantaneamente, mas o sistema fica mais simples e mais barato.

A busca em si funciona assim. O engenheiro digita um texto como "pessoa deitada na pista" ou envia uma imagem de exemplo. A consulta é convertida em embedding, o banco encontra vetores semelhantes e aplica, ao mesmo tempo, filtros pelos campos de metadados. Os 1000 principais resultados passam pela etapa de preparação de features (feature engineering) e entram no conjunto de treinamento.

O que a empresa obteve e quais são as ressalvas

O principal número do caso: a obtenção de dados sobre casos raros críticos para a segurança caiu de 1 semana para 1 hora. Além disso, a WeRide relata aumento de produtividade dos desenvolvedores de ML na exploração de dados e na depuração, e redução do tempo de treinamento dos modelos graças a uma entrada e saída de dados mais eficiente. O texto do caso não traz percentuais concretos para essas duas melhorias, então não é possível avaliar sua dimensão.

A ressalva é óbvia: o material foi publicado no blog do próprio fornecedor, em parceria com o cliente. Não há comparação independente com outros bancos vetoriais, e não foram informados o custo do cluster nem a precisão da busca. As frases de que o LanceDB se tornará uma "ferramenta indispensável" devem ser lidas como marketing. A equipe também pretende usar o banco para analisar estilos de direção e personalizar viagens.

O que levar para a sua equipe

Primeiro, defina os requisitos de um banco vetorial por latência P99, filtros por metadados e carga sobre o armazenamento, e não por benchmarks bonitos em datasets de terceiros. Em produção, quase ninguém busca apenas por vetor "puro": os filtros são sempre necessários.

Segundo, se os dados vão para treinamento, e não para uma resposta em tempo real ao usuário, a reindexação agendada (uma vez por semana ou por mês) costuma bastar.

Terceiro, avalie o valor da busca pela duração do ciclo de trabalho da equipe, não por milissegundos. Reduzir a coleta de exemplos raros de uma semana para uma hora rende mais do que acelerar o treinamento em si. Essa abordagem também vale para robôs, imagens médicas, videovigilância e qualquer produto cuja qualidade dependa de casos raros.

História

Perguntas frequentes sobre a notícia

Por que o SQL comum não funcionou?

A WeRide, empresa listada na Nasdaq, desenvolve tecnologias de direção autônoma dos níveis 2 a 4. Ela conduz pesquisa, testes e operação em mais de 30 cidades de sete países, e sua frota autônoma já roda há mais de 1700 dias. Isso gera um fluxo constante de dados multimodais. Em 2023, Fei Chen assumiu a liderança da equipe de infraestrutura de dados, com a tarefa de encontrar rapidamente dados que atendam a um critério específico, sobretudo exemplos raros para a "cauda longa" de cenários.

Como funciona o pipeline?

As imagens e os vídeos dos veículos são convertidos em vetores. Eles são carregados, junto com os metadados, no LanceDB, que roda sobre o cluster de armazenamento próprio construído pela mesma equipe de infraestrutura. O LanceDB indexa os dados para busca rápida. Como novos dados chegam o tempo todo, a reindexação é executada por agendamento: uma vez por semana e uma vez por mês. É um compromisso prático: o índice não é atualizado instantaneamente, mas o sistema fica mais simples e mais barato.

O que a empresa obteve e quais são as ressalvas?

O principal número do caso: a obtenção de dados sobre casos raros críticos para a segurança caiu de 1 semana para 1 hora. Além disso, a WeRide relata aumento de produtividade dos desenvolvedores de ML na exploração de dados e na depuração, e redução do tempo de treinamento dos modelos graças a uma entrada e saída de dados mais eficiente. O texto do caso não traz percentuais concretos para essas duas melhorias, então não é possível avaliar sua dimensão.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
O que você acha?
Carregando comentários…