Desenvolvimento de marketplaces com catálogo HighLoad como necessidade para projetos de grande porte

Atualmente os marketplaces continuam a ganhar popularidade por causa da sua importância econômica para o mercado. De acordo com o Gartner, os marketplaces representam agora cerca de 10% das vendas online e 19% de todas as compras online, com previsão de maior crescimento. O estudo observa que o número de vendedores nos marketplaces triplicou no ano passado. Obviamente, os mercados são o futuro do comércio eletrônico.

Conteúdo

➩ Marketplaces estão ganhando popularidade

➩ Por que o marketplace é um projeto de alta carga

➩ Como medir a carga no marketplace ou em seus subsistemas

➩ Por que e como aumentar o desempenho dos sistemas HighLoad

➩ Funcionalidades do catálogo HighLoad na plataforma AGORA

Marketplaces estão ganhando popularidade

Os marketplaces estão literalmente expulsando do mercado as lojas virtuais comuns. Está se tornando cada vez mais difícil para as lojas online resistir à concorrência com equipes de marketing, grandes orçamentos e tráfego de promoção e soluções logísticas que funcionem bem. Como opção, você pode ingressar em plataformas existentes ou criar seu próprio site de marketplace completo. A situação atual do mercado de comércio eletrônico apresenta vantagens óbvias.

• Os marketplaces influenciam o desenvolvimento do comércio eletrônico, criam um ambiente competitivo saudável, lançam os seus próprios serviços (produtos de investimento, serviços de reserva, grandes programas de logística e armazenamento, etc.).
• Marketplace não é apenas um catálogo ou uma loja online. Oferece toda a gama de serviços de atendimento: desde fazer um pedido/transação até receber mercadorias, trabalhar com documentos, pagamentos, incluindo split de pagamentos.
• No b2c, o cliente pode acompanhar todo o trajeto do pedido e realizar a compra da forma mais conveniente entre milhares de fornecedores adequados, e no b2b a transação se torna o mais transparente possível. Os clientes recebem garantias de conformidade do produto (imagem vs realidade), segurança, proteção contra fraudadores e devoluções em diversas condições. Os marketplaces estão melhorando, gastando orçamentos na melhoria da qualidade do serviço, construindo fidelidade à marca e personalizando ofertas.

A mudança do comportamento do consumidor também afeta a popularidade dos marketplaces. De acordo com um estudo da WBR Insights, 83% dos compradores fazem compras regularmente em marketplaces. Não é de surpreender que seja mais conveniente comprar bens e serviços num só local, por isso os marketplaces se esforçam por colocar o maior número possível de produtos em catálogos, atrair mais fornecedores e procurar novos nichos e mercados. Como consequência, a expansão do público aumenta o tráfego e sobrecarrega o sistema.

Por que o marketplace é um projeto de alta carga

Os marketplaces não são apenas intermediários entre o fornecedor e o comprador. A sua funcionalidade é muitas vezes mais extensa do que a de uma loja online.

• Grande número de visitantes consulta o catálogo de produtos e seleciona o produto desejado
• Personalização dependendo da região e cidade
• Solicitações constantes de busca por parâmetros e custo
• O marketplace aceita centenas de milhares de produtos por minuto ou hora
• O marketplace distribui produtos em categorias em tempo real
• A retirada de mercadorias do catálogo também é um processo regular
• Centenas de milhares de pedidos por dia
• Cobrança de comissões para gerenciar acordos com fornecedores
• Split de pagamentos divide automaticamente os fundos recebidos de um pagamento entre diferentes fornecedores, garantindo liquidações mútuas imediatas. Ao mesmo tempo, os compradores recebem proteção máxima, porque a plataforma redireciona o pagamento do pedido do comprador ao fornecedor somente se a encomenda for recebida com sucesso e o produto atender às características declaradas.
• Ferramentas de marketing para aumentar as vendas (descontos, promoções, newsletters por e-mail).
• Integração com serviços logísticos para cálculo instantâneo de custos de entrega.
• Diferentes tipos de entregas: trabalhar em um armazém de marketplace ou no armazém de um fornecedor exige que você calcule o custo e o prazo de entrega e selecione o armazém mais próximo para os clientes.
• Ferramentas analíticas abrangentes para produtos e atividades de usuários.

Na maioria das vezes, os marketplaces funcionam de acordo com o esquema usual: um site com milhares de fornecedores. Mas o desenvolvimento do ecommerce incentiva os fabricantes a criar sites para um nicho restrito. Por exemplo, como um site corporativo para uma grande empresa com um único fornecedor. Ou as empresas podem lançar um ecommerce para si mesmas e depois atraem outros fornecedores do mercado. Foi assim que algumas empresas metalúrgicas transformaram sua loja virtual em uma plataforma online. Elas exibem os produtos dos concorrentes, ganham comissões e obtêm estatísticas sobre as vendas de produtos do setor. Dessa forma, analisam os interesses e atividades dos compradores, se destacam no mercado e vencem a concorrência.

Um exemplo real: para um enterprise de setor agrícola do Brasil, a plataforma AGORA ajudou a criar um marketplace corporativo: um catálogo online com produtos, preços e fornecedores.

Para as empresas modernas que buscam escalar e aumentar os investimentos, a criação de seu próprio marketplace tem um impacto positivo e lhes dá uma vantagem competitiva.

• Rápido lançamento e entrada no mercado graças ao desenvolvimento acelerado de MVP de 2 a 4 semanas. Uma solução MVP baseada na plataforma AGORA B2B encurta o período desde uma ideia de negócio até o primeiro lucro. O sistema online pronto é lançado no menor tempo possível com desenvolvimento baseado em módulos prontos, permitindo fazer o uso mais eficiente dos orçamentos e investimentos da empresa, em contraste com o desenvolvimento personalizado caro e muito demorado. Também permite testar rapidamente diversas hipóteses de negócios e conquistar rapidamente novos nichos de mercado através do rápido desenvolvimento e implementação em condições reais de mercado. E, se necessário, são adicionados módulos ou integrações prontas via API ou Data Bus.
• Aumentar o público-alvo, atraindo fornecedores. Embora exija um investimento, compensa. O lucro de fees e pagamentos adicionais é uma das formas de rentabilizar com sucesso as plataformas de negociação.
• A capacidade de promover seus próprios produtos em condições favoráveis e o alto tráfego e a análise da concorrência ajudam você a ocupar uma posição de liderança no mercado.
• Aumentar a fidelidade do cliente por meio de avaliações, um sistema de devolução simplificado e contas pessoais personalizadas.
• Digitalização das vendas. Todas as operações são realizadas através do site. Para agilizar o trabalho, o faturamento e a automapeamento de categorias dos produtos, o upload automático do conteúdo do produto, a integração com mercados de software de contabilidade de terceiros e outros sistemas podem ser conectados. Automação de relatórios e análises, gerenciamento eletrônico de documentos minimizam a influência do fator humano.

Mas se o projeto estiver em desenvolvimento ativo, inevitavelmente enfrentará cargas elevadas. Isto é impulsionado pelo aumento do tráfego e classificações de diretórios, transações e cálculos complexos. Portanto, o marketplace pode ser chamado com segurança de projeto HighLoad (alta carga) que requer servidores dedicados, manutenção e otimização de processos de negócios. Para evitar falhas operacionais, é melhor estabelecer uma arquitetura de serviço escalável antes do lançamento. A empresa AGORA B2B está envolvida exatamente nesses desenvolvimentos. Uma atualização recente da plataforma AGORA B2B introduziu um catálogo HighLoad que suporta dezenas de milhões de produtos. A solução pronta já inclui ferramentas que podem suportar altas cargas e escala sem alterar a arquitetura e a tecnologia. Simplificando, a plataforma AGORA B2B já está pronta para cargas HighLoad ainda na fase do projeto MVP do cliente.

Como medir a carga no mercado ou em seus subsistemas

Antes de iniciar o desenvolvimento de cada projeto, principalmente um tão complexo como um marketplace, a equipe da AGORA B2B sempre realiza análises internas preliminares, preparando um esboço do RoadMap para o desenvolvimento, ou seja, em que momento se espera aproximadamente cada nova etapa de crescimento da carga do sistema: aumento da popularidade entre os usuários, carregamento de um maior número de SKUs, cadastro em massa e atuação de novos fornecedores no site, etc. A partir daqui, a equipe de desenvolvimento pode delinear um plano apropriado para dimensionar ainda mais o sistema e seus recursos. Simplificando, a equipe da AGORA B2B, mesmo antes da implementação do projeto, pode determinar preliminarmente quando o escalonamento horizontal do sistema pode ser necessário: por exemplo, quando nova capacidade de servidor deve ser adicionada para que o marketplace possa suportar quase qualquer carga, até para 10 milhões de produtos com uma resposta rápida do sistema (de 0,5 segundos).

No entanto, no ambiente de desenvolvimento de projetos de comércio eletrônico grandes e complexos, limites específicos para solicitações por segundo, picos de carga e outros fatores HighLoad geralmente não são previstos antecipadamente com a máxima precisão. Portanto, o conceito de carga elevada é mais frequentemente tomado como um valor relativo. O que é mais importante neste caso não são os números específicos nos relatórios, mas a capacidade técnica real de preparar o sistema na fase de MVP para futuros picos de carga, tendo fornecido antecipadamente uma pilha de tecnologia flexível e adequada (por exemplo, Python e Django), acesso acelerado a dados (Elastic Stack), conteinerização (Docker), orquestração e gerenciamento de cluster (Kubernetes) e outros elementos necessários para o funcionamento rápido e eficiente do marketplace mesmo em períodos de alta carga.

Por exemplo, as maiores plataformas de negociação Amazon ou Mercado Livre, etc. operam em milhares de servidores. Mas para uma empresa, por exemplo, com 2000 usuários e 200 compras por dia, um aumento de 10 vezes nas solicitações na Black Friday já é uma carga alta; é necessária a capacidade de escalar e atender rapidamente essa carga. Assim, em cada caso, é necessária uma abordagem individual ao projeto, ao negócio do cliente e às especificidades do próprio mercado. É por isso que é tão importante a especialização em sistemas complexos de e-commerce, que a equipe AGORA proporciona no processo de desenvolvimento, implementação, suporte técnico e posterior dimensionamento dos projetos dos clientes. E ao mesmo tempo, cada projeto, mesmo em fase de box, já oferece as opções básicas necessárias para um trabalho bem-sucedido e está pronto para cargas HighLoad.

É importante lembrar que um marketplace HighLoad pode ser considerado um marketplace que atende 10 ou 100 vezes mais usuários e pedidos do que um marketplace médio. Sistemas altamente carregados são caracterizados por:

• grande público: milhares e centenas de milhares de pessoas e seu crescimento dinâmico (quanto mais popular a plataforma de negociação, maior a carga);
• processar um grande volume de dados, incluindo milhões de SKUs e milhares de transações por dia;
• resposta instantânea do sistema às solicitações dos usuários;
• escalonamento regular para atender às necessidades crescentes e à arquitetura de cluster.

Por que e como aumentar o desempenho dos sistemas HighLoad

Problemas de navegação nas páginas, demora na transferência de dados na realização de um pedido, redefinições de conexão, falhas nas integrações com sistemas externos de e-commerce causam insatisfação dos usuários e levam à perda de lucro e fidelização. Consequências negativas podem ser evitadas usando a arquitetura de projetos de alta carga e um sistema de monitoramento que monitora a viabilidade dos componentes. A arquitetura Highload está preparada para falhas na troca de dados, na operação de aplicações, na parte do sistema, na operação da rede ou problemas de desempenho. E o sistema de monitoramento analisa continuamente a carga e prevê o problema.

Os recursos de arquitetura e monitoramento são levados em consideração desde o estágio de desenvolvimento, e as pilhas de tecnologia ajudam a otimizar o desempenho posteriormente.

• Utilizando as linguagens de programação mais modernas e avançadas, como Python, usado na base da AGORA B2B
• Distribuição e balanceamento de carga entre vários servidores. A melhor prática: distribua a capacidade do servidor onde há mais carga. Se o catálogo travar ou 50 usuários ao mesmo tempo não puderem comparar produtos, acelere o servidor de catálogo adequadamente.
• Cache de alta carga: conecte servidores de cache para obter resposta rápida e serviço de alta qualidade.
• Replicação de banco de dados, por exemplo criando uma cópia do banco de dados em tempo real. Pode haver vários servidores: um para gravar, outro para ler.

Além disso, tecnologias especializadas são utilizadas para projetos de alta carga.

• Plataformas para orquestração e gerenciamento de clusters (Kubernetes), conteinerização de aplicações (Docker). Essas plataformas atendem a um grande número de hosts, controlam a colaboração, distribuem tarefas entre eles e controlam a carga e o balanceamento.
• Sistemas de gerenciamento de banco de dados de nível empresarial (PostgreSQL);
• Serviço de autoaprendizagem, busca acelerada e acesso rápido aos dados necessários - Elastic Stack e outros sistemas especializados necessários para trabalhar com projetos complexos e de grande porte.

É importante compreender que não existem soluções universais. O desenvolvimento de projetos de alta carga é individual, cada negócio tem sua dinâmica. Mas uma condição significativa para sistemas altamente carregados é uma abordagem harmoniosa: um equilíbrio entre infraestrutura local e serviços em nuvem, ou seja, arquitetura híbrida.

Funcionalidades do catálogo HighLoad na plataforma AGORA B2B

Um marketplace é um projeto complexo e de alta carga, mas há oportunidades para reduzir o tempo de desenvolvimento e prescindir de uma enorme equipe de programadores.

A plataforma AGORA B2B permite criar marketplaces para empresas B2B que estão prontos para cargas e escalonamento HighLoad. As principais vantagens competitivas de desenvolver um site personalizado complexo baseado na plataforma AGORA B2B é que

• o planejamento da carga (número de usuários, pedidos, fornecedores, importação de mercadorias para o sistema) ocorre logo nas primeiras etapas do projeto;
• a plataforma pronta contém inicialmente ferramentas de escalonamento: um catálogo construído em Elastic, um barramento de dados para processamento de pipeline de dados de fornecedores e monitoramento profundo de indicadores na fase de projeto e operação.

O catálogo HighLoad da AGORA B2B é capaz de processar grandes volumes de dados (mais de 10 milhões de produtos) em alta velocidade (a partir de 0,5 segundos), garante operação estável de marketplaces e portais B2B, produtividade e oferece vantagens competitivas. A alta velocidade de carregamento das páginas do marketplace e a operação estável dos serviços digitais são um fator de crescimento para qualquer empresa.

Além disso, o desenvolvimento de projetos de alta carga pela AGORA B2B oferece a possibilidade de escalonamento flexível caso seja necessário aumentar as capacidades operacionais do catálogo. O aumento da capacidade é alcançado através do escalonamento horizontal (adição de novos servidores) à presença de microsserviços na arquitetura da plataforma. E a tecnologia de pesquisa ElasticSearch na nuvem permite reduzir o tempo de inicialização e os custos de mão de obra, organiza a pesquisa rápida e o armazenamento de informações. Normalmente, quando o número de itens do catálogo aumenta significativamente, o cache do sistema torna-se insuficiente e o site fica lento. O Elastic Stack ajuda aqui: ele armazena dados com diversas estruturas e permite acesso rápido. Mesmo que haja muitos produtos ou serviços no catálogo e as informações neles contidas sejam bastante volumosas, o Elastic, em qualquer caso, pode facilmente lidar com sua classificação e processamento em segundos (a partir de 0,5 segundos).

O catálogo HighLoad ajudará:

• lidar com carregamentos lentos de conteúdo de produtos;
• minimizar erros;
• evitar congelamento ao navegar pelas páginas do catálogo
• dimensionar horizontalmente

Mais de 10 anos de experiência no desenvolvimento de projetos de ecommerce e a equipe de especialistas altamente qualificados da AGORA B2B nos permitem implementar tais soluções no segmento B2B no menor tempo possível.

Contate um representante comercial AGORA B2B para saber os detalhes sobre processo de criação de sites de alta carga, o custo de implementação de um marketplace e conheça todas as tecnologias e ferramentas.