Sistemas / SYS.008Explicado

Fila de mensagens: por que sistemas precisam de uma sala de espera

Quando um sistema recebe trabalho mais rápido do que consegue fazer, ele precisa de uma sala de espera. Entenda como funciona uma fila de mensagens e quando usar.

Imagine uma loja online numa data de promoção. De repente, em poucos minutos, chegam milhares de pedidos, e cada um precisa gerar nota fiscal, atualizar estoque e enviar e-mail. Se o sistema tentar fazer tudo na hora, no ritmo em que os pedidos chegam, alguma parte vai travar. Por isso, a fila de mensagens resolve isso com uma ideia simples: o trabalho entra numa sala de espera e é atendido no ritmo que o sistema consegue.

Neste explicado, você vai entender o que é uma fila de mensagens, quais problemas ela resolve e como lidar com as mensagens que falham.

O que é uma fila de mensagens

A AWS define a fila de mensagens como uma forma de comunicação assíncrona entre serviços. Assíncrona significa que quem envia não espera quem recebe terminar. Além disso, as mensagens ficam guardadas na fila até que alguém as processe e apague, e um único consumidor trata cada uma.

Há dois papéis nessa conversa:

  • Produtor: quem coloca mensagens na fila. No exemplo da loja, o site que recebe o pedido.
  • Consumidor: quem retira as mensagens e faz o trabalho. Por exemplo, o serviço que emite a nota fiscal.

Assim, o produtor não precisa saber quem vai consumir, nem quando. Ou seja, ele só deixa a mensagem na fila e segue em frente.

Diagrama de uma fila de mensagens: vários produtores, como site e aplicativo, colocam pedidos numa fila; a fila guarda as mensagens em ordem; consumidores retiram uma mensagem por vez e fazem o trabalho, como emitir nota fiscal e enviar e-mail.
O produtor e o consumidor não se falam diretamente. A fila fica no meio.

Três problemas que a fila de mensagens resolve

Desacoplamento. Segundo a AWS, a fila permite dividir uma aplicação em partes menores e independentes, que se comunicam pela fila em vez de depender diretamente umas das outras. Assim, se o serviço de e-mail cair por meia hora, os pedidos continuam sendo aceitos. As mensagens esperam na fila até ele voltar.

Picos de demanda. A fila funciona como amortecedor. Quando chega mais trabalho do que os consumidores conseguem fazer, a fila cresce. Depois, quando o pico passa, ela esvazia. Ou seja, o sistema não precisa ter capacidade para o pior minuto do ano.

Escala. Se a fila não para de crescer, você pode adicionar mais consumidores para processar em paralelo, sem mexer no produtor.

E quando uma mensagem falha?

O consumidor nunca vai conseguir processar algumas mensagens: um dado malformado, um cliente que não existe mais, um erro no código. Nesse caso, se o consumidor tentar para sempre, essa mensagem trava o trabalho e gasta recursos.

Por isso, existe a fila de mensagens mortas (dead-letter queue). A documentação do Amazon SQS explica que ela recebe as mensagens que não foram processadas com sucesso, isolando-as para investigação. Para isso, uma configuração chamada maxReceiveCount define quantas vezes um consumidor pode receber a mesma mensagem antes de ela ser movida.

A AWS recomenda escolher esse número com cuidado. Se for baixo demais, uma única falha passageira manda a mensagem para o canto. Se for alto demais, uma mensagem problemática ocupa o sistema por muito tempo.

Fluxo de uma mensagem que falha: o consumidor tenta processar, falha e a mensagem volta para a fila; depois de atingir o número máximo de tentativas, ela vai para a fila de mensagens mortas, onde alguém investiga a causa e pode devolvê-la à fila original depois da correção.
A fila de mensagens mortas separa o que precisa de atenção humana do que pode seguir automaticamente.

Depois de corrigir a causa, as mensagens podem ser devolvidas à fila original, num processo que a AWS chama de redrive.

Cuidados ao usar uma fila de mensagens

Uma fila resolve muito, mas traz responsabilidades:

  1. Prepare o consumidor para repetições. Em muitas filas, a mesma mensagem pode ser entregue mais de uma vez. Portanto, o processamento precisa ser idempotente, ou seja, repetir não pode causar efeito duplicado.
  2. Acompanhe o tamanho da fila. Afinal, uma fila que só cresce indica que os consumidores não dão conta.
  3. Monitore a fila de mensagens mortas. Afinal, mensagens paradas ali são problemas reais esperando alguém olhar.
  4. Defina quanto tempo as mensagens ficam guardadas. Afinal, mensagens antigas demais podem perder o sentido.

Quando você precisa de uma fila

Por outro lado, nem todo sistema precisa. Se uma tarefa é rápida e o volume é baixo, fazer tudo na hora é mais simples. A fila de mensagens faz sentido quando o trabalho é demorado, quando a demanda varia muito ou quando partes do sistema podem falhar de forma independente.

Muitas ferramentas de automação já têm filas embutidas, e é isso que permite responder rápido a um webhook e processar depois, como vimos em webhook ou polling. Afinal, entender a fila ajuda a perceber o que acontece por trás de “o fluxo foi executado”.

/ Conexões

Próximas conexões

Autor

Gledson Dias

Ver todos os artigos

Sistemativo / Brief

Gostou dessa ideia?

A cada duas semanas, ideias, ferramentas, referências e movimentos que valem alguns minutos da sua atenção.

Brief (formulário compacto)

Você poderá sair da lista quando quiser. Sem spam.