文章

RabbitMQ教程 - 发布/订阅

RabbitMQ教程 - 发布/订阅

RabbitMQ教程 - 发布/订阅

发布/订阅(使用Java客户端)

在上一个教程中,我们创建了一个工作队列。工作队列背后的假设是每个任务都只会被发送给一个工作进程。在本教程中,我们将做一些完全不同的事情——我们会将一条消息发送给多个消费者。这种模式被称为 “发布/订阅”。

为了说明这种模式,我们将构建一个简单的日志系统。它将由两个程序组成——第一个程序用于发送日志消息,第二个程序用于接收并打印这些消息。

在我们的日志系统中,每个正在运行的接收程序副本都会收到消息。这样,我们就可以运行一个接收程序将日志写入磁盘;同时,还能运行另一个接收程序在屏幕上查看日志。

本质上,发布的日志消息将被广播给所有的接收者。

交换器(Exchanges)

在之前的教程中,我们向队列发送消息以及从队列接收消息。现在是时候介绍RabbitMQ完整的消息传递模型了。

让我们快速回顾一下之前教程中涉及的内容:

  • 生产者是发送消息的用户应用程序。
  • 队列是存储消息的缓冲区。
  • 消费者是接收消息的用户应用程序。

RabbitMQ消息传递模型的核心思想是,生产者从不直接将任何消息发送到队列。实际上,生产者通常甚至不知道消息是否会被发送到任何队列。

相反,生产者只能将消息发送到交换器。交换器是一个非常简单的组件。一方面,它从生产者接收消息;另一方面,它将消息推送到队列。交换器必须确切知道如何处理接收到的消息。是将其追加到特定队列?追加到多个队列?还是丢弃?这些规则由交换器类型定义。

graph LR;
    P((Producer)) -->|Sends Messages| X((Exchange));
    X -->|Routes Messages| Q1((Queue 1));
    X -->|Routes Messages| Q2((Queue 2));

有几种可用的交换器类型:direct(直连)、topic(主题)、headers(头)和fanout(扇出)。我们将重点关注最后一种——扇出交换器。让我们创建一个这种类型的交换器,并将其命名为logs

1
channel.exchangeDeclare("logs", "fanout");

扇出交换器非常简单。从它的名字你可能就能猜到,它只是将接收到的所有消息广播到它知道的所有队列。这正是我们的日志系统所需要的。

列出交换器

要列出服务器上的交换器,可以运行非常有用的rabbitmqctl命令:

1
sudo rabbitmqctl list_exchanges

在这个列表中,会有一些amq.*交换器和默认(未命名)交换器。这些是默认创建的,但目前你不太可能需要使用它们。

无名交换器

在之前的教程中,我们对交换器一无所知,但仍然能够向队列发送消息。这之所以可行,是因为我们使用了默认交换器,我们用空字符串("")来标识它。

回想一下我们之前是如何发布消息的:

1
channel.basicPublish("", "hello", null, message.getBytes());

第一个参数是交换器的名称。空字符串表示默认或无名交换器:消息会被路由到名称由routingKey指定的队列(如果该队列存在)。

现在,我们可以改为向我们命名的交换器发布消息:

1
channel.basicPublish("logs", "", null, message.getBytes());

临时队列

你可能还记得,之前我们使用的队列都有特定的名称(还记得hellotask_queue吗?)。能够给队列命名对我们来说至关重要——我们需要让工作进程指向同一个队列。当你希望在生产者和消费者之间共享队列时,给队列命名很重要。

但对于我们的日志系统来说并非如此。我们希望接收所有的日志消息,而不仅仅是其中一部分。我们也只对当前正在流动的消息感兴趣,而不是旧消息。为了解决这个问题,我们需要做两件事。

  • 首先,每当我们连接到RabbitMQ时,都需要一个全新的、空的队列。为此,我们可以创建一个随机命名的队列,或者更好的方法是——让服务器为我们选择一个随机的队列名称。
  • 其次,一旦我们断开消费者的连接,该队列应该自动删除。

在Java客户端中,当我们调用queueDeclare()时不传入任何参数,就会创建一个非持久化、排他的、自动删除的队列,并生成一个队列名称:

1
String queueName = channel.queueDeclare().getQueue();

你可以在队列指南中了解更多关于exclusive标志和其他队列属性的信息。

此时,queueName包含一个随机生成的队列名称。例如,它可能看起来像amq.gen-JzTY20BRgKO-HjmUJj0wLg

绑定(Bindings)

graph LR;
    subgraph 绑定关系
        P((Producer)) -->|Sends Messages| X((Exchange));
        X -->|Binding 1| Q1((Queue 1));
        X -->|Binding 2| Q2((Queue 2));
    end

我们已经创建了一个扇出交换器和一个队列。现在我们需要告诉交换器将消息发送到我们的队列。交换器和队列之间的这种关系被称为绑定。

1
channel.queueBind(queueName, "logs", "");

从现在开始,logs交换器会将消息追加到我们的队列中。

列出绑定

你可以使用rabbitmqctl list_bindings列出现有的绑定,你猜对了,就是用这个命令。

整合

graph LR;
    subgraph 发布订阅系统
        P((Producer)) -->|Sends Log Messages| X((logs Exchange));
        X -->|Routes Messages| Q1((amq.gen-RQ6... Queue));
        X -->|Routes Messages| Q2((amq.gen-As8... Queue));
        Q1 -->|Delivers Messages| C1((Consumer 1));
        Q2 -->|Delivers Messages| C2((Consumer 2));
    end

发送日志消息的生产者程序与上一个教程相比并没有太大不同。最重要的变化是,我们现在要将消息发布到logs交换器,而不是无名交换器。发送时我们需要提供一个routingKey,但对于扇出交换器,它的值会被忽略。以下是EmitLog.java程序的代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
public class EmitLog {
    private static final String EXCHANGE_NAME = "logs";

    public static void main(String[] argv) throws Exception {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");
        try (Connection connection = factory.newConnection();
             Channel channel = connection.createChannel()) {
            channel.exchangeDeclare(EXCHANGE_NAME, "fanout");
            String message = argv.length < 1? "info: Hello World!" :
                    String.join(" ", argv);
            channel.basicPublish(EXCHANGE_NAME, "", null, message.getBytes("UTF-8"));
            System.out.println(" [x] Sent '" + message + "'");
        }
    }
}

EmitLog.java源代码)

如你所见,建立连接后我们声明了交换器。这一步是必要的,因为禁止向不存在的交换器发布消息。

如果还没有队列绑定到交换器,消息将会丢失,但这对我们来说没关系;如果还没有消费者在监听,我们可以安全地丢弃消息。

ReceiveLogs.java的代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;

public class ReceiveLogs {
    private static final String EXCHANGE_NAME = "logs";

    public static void main(String[] argv) throws Exception {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");
        Connection connection = factory.newConnection();
        Channel channel = connection.createChannel();
        channel.exchangeDeclare(EXCHANGE_NAME, "fanout");
        String queueName = channel.queueDeclare().getQueue();
        channel.queueBind(queueName, EXCHANGE_NAME, "");
        System.out.println(" [*] Waiting for messages. To exit press CTRL+C");
        DeliverCallback deliverCallback = (consumerTag, delivery) -> {
            String message = new String(delivery.getBody(), "UTF-8");
            System.out.println(" [x] Received '" + message + "'");
        };
        channel.basicConsume(queueName, true, deliverCallback, consumerTag -> { });
    }
}

ReceiveLogs.java源代码)

像之前一样编译,我们就完成了。

1
javac -cp $CP EmitLog.java ReceiveLogs.java

如果你想将日志保存到文件中,只需打开一个控制台并输入:

1
java -cp $CP ReceiveLogs > logs_from_rabbit.log

如果你想在屏幕上查看日志,打开一个新的终端并运行:

1
java -cp $CP ReceiveLogs

当然,要发送日志,输入:

1
java -cp $CP EmitLog

使用rabbitmqctl list_bindings,你可以验证代码是否按照我们的预期实际创建了绑定和队列。运行两个ReceiveLogs.java程序时,你应该会看到类似这样的内容:

1
2
3
4
5
sudo rabbitmqctl list_bindings
# => Listing bindings ...
# => logs    exchange        amq.gen-JzTY20BRgKO-HjmUJj0wLg  queue           []
# => logs    exchange        amq.gen-vso0PVvyiRIL2WoV3i48Yg  queue           []
# => ...done.

对结果的解释很简单:来自logs交换器的数据被发送到两个由服务器分配名称的队列。这正是我们想要的。

要了解如何监听部分消息,请继续学习教程4。

本文由作者按照 CC BY 4.0 进行授权