Пока нет жестких ограничений в Кафка сам ( Кафка линейно масштабируемый и не имеет централизованного состояния), это использование ZooKeeper делает означало, что максимум "комфортно поддержанный "количество узлов (примерно десять тысяч) - это верхний предел Кафки масштабируемость по количеству темы идет.
Также вопрос в том, сколько тем мы можем создать в Kafka?
Эмпирическое правило состоит в том, что количество Кафка темы могут быть в тысячах. Джун Рао ( Кафка коммиттер; сейчас в Confluent, но раньше он был в LinkedIn Кафка team) написал: В LinkedIn наш самый большой кластер насчитывает более 2K темы. 5K темы все должно быть в порядке.
может ли брокер Kafka иметь несколько тем? Каждый Брокер может иметь один или больше Темы. Кафка темы разделены на несколько разделов, каждый раздел жестяная банка быть размещенным на одной или отдельной машине, чтобы учесть несколько потребителей читать из тема в параллели. Кафка Тема состоит из несколько перегородки, которые распределены по Брокеры.
Следовательно, возникает вопрос, сколько сообщений может обработать Kafka?
Aiven Кафка Премиум-8 на UpCloud обработанный 535, 000 Сообщения в секунду, Azure 400 000, Google 330 000 и Amazon 280 000 Сообщения / второй.
Сколько разделов у меня должна быть Кафка?
Как правило, для достижения хорошей пропускной способности один должен выделить не менее нескольких десятков КБ на каждый перегородка производятся производителем, и отрегулируйте общий объем памяти, если количество перегородки значительно увеличивается. Аналогичная проблема существует и у потребителя.