[Robinhood] 关于Kafka p99延迟问题

上课我记得老师说过kafka不是为real-time design的. p99很高可能达到几百毫秒(因为disk seek) 所以不适合低延迟要求系统. 我有两个问题

  1. 我看查了一些资料, kafka的p99延迟大概是50ms - 60ms 而好像不是几百毫秒.
    Screen Shot 2021-03-20 at 10.37.24 pm
    Improving Kafka at-least-once performance at Uber
    您可以提供一下几百毫秒latency的bench mark的reference吗?
  2. Robinhood确实是需要低延迟,为什么上课讲得却是用kafka做message bus?

谢谢指点

  1. 这里可能有个口误,我指的是 Worst case latency 会达到上百毫秒 (P999 > 100ms)。出处 - Performance Comparison Between Apache Pulsar and Kafka: Latency | Kesque
    Kafka 不是为了 realtime 而设计的结论仍然是成立。参照来看 Cassandra P99 read 是 2-5ms, P999 < 20ms, 是小一个数量级的。
  2. Robinhood 的 Kafka 只用来做容灾,不处理 core flow,主要作为 distributed log 来使用。不妨碍 core flow 的低延迟。
1 个赞