src/plugins/rdma/rdma.h

   1 /*
   2  *------------------------------------------------------------------
   3  * Copyright (c) 2018 Cisco and/or its affiliates.
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at:
   7  *
   8  *     http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *------------------------------------------------------------------
  16  */
  17
  18 #ifndef _RDMA_H_
  19 #define _RDMA_H_
  20
  21 #include <infiniband/verbs.h>
  22 #include <vlib/log.h>
  23 #include <vlib/pci/pci.h>
  24 #include <vnet/interface.h>
  25 #include <vnet/ethernet/mac_address.h>
  26 #include <rdma/rdma_mlx5dv.h>
  27
  28 #define foreach_rdma_device_flags \
  29   _(0, ERROR, "error") \
  30   _(1, ADMIN_UP, "admin-up") \
  31   _(2, LINK_UP, "link-up") \
  32   _(3, PROMISC, "promiscuous") \
  33   _(4, MLX5DV, "mlx5dv") \
  34   _(5, STRIDING_RQ, "striding-rq")
  35
  36 enum
  37 {
  38 #define _(a, b, c) RDMA_DEVICE_F_##b = (1 << a),
  39   foreach_rdma_device_flags
  40 #undef _
  41 };
  42
  43 #ifndef MLX5_ETH_L2_INLINE_HEADER_SIZE
  44 #define MLX5_ETH_L2_INLINE_HEADER_SIZE  18
  45 #endif
  46
  47 typedef struct
  48 {
  49   CLIB_ALIGN_MARK (align0, MLX5_SEND_WQE_BB);
  50   union
  51   {
  52     struct mlx5_wqe_ctrl_seg ctrl;
  53     struct
  54     {
  55       u8 opc_mod;
  56       u8 wqe_index_hi;
  57       u8 wqe_index_lo;
  58       u8 opcode;
  59     };
  60   };
  61   struct mlx5_wqe_eth_seg eseg;
  62   struct mlx5_wqe_data_seg dseg;
  63 } rdma_mlx5_wqe_t;
  64 #define RDMA_MLX5_WQE_SZ        sizeof(rdma_mlx5_wqe_t)
  65 #define RDMA_MLX5_WQE_DS        (RDMA_MLX5_WQE_SZ/sizeof(struct mlx5_wqe_data_seg))
  66 STATIC_ASSERT (RDMA_MLX5_WQE_SZ == MLX5_SEND_WQE_BB &&
  67                RDMA_MLX5_WQE_SZ % sizeof (struct mlx5_wqe_data_seg) == 0,
  68                "bad size");
  69
  70 typedef struct
  71 {
  72   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
  73   struct ibv_cq *cq;
  74   struct ibv_wq *wq;
  75   u32 *bufs;
  76   u32 size;
  77   u32 head;
  78   u32 tail;
  79   u32 cq_ci;
  80   u16 log2_cq_size;
  81   u16 n_mini_cqes;
  82   u16 n_mini_cqes_left;
  83   u16 last_cqe_flags;
  84   mlx5dv_cqe_t *cqes;
  85   mlx5dv_wqe_ds_t *wqes;
  86     CLIB_CACHE_LINE_ALIGN_MARK (cacheline1);
  87   volatile u32 *wq_db;
  88   volatile u32 *cq_db;
  89   u32 cqn;
  90   u32 wqe_cnt;
  91   u32 wq_stride;
  92   u32 buf_sz;
  93   union
  94   {
  95     struct
  96     {
  97       u32 striding_wqe_tail;    /* Striding RQ: number of released whole WQE */
  98       u8 log_stride_per_wqe;    /* Striding RQ: number of strides in a single WQE */
  99     };
 100
 101     struct
 102     {
 103       u8 *n_used_per_chain;     /* Legacy RQ: for each buffer chain, how many additional segments are needed */
 104
 105       u32 *second_bufs;         /* Legacy RQ: ring of second buffers of each chain */
 106       u32 incomplete_tail;      /* Legacy RQ: tail index in bufs,
 107                                    corresponds to buffer chains with recycled valid head buffer,
 108                                    but whose other buffers are not yet recycled (due to pool exhaustion). */
 109       u16 n_total_additional_segs;
 110       u8 n_ds_per_wqe;          /* Legacy RQ: number of nonnull data segs per WQE */
 111     };
 112   };
 113   u8 log_wqe_sz;                /* log-size of a single WQE (in data segments) */
 114 } rdma_rxq_t;
 115
 116 typedef struct
 117 {
 118   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 119
 120   /* following fields are accessed in datapath */
 121   clib_spinlock_t lock;
 122
 123   union
 124   {
 125     struct
 126     {
 127       /* ibverb datapath. Cache of cq, sq below */
 128       struct ibv_cq *ibv_cq;
 129       struct ibv_qp *ibv_qp;
 130     };
 131     struct
 132     {
 133       /* direct verbs datapath */
 134       rdma_mlx5_wqe_t *dv_sq_wqes;
 135       volatile u32 *dv_sq_dbrec;
 136       volatile u64 *dv_sq_db;
 137       struct mlx5_cqe64 *dv_cq_cqes;
 138       volatile u32 *dv_cq_dbrec;
 139     };
 140   };
 141
 142   u32 *bufs;                    /* vlib_buffer ring buffer */
 143   u16 head;
 144   u16 tail;
 145   u16 dv_cq_idx;                /* monotonic CQE index (valid only for direct verbs) */
 146   u8 bufs_log2sz;               /* log2 vlib_buffer entries */
 147   u8 dv_sq_log2sz:4;            /* log2 SQ WQE entries (valid only for direct verbs) */
 148   u8 dv_cq_log2sz:4;            /* log2 CQ CQE entries (valid only for direct verbs) */
 149     STRUCT_MARK (cacheline1);
 150
 151   /* WQE template (valid only for direct verbs) */
 152   u8 dv_wqe_tmpl[64];
 153
 154   /* end of 2nd 64-bytes cacheline (or 1st 128-bytes cacheline) */
 155     STRUCT_MARK (cacheline2);
 156
 157   /* fields below are not accessed in datapath */
 158   struct ibv_cq *cq;
 159   struct ibv_qp *qp;
 160
 161 } rdma_txq_t;
 162 STATIC_ASSERT_OFFSET_OF (rdma_txq_t, cacheline1, 64);
 163 STATIC_ASSERT_OFFSET_OF (rdma_txq_t, cacheline2, 128);
 164
 165 #define RDMA_TXQ_DV_INVALID_ID  0xffffffff
 166
 167 #define RDMA_TXQ_BUF_SZ(txq)    (1U << (txq)->bufs_log2sz)
 168 #define RDMA_TXQ_DV_SQ_SZ(txq)  (1U << (txq)->dv_sq_log2sz)
 169 #define RDMA_TXQ_DV_CQ_SZ(txq)  (1U << (txq)->dv_cq_log2sz)
 170
 171 #define RDMA_TXQ_USED_SZ(head, tail)            ((u16)((u16)(tail) - (u16)(head)))
 172 #define RDMA_TXQ_AVAIL_SZ(txq, head, tail)      ((u16)(RDMA_TXQ_BUF_SZ (txq) - RDMA_TXQ_USED_SZ (head, tail)))
 173 #define RDMA_RXQ_MAX_CHAIN_LOG_SZ 3     /* This should NOT be lower than 3! */
 174 #define RDMA_RXQ_MAX_CHAIN_SZ (1U << RDMA_RXQ_MAX_CHAIN_LOG_SZ)
 175 #define RDMA_RXQ_LEGACY_MODE_MAX_CHAIN_SZ 5
 176 typedef struct
 177 {
 178   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 179
 180   /* following fields are accessed in datapath */
 181   rdma_rxq_t *rxqs;
 182   rdma_txq_t *txqs;
 183   u32 flags;
 184   u32 per_interface_next_index;
 185   u32 sw_if_index;
 186   u32 hw_if_index;
 187   u32 lkey;                     /* cache of mr->lkey */
 188   u8 pool;                      /* buffer pool index */
 189
 190   /* fields below are not accessed in datapath */
 191   vlib_pci_device_info_t *pci;
 192   u8 *name;
 193   u8 *linux_ifname;
 194   mac_address_t hwaddr;
 195   u32 async_event_clib_file_index;
 196   u32 dev_instance;
 197
 198   struct ibv_context *ctx;
 199   struct ibv_pd *pd;
 200   struct ibv_mr *mr;
 201   struct ibv_qp *rx_qp4;
 202   struct ibv_qp *rx_qp6;
 203   struct ibv_rwq_ind_table *rx_rwq_ind_tbl;
 204   struct ibv_flow *flow_ucast4;
 205   struct ibv_flow *flow_mcast4;
 206   struct ibv_flow *flow_ucast6;
 207   struct ibv_flow *flow_mcast6;
 208
 209   clib_error_t *error;
 210 } rdma_device_t;
 211
 212 typedef struct
 213 {
 214   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 215   union
 216   {
 217     u16 cqe_flags[VLIB_FRAME_SIZE];
 218     u16x8 cqe_flags8[VLIB_FRAME_SIZE / 8];
 219     u16x16 cqe_flags16[VLIB_FRAME_SIZE / 16];
 220   };
 221   union
 222   {
 223     struct
 224     {
 225       u32 current_segs[VLIB_FRAME_SIZE];
 226       u32 to_free_buffers[VLIB_FRAME_SIZE];
 227     };                          /* Specific to STRIDING RQ mode */
 228     struct
 229     {
 230       u32 tmp_bi[VLIB_FRAME_SIZE];
 231       vlib_buffer_t *tmp_bufs[VLIB_FRAME_SIZE];
 232     };                          /* Specific to LEGACY RQ mode */
 233   };
 234
 235   vlib_buffer_t buffer_template;
 236 } rdma_per_thread_data_t;
 237
 238 typedef struct
 239 {
 240   rdma_per_thread_data_t *per_thread_data;
 241   rdma_device_t *devices;
 242   vlib_log_class_t log_class;
 243   u16 msg_id_base;
 244 } rdma_main_t;
 245
 246 extern rdma_main_t rdma_main;
 247
 248 typedef enum
 249 {
 250   RDMA_MODE_AUTO = 0,
 251   RDMA_MODE_IBV,
 252   RDMA_MODE_DV,
 253 } rdma_mode_t;
 254
 255 typedef struct
 256 {
 257   u8 *ifname;
 258   u8 *name;
 259   u32 rxq_size;
 260   u32 txq_size;
 261   u32 rxq_num;
 262   rdma_mode_t mode;
 263   u8 no_multi_seg;
 264   u8 disable_striding_rq;
 265   u16 max_pktlen;
 266
 267   /* return */
 268   int rv;
 269   u32 sw_if_index;
 270   clib_error_t *error;
 271 } rdma_create_if_args_t;
 272
 273 void rdma_create_if (vlib_main_t * vm, rdma_create_if_args_t * args);
 274 void rdma_delete_if (vlib_main_t * vm, rdma_device_t * rd);
 275
 276 extern vlib_node_registration_t rdma_input_node;
 277 extern vnet_device_class_t rdma_device_class;
 278
 279 format_function_t format_rdma_device;
 280 format_function_t format_rdma_device_name;
 281 format_function_t format_rdma_input_trace;
 282 format_function_t format_rdma_rxq;
 283 unformat_function_t unformat_rdma_create_if_args;
 284
 285 typedef struct
 286 {
 287   u32 next_index;
 288   u32 hw_if_index;
 289   u16 cqe_flags;
 290 } rdma_input_trace_t;
 291
 292 #define foreach_rdma_tx_func_error \
 293 _(SEGMENT_SIZE_EXCEEDED, "segment size exceeded") \
 294 _(NO_FREE_SLOTS, "no free tx slots") \
 295 _(SUBMISSION, "tx submission errors") \
 296 _(COMPLETION, "tx completion errors")
 297
 298 typedef enum
 299 {
 300 #define _(f,s) RDMA_TX_ERROR_##f,
 301   foreach_rdma_tx_func_error
 302 #undef _
 303     RDMA_TX_N_ERROR,
 304 } rdma_tx_func_error_t;
 305
 306 #endif /* _RDMA_H_ */
 307
 308 /*
 309  * fd.io coding-style-patch-verification: ON
 310  *
 311  * Local Variables:
 312  * eval: (c-set-style "gnu")
 313  * End:
 314  */