src/vnet/devices/virtio/virtio.h

   1 /*
   2  *------------------------------------------------------------------
   3  * Copyright (c) 2017 Cisco and/or its affiliates.
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at:
   7  *
   8  *     http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *------------------------------------------------------------------
  16  */
  17
  18 #ifndef _VNET_DEVICES_VIRTIO_VIRTIO_H_
  19 #define _VNET_DEVICES_VIRTIO_VIRTIO_H_
  20
  21 #include <linux/virtio_config.h>
  22 #include <linux/virtio_net.h>
  23 #include <linux/virtio_pci.h>
  24 #include <linux/virtio_ring.h>
  25 #include <vnet/gso/gro.h>
  26
  27 #define foreach_virtio_net_features      \
  28   _ (VIRTIO_NET_F_CSUM, 0)      /* Host handles pkts w/ partial csum */ \
  29   _ (VIRTIO_NET_F_GUEST_CSUM, 1) /* Guest handles pkts w/ partial csum */ \
  30   _ (VIRTIO_NET_F_CTRL_GUEST_OFFLOADS, 2) /* Dynamic offload configuration. */ \
  31   _ (VIRTIO_NET_F_MTU, 3)       /* Initial MTU advice. */ \
  32   _ (VIRTIO_NET_F_MAC, 5)       /* Host has given MAC address. */ \
  33   _ (VIRTIO_NET_F_GSO, 6)       /* Host handles pkts w/ any GSO. */ \
  34   _ (VIRTIO_NET_F_GUEST_TSO4, 7)        /* Guest can handle TSOv4 in. */ \
  35   _ (VIRTIO_NET_F_GUEST_TSO6, 8)        /* Guest can handle TSOv6 in. */ \
  36   _ (VIRTIO_NET_F_GUEST_ECN, 9) /* Guest can handle TSO[6] w/ ECN in. */ \
  37   _ (VIRTIO_NET_F_GUEST_UFO, 10)        /* Guest can handle UFO in. */ \
  38   _ (VIRTIO_NET_F_HOST_TSO4, 11)        /* Host can handle TSOv4 in. */ \
  39   _ (VIRTIO_NET_F_HOST_TSO6, 12)        /* Host can handle TSOv6 in. */ \
  40   _ (VIRTIO_NET_F_HOST_ECN, 13) /* Host can handle TSO[6] w/ ECN in. */ \
  41   _ (VIRTIO_NET_F_HOST_UFO, 14) /* Host can handle UFO in. */ \
  42   _ (VIRTIO_NET_F_MRG_RXBUF, 15)        /* Host can merge receive buffers. */ \
  43   _ (VIRTIO_NET_F_STATUS, 16)   /* virtio_net_config.status available */ \
  44   _ (VIRTIO_NET_F_CTRL_VQ, 17)  /* Control channel available */ \
  45   _ (VIRTIO_NET_F_CTRL_RX, 18)  /* Control channel RX mode support */ \
  46   _ (VIRTIO_NET_F_CTRL_VLAN, 19)        /* Control channel VLAN filtering */ \
  47   _ (VIRTIO_NET_F_CTRL_RX_EXTRA, 20)    /* Extra RX mode control support */ \
  48   _ (VIRTIO_NET_F_GUEST_ANNOUNCE, 21)   /* Guest can announce device on the network */ \
  49   _ (VIRTIO_NET_F_MQ, 22)               /* Device supports Receive Flow Steering */ \
  50   _ (VIRTIO_NET_F_CTRL_MAC_ADDR, 23)    /* Set MAC address */ \
  51   _ (VIRTIO_F_NOTIFY_ON_EMPTY, 24) \
  52   _ (VHOST_F_LOG_ALL, 26)      /* Log all write descriptors */ \
  53   _ (VIRTIO_F_ANY_LAYOUT, 27)  /* Can the device handle any descriptor layout */ \
  54   _ (VIRTIO_RING_F_INDIRECT_DESC, 28)   /* Support indirect buffer descriptors */ \
  55   _ (VIRTIO_RING_F_EVENT_IDX, 29)       /* The Guest publishes the used index for which it expects an interrupt \
  56  * at the end of the avail ring. Host should ignore the avail->flags field. */ \
  57 /* The Host publishes the avail index for which it expects a kick \
  58  * at the end of the used ring. Guest should ignore the used->flags field. */ \
  59   _ (VHOST_USER_F_PROTOCOL_FEATURES, 30) \
  60   _ (VIRTIO_F_VERSION_1, 32)  /* v1.0 compliant. */           \
  61
  62 #define foreach_virtio_if_flag          \
  63   _(0, ADMIN_UP, "admin-up")            \
  64   _(1, DELETING, "deleting")
  65
  66 typedef enum
  67 {
  68 #define _(a, b, c) VIRTIO_IF_FLAG_##b = (1 << a),
  69   foreach_virtio_if_flag
  70 #undef _
  71 } virtio_if_flag_t;
  72
  73 #define VIRTIO_FEATURE(X) (1ULL << X)
  74
  75 #define TX_QUEUE(X) ((X*2) + 1)
  76 #define RX_QUEUE(X) (X*2)
  77 #define TX_QUEUE_ACCESS(X) (X/2)
  78 #define RX_QUEUE_ACCESS(X) (X/2)
  79
  80 #define VIRTIO_NUM_RX_DESC 256
  81 #define VIRTIO_NUM_TX_DESC 256
  82
  83 #define foreach_virtio_if_types \
  84   _ (TAP, 0)                    \
  85   _ (TUN, 1)                    \
  86   _ (PCI, 2)
  87
  88 typedef enum
  89 {
  90 #define _(a, b) VIRTIO_IF_TYPE_##a = (1 << b),
  91   foreach_virtio_if_types
  92 #undef _
  93     VIRTIO_IF_N_TYPES = (1 << 3),
  94 } virtio_if_type_t;
  95
  96 #define VIRTIO_RING_FLAG_MASK_INT 1
  97
  98 typedef struct
  99 {
 100   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 101   clib_spinlock_t lockp;
 102   struct vring_desc *desc;
 103   struct vring_used *used;
 104   struct vring_avail *avail;
 105   u16 desc_in_use;
 106   u16 desc_next;
 107   int kick_fd;
 108   int call_fd;
 109   u8 buffer_pool_index;
 110   u16 size;
 111   u16 queue_id;
 112 #define VRING_TX_OUT_OF_ORDER 1
 113   u16 flags;
 114   u32 *buffers;
 115   u16 last_used_idx;
 116   u16 last_kick_avail_idx;
 117   u32 call_file_index;
 118   gro_flow_table_t *flow_table;
 119 } virtio_vring_t;
 120
 121 typedef union
 122 {
 123   struct
 124   {
 125     u16 domain;
 126     u8 bus;
 127     u8 slot:5;
 128     u8 function:3;
 129   };
 130   u32 as_u32;
 131 } pci_addr_t;
 132
 133 /* forward declaration */
 134 typedef struct _virtio_pci_func virtio_pci_func_t;
 135
 136 typedef struct
 137 {
 138   CLIB_CACHE_LINE_ALIGN_MARK (cacheline0);
 139   u64 features;
 140   u32 flags;
 141   u32 per_interface_next_index;
 142   u16 num_rxqs;
 143   u16 num_txqs;
 144   virtio_vring_t *rxq_vrings;
 145   virtio_vring_t *txq_vrings;
 146   int gso_enabled;
 147   int csum_offload_enabled;
 148   union
 149   {
 150     int *tap_fds;
 151     struct
 152     {
 153       u32 pci_dev_handle;
 154       u32 msix_enabled;
 155     };
 156   };
 157   u16 virtio_net_hdr_sz;
 158   virtio_if_type_t type;
 159
 160   u32 hw_if_index;
 161   u32 sw_if_index;
 162
 163     CLIB_CACHE_LINE_ALIGN_MARK (cacheline1);
 164   int packet_coalesce;
 165   u32 dev_instance;
 166   u32 numa_node;
 167   u64 remote_features;
 168
 169   /* error */
 170   clib_error_t *error;
 171   u8 mac_addr[6];
 172   union
 173   {
 174     struct                      /* tun/tap interface */
 175     {
 176       ip6_address_t host_ip6_addr;
 177       int *vhost_fds;
 178       u8 *host_if_name;
 179       u8 *net_ns;
 180       u8 *host_bridge;
 181       u8 host_mac_addr[6];
 182       u32 id;
 183       u32 host_mtu_size;
 184       u32 tap_flags;
 185       int ifindex;
 186       ip4_address_t host_ip4_addr;
 187       u8 host_ip4_prefix_len;
 188       u8 host_ip6_prefix_len;
 189     };
 190     struct                      /* native virtio */
 191     {
 192       void *bar;
 193       virtio_vring_t *cxq_vring;
 194       pci_addr_t pci_addr;
 195       u32 bar_id;
 196       u32 notify_off_multiplier;
 197       u32 is_modern;
 198       u16 common_offset;
 199       u16 notify_offset;
 200       u16 device_offset;
 201       u16 isr_offset;
 202       u16 max_queue_pairs;
 203       u16 msix_table_size;
 204       u8 support_int_mode;      /* support interrupt mode */
 205       u8 status;
 206     };
 207   };
 208   const virtio_pci_func_t *virtio_pci_func;
 209 } virtio_if_t;
 210
 211 typedef struct
 212 {
 213   /* logging */
 214   vlib_log_class_t log_default;
 215
 216   virtio_if_t *interfaces;
 217 } virtio_main_t;
 218
 219 extern virtio_main_t virtio_main;
 220 extern vnet_device_class_t virtio_device_class;
 221 extern vlib_node_registration_t virtio_input_node;
 222
 223 clib_error_t *virtio_vring_init (vlib_main_t * vm, virtio_if_t * vif, u16 idx,
 224                                  u16 sz);
 225 clib_error_t *virtio_vring_free_rx (vlib_main_t * vm, virtio_if_t * vif,
 226                                     u32 idx);
 227 clib_error_t *virtio_vring_free_tx (vlib_main_t * vm, virtio_if_t * vif,
 228                                     u32 idx);
 229 void virtio_vring_set_numa_node (vlib_main_t * vm, virtio_if_t * vif,
 230                                  u32 idx);
 231 extern void virtio_free_used_desc (vlib_main_t * vm, virtio_vring_t * vring);
 232 extern void virtio_free_rx_buffers (vlib_main_t * vm, virtio_vring_t * vring);
 233 extern void virtio_set_net_hdr_size (virtio_if_t * vif);
 234 extern void virtio_show (vlib_main_t * vm, u32 * hw_if_indices, u8 show_descr,
 235                          u32 type);
 236 extern void virtio_set_packet_coalesce (virtio_if_t * vif);
 237 extern void virtio_pci_legacy_notify_queue (vlib_main_t * vm,
 238                                             virtio_if_t * vif, u16 queue_id);
 239 extern void virtio_pci_modern_notify_queue (vlib_main_t * vm,
 240                                             virtio_if_t * vif, u16 queue_id);
 241 format_function_t format_virtio_device_name;
 242 format_function_t format_virtio_log_name;
 243
 244 static_always_inline void
 245 virtio_kick (vlib_main_t * vm, virtio_vring_t * vring, virtio_if_t * vif)
 246 {
 247   if (vif->type == VIRTIO_IF_TYPE_PCI)
 248     {
 249       if (vif->is_modern)
 250         virtio_pci_modern_notify_queue (vm, vif, vring->queue_id);
 251       else
 252         virtio_pci_legacy_notify_queue (vm, vif, vring->queue_id);
 253     }
 254   else
 255     {
 256       u64 x = 1;
 257       int __clib_unused r;
 258
 259       r = write (vring->kick_fd, &x, sizeof (x));
 260       vring->last_kick_avail_idx = vring->avail->idx;
 261     }
 262 }
 263
 264 #define virtio_log_debug(vif, f, ...)                           \
 265 {                                                               \
 266   vlib_log(VLIB_LOG_LEVEL_DEBUG, virtio_main.log_default,       \
 267            "%U: " f, format_virtio_log_name, vif,               \
 268            ##__VA_ARGS__);                                      \
 269 };
 270
 271 #define virtio_log_warning(vif, f, ...)                         \
 272 {                                                               \
 273   vlib_log(VLIB_LOG_LEVEL_WARNING, virtio_main.log_default,     \
 274            "%U: " f, format_virtio_log_name, vif,               \
 275            ##__VA_ARGS__);                                      \
 276 };
 277
 278 #define virtio_log_error(vif, f, ...)                           \
 279 {                                                               \
 280   vlib_log(VLIB_LOG_LEVEL_ERR, virtio_main.log_default,         \
 281            "%U: " f, format_virtio_log_name, vif,               \
 282            ##__VA_ARGS__);                                      \
 283 };
 284
 285 #endif /* _VNET_DEVICES_VIRTIO_VIRTIO_H_ */
 286
 287 /*
 288  * fd.io coding-style-patch-verification: ON
 289  *
 290  * Local Variables:
 291  * eval: (c-set-style "gnu")
 292  * End:
 293  */