docs/tag_documentation.rst

   1 CSIT TAGs Descriptions
   2 ======================
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT TAGs and their
   7 documentation.
   8
   9 Topology TAGs
  10 -------------
  11
  12 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  13
  14     3 nodes connected in a circular topology with two links interconnecting
  15     the devices.
  16
  17 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  18
  19     3 nodes connected in a circular topology with at least one link
  20     interconnecting devices.
  21
  22 Objective TAGs
  23 --------------
  24
  25 .. topic:: SKIP_PATCH
  26
  27     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  28     and csit-vpp-verify jobs (i.e. CSIT patch).
  29
  30 .. topic:: SKIP_VPP_PATCH
  31
  32     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  33
  34 Environment TAGs
  35 ----------------
  36
  37 .. topic:: HW_ENV
  38
  39     DUTs and TGs are running on bare metal.
  40
  41 .. topic:: VM_ENV
  42
  43     DUTs and TGs are running in virtual environment.
  44
  45 .. topic:: VPP_VM_ENV
  46
  47     DUTs with VPP and capable of running Virtual Machine.
  48
  49 NIC model tags
  50 --------------
  51
  52 .. topic:: NIC_Intel-X520-DA2
  53
  54     Intel X520-DA2 NIC.
  55
  56 .. topic:: NIC_Intel-XL710
  57
  58     Intel XL710 NIC.
  59
  60 .. topic:: NIC_Intel-X710
  61
  62     Intel X710 NIC.
  63
  64 .. topic:: NIC_Cisco-VIC-1227
  65
  66     VIC-1227 by Cisco.
  67
  68 .. topic:: NIC_Cisco-VIC-1385
  69
  70     VIC-1385 by Cisco.
  71
  72 Scaling TAGs
  73 ------------
  74
  75 .. topic:: FIB_20K
  76
  77     2x10,000 entries in single fib table
  78
  79 .. topic:: FIB_200K
  80
  81     2x100,000 entries in single fib table
  82
  83 .. topic:: FIB_2M
  84
  85     2x1,000,000 entries in single fib table
  86
  87 .. topic:: TNL_1000
  88
  89     IPSec in tunnel mode - 1000 tunnels.
  90
  91 .. topic:: SRC_USER_10
  92
  93     Traffic flow with 10 unique IPs (users) in one direction.
  94
  95 .. topic:: SRC_USER_100
  96
  97     Traffic flow with 100 unique IPs (users) in one direction.
  98
  99 .. topic:: SRC_USER_1000
 100
 101     Traffic flow with 1000 unique IPs (users) in one direction.
 102
 103 .. topic:: SRC_USER_2000
 104
 105     Traffic flow with 2000 unique IPs (users) in one direction.
 106
 107 .. topic:: SRC_USER_4000
 108
 109     Traffic flow with 4000 unique IPs (users) in one direction.
 110
 111 .. topic:: 100_FLOWS
 112
 113     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
 114     direction.
 115
 116 .. topic:: 10k_FLOWS
 117
 118     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
 119     one direction.
 120
 121 .. topic:: 100k_FLOWS
 122
 123     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
 124     one direction.
 125
 126 Tags marking functional vs. performance of tests
 127 ------------------------------------------------
 128
 129 .. topic:: FUNCTEST
 130
 131     All functional test cases.
 132
 133 .. topic:: PERFTEST
 134
 135     All performance test cases.
 136
 137 Performance testing tags
 138 ------------------------
 139
 140 .. topic:: PDRDISC
 141
 142     Partial Drop Rate evaluation of single run result, with non-zero packet
 143     loss tolerance (LT) expressed in percentage of packets transmitted.
 144
 145 .. topic:: NDRDISC
 146
 147     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
 148     set to zero lost packets.
 149
 150 .. topic:: NDRPDR
 151
 152     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
 153     The search is done by optimized algorithm which performs
 154     multiple trial runs at different durations and transmit rates.
 155
 156 .. topic:: NDRCHK
 157
 158     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
 159     Non Drop Rate) with zero packet loss tolerance.
 160
 161 .. topic:: PDRCHK
 162
 163     Performance tests where TG verifies DUTs' throughput at ref-PDR (reference
 164     Partial Drop Rate) with 0.5% loss tolerance.
 165
 166 .. topic:: MRR
 167
 168     Performance tests where TG sends the traffic at maximum rate (line rate)
 169     and reports total sent/received packets over performance trial duration.
 170
 171 .. topic:: NDRPDRDISC
 172
 173     Find performance of DUT based on :rfc:`2544` with linear / binary / combined
 174     search. (Previous LONG tests.)
 175
 176 Ethernet frame size tags for performance tests
 177 ----------------------------------------------
 178
 179 .. topic:: 64B
 180
 181     64B frames used for test.
 182
 183 .. topic:: 78B
 184
 185     78B frames used for test.
 186
 187 .. topic:: IMIX
 188
 189     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 190
 191 .. topic:: 1460B
 192
 193     1460B frames used for test.
 194
 195 .. topic:: 1480B
 196
 197     1480B frames used for test.
 198
 199 .. topic:: 1514B
 200
 201     1514B frames used for test.
 202
 203 .. topic:: 1518B
 204
 205     1518B frames used for test.
 206
 207 .. topic:: 9000B
 208
 209     9000B frames used for test.
 210
 211 Test type tags
 212 --------------
 213
 214 .. topic:: BASE
 215
 216     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 217
 218 .. topic:: IP4BASE
 219
 220     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 221     tests.
 222
 223 .. topic:: IP6BASE
 224
 225     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 226     tests.
 227
 228 .. topic:: L2XCBASE
 229
 230     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 231     tests.
 232
 233 .. topic:: L2BDBASE
 234
 235     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 236     tests.
 237
 238 .. topic:: SCALE
 239
 240     Scale test cases.
 241
 242 .. topic:: ENCAP
 243
 244     Test cases where encapsulation is used. Use also encapsulation tag(s).
 245
 246 .. topic:: FEATURE
 247
 248     At least one feature is configured in test cases. Use also feature tag(s).
 249
 250 .. topic:: TLDK
 251
 252     Functional test cases for TLDK.
 253
 254 .. topic:: TCP
 255
 256     Tests which use TCP.
 257
 258 .. topic:: TCP_CPS
 259
 260     Performance tests which measure connections per second using http requests.
 261
 262 .. topic:: TCP_RPS
 263
 264     Performance tests which measure requests per second using http requests.
 265
 266 .. topic:: HTTP
 267
 268     Tests which use HTTP.
 269
 270 Forwarding mode tags
 271 --------------------
 272
 273 .. topic:: L2BDMACSTAT
 274
 275     VPP L2 bridge-domain, L2 MAC static.
 276
 277 .. topic:: L2BDMACLRN
 278
 279     VPP L2 bridge-domain, L2 MAC learning.
 280
 281 .. topic:: L2XCFWD
 282
 283     VPP L2 point-to-point cross-connect.
 284
 285 .. topic:: IP4FWD
 286
 287     VPP IPv4 routed forwarding.
 288
 289 .. topic:: IP6FWD
 290
 291     VPP IPv6 routed forwarding.
 292
 293 Underlay tags
 294 -------------
 295
 296 .. topic:: IP4UNRLAY
 297
 298     IPv4 underlay.
 299
 300 .. topic:: IP6UNRLAY
 301
 302     IPv6 underlay.
 303
 304 .. topic:: MPLSUNRLAY
 305
 306     MPLS underlay.
 307
 308 Overlay tags
 309 ------------
 310
 311 .. topic:: L2OVRLAY
 312
 313     L2 overlay.
 314
 315 .. topic:: IP4OVRLAY
 316
 317     IPv4 overlay (IPv4 payload).
 318
 319 .. topic:: IP6OVRLAY
 320
 321     IPv6 overlay (IPv6 payload).
 322
 323 Tagging tags
 324 ------------
 325
 326 .. topic:: DOT1Q
 327
 328     All test cases with dot1q.
 329
 330 .. topic:: DOT1AD
 331
 332     All test cases with dot1ad.
 333
 334 Encapsulation tags
 335 ------------------
 336
 337 .. topic:: ETH
 338
 339     All test cases with base Ethernet (no encapsulation).
 340
 341 .. topic:: LISP
 342
 343     All test cases with LISP.
 344
 345 .. topic:: LISPGPE
 346
 347     All test cases with LISP-GPE.
 348
 349 .. topic:: VXLAN
 350
 351     All test cases with Vxlan.
 352
 353 .. topic:: VXLANGPE
 354
 355     All test cases with VXLAN-GPE.
 356
 357 .. topic:: GRE
 358
 359     All test cases with GRE.
 360
 361 .. topic:: IPSEC
 362
 363     All test cases with IPSEC.
 364
 365 .. topic:: SRv6
 366
 367     All test cases with Segment routing over IPv6 dataplane.
 368
 369 Interface tags
 370 --------------
 371
 372 .. topic:: PHY
 373
 374     All test cases which use physical interface(s).
 375
 376 .. topic:: VHOST
 377
 378     All test cases which uses VHOST.
 379
 380 .. topic:: VHOST_256
 381
 382     All test cases which uses VHOST with qemu queue size set to 256.
 383
 384 .. topic:: VHOST_1024
 385
 386     All test cases which uses VHOST with qemu queue size set to 1024.
 387
 388 .. topic:: CFS_OPT
 389
 390     All test cases which uses VM with optimised scheduler policy.
 391
 392 .. topic:: TUNTAP
 393
 394     All test cases which uses TUN and TAP.
 395
 396 .. topic:: AFPKT
 397
 398     All test cases which uses AFPKT.
 399
 400 .. topic:: NETMAP
 401
 402     All test cases which uses Netmap.
 403
 404 .. topic:: MEMIF
 405
 406     All test cases which uses Memif.
 407
 408 .. topic:: LBOND
 409
 410     All test cases which uses link bonding (BondEthernet interface).
 411
 412 .. topic:: LBOND_DPDK
 413
 414     All test cases which uses DPDK link bonding.
 415
 416 .. topic:: LBOND_MODE_XOR
 417
 418     All test cases which uses link bonding with mode XOR.
 419
 420 .. topic:: LBOND_LB_L34
 421
 422     All test cases which uses link bonding with load-balance mode l34.
 423
 424 Feature tags
 425 ------------
 426
 427 .. topic:: IACLDST
 428
 429     iACL destination.
 430
 431 .. topic:: COPWHLIST
 432
 433     COP whitelist.
 434
 435 .. topic:: NAT44
 436
 437     NAT44 configured and tested.
 438
 439 .. topic:: NAT64
 440
 441     NAT44 configured and tested.
 442
 443 .. topic:: ACL
 444
 445     ACL plugin configured and tested.
 446
 447 .. topic:: IACL
 448
 449     ACL plugin configured and tested on input path.
 450
 451 .. topic:: OACL
 452
 453     ACL plugin configured and tested on output path.
 454
 455 .. topic:: ACL_STATELESS
 456
 457     ACL plugin configured and tested in stateless mode (permit action).
 458
 459 .. topic:: ACL_STATEFUL
 460
 461     ACL plugin configured and tested in stateful mode (permit+reflect action).
 462
 463 .. topic:: ACL1
 464
 465     ACL plugin configured and tested with 1 not-hitting ACE.
 466
 467 .. topic:: ACL10
 468
 469     ACL plugin configured and tested with 10 not-hitting ACEs.
 470
 471 .. topic:: ACL50
 472
 473     ACL plugin configured and tested with 50 not-hitting ACEs.
 474
 475 .. topic:: SRv6_PROXY
 476
 477     SRv6 endpoint to SR-unaware appliance via proxy.
 478
 479 .. topic:: SRv6_PROXY_STAT
 480
 481     SRv6 endpoint to SR-unaware appliance via static proxy.
 482
 483 .. topic:: SRv6_PROXY_DYN
 484
 485     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 486
 487 .. topic:: SRv6_PROXY_MASQ
 488
 489     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 490
 491 Encryption tags
 492 ---------------
 493
 494 .. topic:: IPSECSW
 495
 496     Crypto in software.
 497
 498 .. topic:: IPSECHW
 499
 500     Crypto in hardware.
 501
 502 .. topic:: IPSECTRAN
 503
 504     IPSec in transport mode.
 505
 506 .. topic:: IPSECTUN
 507
 508     IPSec in tunnel mode.
 509
 510 Client-workload tags
 511 --------------------
 512
 513 .. topic:: VM
 514
 515     All test cases which use at least one virtual machine.
 516
 517 .. topic:: LXC
 518
 519     All test cases which use Linux container and LXC utils.
 520
 521 .. topic:: DOCKER
 522
 523     All test cases which use Docker as container manager.
 524
 525 .. topic:: APP
 526
 527     All test cases with specific APP use.
 528
 529 Container orchestration tags
 530 ----------------------------
 531
 532 .. topic:: K8S
 533
 534     All test cases which use Kubernetes for orchestration.
 535
 536 .. topic:: SFC_CONTROLLER
 537
 538     All test cases which use ligato/sfc_controller for driving configuration
 539     of vpp inside container.
 540
 541 .. topic:: VPP_AGENT
 542
 543     All test cases which use Golang implementation of a control/management plane
 544     for VPP
 545
 546 .. topic:: 1VSWITCH
 547
 548     VPP running in Docker container acting as VSWITCH.
 549
 550 .. topic:: 1VNF
 551
 552     1 VPP running in Docker container acting as VNF work load.
 553
 554 .. topic:: 2VNF
 555
 556     2 VPP running in 2 Docker containers acting as VNF work load.
 557
 558 .. topic:: 4VNF
 559
 560     4 VPP running in 4 Docker containers acting as VNF work load.
 561
 562 Multi-threading tags
 563 --------------------
 564
 565 .. topic:: STHREAD
 566
 567     All test cases using single poll mode thread.
 568
 569 .. topic:: MTHREAD
 570
 571     All test cases using more then one poll mode driver thread.
 572
 573 .. topic:: 1NUMA
 574
 575     All test cases with packet processing on single socket.
 576
 577 .. topic:: 2NUMA
 578
 579     All test cases with packet processing on two sockets.
 580
 581 .. topic:: SMT
 582
 583     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
 584
 585 .. topic:: NOSMT
 586
 587     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
 588
 589 .. topic:: 1T1C
 590
 591     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 592     interface. Main thread pinned to core 0.
 593
 594 .. topic:: 2T2C
 595
 596     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 597     interface. Main thread pinned to core 0.
 598
 599 .. topic:: 4T4C
 600
 601     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 602     interface. Main thread pinned to core 0.
 603
 604 .. topic:: 6T6C
 605
 606     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
 607     interface. Main thread pinned to core 0.
 608
 609 .. topic:: 8T8C
 610
 611     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
 612     interface. Main thread pinned to core 0.
 613
 614 Honeycomb tags
 615 --------------
 616
 617 .. topic:: HC_FUNC
 618
 619     Honeycomb functional test cases.
 620
 621 .. topic:: HC_NSH
 622
 623     Honeycomb NSH test cases.
 624
 625 .. topic:: HC_PERSIST
 626
 627     Honeycomb persistence test cases.
 628
 629 .. topic:: HC_REST_ONLY
 630
 631     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 632     using ODL client for Restfconf -> Netconf translation.