docs/tag_documentation.rst

   1 CSIT TAGs Descriptions
   2 ======================
   3
   4 All CSIT test cases are labelled with Robot Framework tags used to allow for
   5 easy test case type identification, test case grouping and selection for
   6 execution. Following sections list currently used CSIT TAGs and their
   7 documentation.
   8
   9 Topology TAGs
  10 -------------
  11
  12 .. topic:: 3_NODE_DOUBLE_LINK_TOPO
  13
  14     3 nodes connected in a circular topology with two links interconnecting
  15     the devices.
  16
  17 .. topic:: 3_NODE_SINGLE_LINK_TOPO
  18
  19     3 nodes connected in a circular topology with at least one link
  20     interconnecting devices.
  21
  22 Objective TAGs
  23 --------------
  24
  25 .. topic:: SKIP_PATCH
  26
  27     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch)
  28     and csit-vpp-verify jobs (i.e. CSIT patch).
  29
  30 .. topic:: SKIP_VPP_PATCH
  31
  32     Test case(s) marked to not run in case of vpp-csit-verify (i.e. VPP patch).
  33
  34 Environment TAGs
  35 ----------------
  36
  37 .. topic:: HW_ENV
  38
  39     DUTs and TGs are running on bare metal.
  40
  41 .. topic:: VM_ENV
  42
  43     DUTs and TGs are running in virtual environment.
  44
  45 .. topic:: VPP_VM_ENV
  46
  47     DUTs with VPP and capable of running Virtual Machine.
  48
  49 NIC model tags
  50 --------------
  51
  52 .. topic:: NIC_Intel-X520-DA2
  53
  54     Intel X520-DA2 NIC.
  55
  56 .. topic:: NIC_Intel-XL710
  57
  58     Intel XL710 NIC.
  59
  60 .. topic:: NIC_Intel-X710
  61
  62     Intel X710 NIC.
  63
  64 .. topic:: NIC_Cisco-VIC-1227
  65
  66     VIC-1227 by Cisco.
  67
  68 .. topic:: NIC_Cisco-VIC-1385
  69
  70     VIC-1385 by Cisco.
  71
  72 Scaling TAGs
  73 ------------
  74
  75 .. topic:: FIB_20K
  76
  77     2x10,000 entries in single fib table
  78
  79 .. topic:: FIB_200K
  80
  81     2x100,000 entries in single fib table
  82
  83 .. topic:: FIB_2M
  84
  85     2x1,000,000 entries in single fib table
  86
  87 .. topic:: TNL_1000
  88
  89     IPSec in tunnel mode - 1000 tunnels.
  90
  91 .. topic:: SRC_USER_10
  92
  93     Traffic flow with 10 unique IPs (users) in one direction.
  94
  95 .. topic:: SRC_USER_100
  96
  97     Traffic flow with 100 unique IPs (users) in one direction.
  98
  99 .. topic:: SRC_USER_1000
 100
 101     Traffic flow with 1000 unique IPs (users) in one direction.
 102
 103 .. topic:: SRC_USER_2000
 104
 105     Traffic flow with 2000 unique IPs (users) in one direction.
 106
 107 .. topic:: SRC_USER_4000
 108
 109     Traffic flow with 4000 unique IPs (users) in one direction.
 110
 111 .. topic:: 100_FLOWS
 112
 113     Traffic stream with 100 unique flows (10 IPs/users x 10 UDP ports) in one
 114     direction.
 115
 116 .. topic:: 10k_FLOWS
 117
 118     Traffic stream with 10 000 unique flows (10 IPs/users x 1000 UDP ports) in
 119     one direction.
 120
 121 .. topic:: 100k_FLOWS
 122
 123     Traffic stream with 100 000 unique flows (100 IPs/users x 1000 UDP ports) in
 124     one direction.
 125
 126 Tags marking functional vs. performance of tests
 127 ------------------------------------------------
 128
 129 .. topic:: FUNCTEST
 130
 131     All functional test cases.
 132
 133 .. topic:: PERFTEST
 134
 135     All performance test cases.
 136
 137 Performance testing tags
 138 ------------------------
 139
 140 .. topic:: PDRDISC
 141
 142     Partial Drop Rate evaluation of single run result, with non-zero packet
 143     loss tolerance (LT) expressed in percentage of packets transmitted.
 144
 145 .. topic:: NDRDISC
 146
 147     Non Drop Rate evaluation of results. Loss acceptance of dropped packets is
 148     set to zero lost packets.
 149
 150 .. topic:: NDRPDR
 151
 152     Single test finding both No Drop Rate and Partial Drop Rate simultaneously.
 153     The search is done by optimized algorithm which performs
 154     multiple trial runs at different durations and transmit rates.
 155
 156 .. topic:: NDRCHK
 157
 158     Performance tests where TG verifies DUTs' throughput at ref-NDR (reference
 159     Non Drop Rate) with zero packet loss tolerance.
 160
 161 .. topic:: PDRCHK
 162
 163     Performance tests where TG verifies DUTs' throughput at ref-PDR (reference
 164     Partial Drop Rate) with 0.5% loss tolerance.
 165
 166 .. topic:: MRR
 167
 168     Performance tests where TG sends the traffic at maximum rate (line rate)
 169     and reports total sent/received packets over performance trial duration.
 170
 171 .. topic:: NDRPDRDISC
 172
 173     Find performance of DUT based on :rfc:`2544` with linear / binary / combined
 174     search. (Previous LONG tests.)
 175
 176 Ethernet frame size tags for performance tests
 177 ----------------------------------------------
 178
 179 .. topic:: 64B
 180
 181     64B frames used for test.
 182
 183 .. topic:: 78B
 184
 185     78B frames used for test.
 186
 187 .. topic:: IMIX
 188
 189     IMIX frame sequence (28x 64B, 16x 570B, 4x 1518B) used for test.
 190
 191 .. topic:: 1460B
 192
 193     1460B frames used for test.
 194
 195 .. topic:: 1480B
 196
 197     1480B frames used for test.
 198
 199 .. topic:: 1514B
 200
 201     1514B frames used for test.
 202
 203 .. topic:: 1518B
 204
 205     1518B frames used for test.
 206
 207 .. topic:: 9000B
 208
 209     9000B frames used for test.
 210
 211 Test type tags
 212 --------------
 213
 214 .. topic:: BASE
 215
 216     Baseline test cases, no encapsulation, no feature(s) configured in tests.
 217
 218 .. topic:: IP4BASE
 219
 220     IPv4 baseline test cases, no encapsulation, no feature(s) configured in
 221     tests.
 222
 223 .. topic:: IP6BASE
 224
 225     IPv6 baseline test cases, no encapsulation, no feature(s) configured in
 226     tests.
 227
 228 .. topic:: L2XCBASE
 229
 230     L2XC baseline test cases, no encapsulation, no feature(s) configured in
 231     tests.
 232
 233 .. topic:: L2BDBASE
 234
 235     L2BD baseline test cases, no encapsulation, no feature(s) configured in
 236     tests.
 237
 238 .. topic:: SCALE
 239
 240     Scale test cases.
 241
 242 .. topic:: ENCAP
 243
 244     Test cases where encapsulation is used. Use also encapsulation tag(s).
 245
 246 .. topic:: FEATURE
 247
 248     At least one feature is configured in test cases. Use also feature tag(s).
 249
 250 .. topic:: TLDK
 251
 252     Functional test cases for TLDK.
 253
 254 .. topic:: TCP
 255
 256     Tests which use TCP.
 257
 258 .. topic:: TCP_CPS
 259
 260     Performance tests which measure connections per second using http requests.
 261
 262 .. topic:: TCP_RPS
 263
 264     Performance tests which measure requests per second using http requests.
 265
 266 .. topic:: HTTP
 267
 268     Tests which use HTTP.
 269
 270 Forwarding mode tags
 271 --------------------
 272
 273 .. topic:: L2BDMACSTAT
 274
 275     VPP L2 bridge-domain, L2 MAC static.
 276
 277 .. topic:: L2BDMACLRN
 278
 279     VPP L2 bridge-domain, L2 MAC learning.
 280
 281 .. topic:: L2XCFWD
 282
 283     VPP L2 point-to-point cross-connect.
 284
 285 .. topic:: IP4FWD
 286
 287     VPP IPv4 routed forwarding.
 288
 289 .. topic:: IP6FWD
 290
 291     VPP IPv6 routed forwarding.
 292
 293 Underlay tags
 294 -------------
 295
 296 .. topic:: IP4UNRLAY
 297
 298     IPv4 underlay.
 299
 300 .. topic:: IP6UNRLAY
 301
 302     IPv6 underlay.
 303
 304 .. topic:: MPLSUNRLAY
 305
 306     MPLS underlay.
 307
 308 Overlay tags
 309 ------------
 310
 311 .. topic:: L2OVRLAY
 312
 313     L2 overlay.
 314
 315 .. topic:: IP4OVRLAY
 316
 317     IPv4 overlay (IPv4 payload).
 318
 319 .. topic:: IP6OVRLAY
 320
 321     IPv6 overlay (IPv6 payload).
 322
 323 Tagging tags
 324 ------------
 325
 326 .. topic:: DOT1Q
 327
 328     All test cases with dot1q.
 329
 330 .. topic:: DOT1AD
 331
 332     All test cases with dot1ad.
 333
 334 Encapsulation tags
 335 ------------------
 336
 337 .. topic:: ETH
 338
 339     All test cases with base Ethernet (no encapsulation).
 340
 341 .. topic:: LISP
 342
 343     All test cases with LISP.
 344
 345 .. topic:: LISPGPE
 346
 347     All test cases with LISP-GPE.
 348
 349 .. topic:: VXLAN
 350
 351     All test cases with Vxlan.
 352
 353 .. topic:: VXLANGPE
 354
 355     All test cases with VXLAN-GPE.
 356
 357 .. topic:: GRE
 358
 359     All test cases with GRE.
 360
 361 .. topic:: IPSEC
 362
 363     All test cases with IPSEC.
 364
 365 .. topic:: SRv6
 366
 367     All test cases with Segment routing over IPv6 dataplane.
 368
 369 Interface tags
 370 --------------
 371
 372 .. topic:: PHY
 373
 374     All test cases which use physical interface(s).
 375
 376 .. topic:: VHOST
 377
 378     All test cases which uses VHOST.
 379
 380 .. topic:: VHOST_256
 381
 382     All test cases which uses VHOST with qemu queue size set to 256.
 383
 384 .. topic:: VHOST_1024
 385
 386     All test cases which uses VHOST with qemu queue size set to 1024.
 387
 388 .. topic:: CFS_OPT
 389
 390     All test cases which uses VM with optimised scheduler policy.
 391
 392 .. topic:: TUNTAP
 393
 394     All test cases which uses TUN and TAP.
 395
 396 .. topic:: AFPKT
 397
 398     All test cases which uses AFPKT.
 399
 400 .. topic:: NETMAP
 401
 402     All test cases which uses Netmap.
 403
 404 .. topic:: MEMIF
 405
 406     All test cases which uses Memif.
 407
 408 .. topic:: LBOND
 409
 410     All test cases which uses link bonding (BondEthernet interface).
 411
 412 .. topic:: LBOND_DPDK
 413
 414     All test cases which uses DPDK link bonding.
 415
 416 .. topic:: LBOND_VPP
 417
 418     All test cases which uses VPP link bonding.
 419
 420 .. topic:: LBOND_MODE_XOR
 421
 422     All test cases which uses link bonding with mode XOR.
 423
 424 .. topic:: LBOND_MODE_LACP
 425
 426     All test cases which uses link bonding with mode LACP.
 427
 428 .. topic:: LBOND_LB_L34
 429
 430     All test cases which uses link bonding with load-balance mode l34.
 431
 432 Feature tags
 433 ------------
 434
 435 .. topic:: IACLDST
 436
 437     iACL destination.
 438
 439 .. topic:: COPWHLIST
 440
 441     COP whitelist.
 442
 443 .. topic:: NAT44
 444
 445     NAT44 configured and tested.
 446
 447 .. topic:: NAT64
 448
 449     NAT44 configured and tested.
 450
 451 .. topic:: ACL
 452
 453     ACL plugin configured and tested.
 454
 455 .. topic:: IACL
 456
 457     ACL plugin configured and tested on input path.
 458
 459 .. topic:: OACL
 460
 461     ACL plugin configured and tested on output path.
 462
 463 .. topic:: ACL_STATELESS
 464
 465     ACL plugin configured and tested in stateless mode (permit action).
 466
 467 .. topic:: ACL_STATEFUL
 468
 469     ACL plugin configured and tested in stateful mode (permit+reflect action).
 470
 471 .. topic:: ACL1
 472
 473     ACL plugin configured and tested with 1 not-hitting ACE.
 474
 475 .. topic:: ACL10
 476
 477     ACL plugin configured and tested with 10 not-hitting ACEs.
 478
 479 .. topic:: ACL50
 480
 481     ACL plugin configured and tested with 50 not-hitting ACEs.
 482
 483 .. topic:: SRv6_PROXY
 484
 485     SRv6 endpoint to SR-unaware appliance via proxy.
 486
 487 .. topic:: SRv6_PROXY_STAT
 488
 489     SRv6 endpoint to SR-unaware appliance via static proxy.
 490
 491 .. topic:: SRv6_PROXY_DYN
 492
 493     SRv6 endpoint to SR-unaware appliance via dynamic proxy.
 494
 495 .. topic:: SRv6_PROXY_MASQ
 496
 497     SRv6 endpoint to SR-unaware appliance via masquerading proxy.
 498
 499 Encryption tags
 500 ---------------
 501
 502 .. topic:: IPSECSW
 503
 504     Crypto in software.
 505
 506 .. topic:: IPSECHW
 507
 508     Crypto in hardware.
 509
 510 .. topic:: IPSECTRAN
 511
 512     IPSec in transport mode.
 513
 514 .. topic:: IPSECTUN
 515
 516     IPSec in tunnel mode.
 517
 518 Client-workload tags
 519 --------------------
 520
 521 .. topic:: VM
 522
 523     All test cases which use at least one virtual machine.
 524
 525 .. topic:: LXC
 526
 527     All test cases which use Linux container and LXC utils.
 528
 529 .. topic:: DOCKER
 530
 531     All test cases which use Docker as container manager.
 532
 533 .. topic:: APP
 534
 535     All test cases with specific APP use.
 536
 537 Container orchestration tags
 538 ----------------------------
 539
 540 .. topic:: K8S
 541
 542     All test cases which use Kubernetes for orchestration.
 543
 544 .. topic:: SFC_CONTROLLER
 545
 546     All test cases which use ligato/sfc_controller for driving configuration
 547     of vpp inside container.
 548
 549 .. topic:: VPP_AGENT
 550
 551     All test cases which use Golang implementation of a control/management plane
 552     for VPP
 553
 554 .. topic:: 1VSWITCH
 555
 556     VPP running in Docker container acting as VSWITCH.
 557
 558 .. topic:: 1VNF
 559
 560     1 VPP running in Docker container acting as VNF work load.
 561
 562 .. topic:: 2VNF
 563
 564     2 VPP running in 2 Docker containers acting as VNF work load.
 565
 566 .. topic:: 4VNF
 567
 568     4 VPP running in 4 Docker containers acting as VNF work load.
 569
 570 Multi-threading tags
 571 --------------------
 572
 573 .. topic:: STHREAD
 574
 575     All test cases using single poll mode thread.
 576
 577 .. topic:: MTHREAD
 578
 579     All test cases using more then one poll mode driver thread.
 580
 581 .. topic:: 1NUMA
 582
 583     All test cases with packet processing on single socket.
 584
 585 .. topic:: 2NUMA
 586
 587     All test cases with packet processing on two sockets.
 588
 589 .. topic:: SMT
 590
 591     All test cases with symmetric Multi-Threading (HyperThreading) enabled.
 592
 593 .. topic:: NOSMT
 594
 595     All test cases with symmetric Multi-Threading (HyperThreading) disabled.
 596
 597 .. topic:: 1T1C
 598
 599     1 worker thread pinned to 1 dedicated physical core. 1 receive queue per
 600     interface. Main thread pinned to core 0.
 601
 602 .. topic:: 2T2C
 603
 604     2 worker threads pinned to 2 dedicated physical cores. 1 receive queue per
 605     interface. Main thread pinned to core 0.
 606
 607 .. topic:: 4T4C
 608
 609     4 worker threads pinned to 4 dedicated physical cores. 2 receive queues per
 610     interface. Main thread pinned to core 0.
 611
 612 .. topic:: 6T6C
 613
 614     6 worker threads pinned to 6 dedicated physical cores. 3 receive queues per
 615     interface. Main thread pinned to core 0.
 616
 617 .. topic:: 8T8C
 618
 619     8 worker threads pinned to 8 dedicated physical cores. 4 receive queues per
 620     interface. Main thread pinned to core 0.
 621
 622 Honeycomb tags
 623 --------------
 624
 625 .. topic:: HC_FUNC
 626
 627     Honeycomb functional test cases.
 628
 629 .. topic:: HC_NSH
 630
 631     Honeycomb NSH test cases.
 632
 633 .. topic:: HC_PERSIST
 634
 635     Honeycomb persistence test cases.
 636
 637 .. topic:: HC_REST_ONLY
 638
 639     (Exclusion tag) Honeycomb test cases that cannot be run in Netconf mode
 640     using ODL client for Restfconf -> Netconf translation.