docs/report/vpp_performance_tests/test_environment.rst

   1 .. _test_environment:\r
   2 \r
   3 Test Environment\r
   4 ================\r
   5 \r
   6 CSIT performance tests are executed on the three identical physical testbeds\r
   7 hosted by :abbr:`LF (Linux Foundation)` for FD.io project. Each testbed\r
   8 consists of two servers acting as Systems Under Test (SUT) and one server\r
   9 acting as Traffic Generator (TG).\r
  10 \r
  11 Server Specification and Configuration\r
  12 --------------------------------------\r
  13 \r
  14 Complete specification and configuration of compute servers used in CSIT\r
  15 physical testbeds is maintained on wiki page `CSIT LF Testbeds\r
  16 <https://wiki.fd.io/view/CSIT/CSIT_LF_testbed>`_.\r
  17 \r
  18 SUT Configuration\r
  19 -----------------\r
  20 \r
  21 **Host configuration**\r
  22 \r
  23 All hosts are Cisco UCS C240-M4 (2x Intel(R) Xeon(R) CPU E5-2699 v3 @ 2.30GHz,\r
  24 18c, 512GB RAM)\r
  25 \r
  26 ::\r
  27 \r
  28     $ lscpu\r
  29     Architecture:          x86_64\r
  30     CPU op-mode(s):        32-bit, 64-bit\r
  31     Byte Order:            Little Endian\r
  32     CPU(s):                36\r
  33     On-line CPU(s) list:   0-35\r
  34     Thread(s) per core:    1\r
  35     Core(s) per socket:    18\r
  36     Socket(s):             2\r
  37     NUMA node(s):          2\r
  38     Vendor ID:             GenuineIntel\r
  39     CPU family:            6\r
  40     Model:                 63\r
  41     Model name:            Intel(R) Xeon(R) CPU E5-2699 v3 @ 2.30GHz\r
  42     Stepping:              2\r
  43     CPU MHz:               2294.249\r
  44     BogoMIPS:              4589.82\r
  45     Virtualization:        VT-x\r
  46     L1d cache:             32K\r
  47     L1i cache:             32K\r
  48     L2 cache:              256K\r
  49     L3 cache:              46080K\r
  50     NUMA node0 CPU(s):     0-17\r
  51     NUMA node1 CPU(s):     18-35\r
  52     Flags:                 fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm epb tpr_shadow vnmi flexpriority ept vpid fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid cqm xsaveopt cqm_llc cqm_occup_llc dtherm arat pln pts\r
  53 \r
  54 **BIOS settings**\r
  55 \r
  56 ::\r
  57 \r
  58     C240 /bios # show advanced detail\r
  59     Set-up parameters:\r
  60         Intel(R) VT-d ATS Support: Enabled\r
  61         Adjacent Cache Line Prefetcher: Enabled\r
  62         All Onboard LOM Ports: Enabled\r
  63         Altitude: 300 M\r
  64         Bits per second: 115200\r
  65         Power Technology: Performance\r
  66         Channel Interleaving: Auto\r
  67         Intel(R) VT-d Coherency Support: Disabled\r
  68         Console Redirection: COM 0\r
  69         Number of Enabled Cores: All\r
  70         Energy Performance: Performance\r
  71         CPU Performance: Enterprise\r
  72         DCU IP Prefetcher: Enabled\r
  73         DCU Streamer Prefetch: Enabled\r
  74         Demand Scrub: Enabled\r
  75         Direct Cache Access Support: Auto\r
  76         Enhanced Intel Speedstep(R) Tec: Disabled\r
  77         Execute Disable: Enabled\r
  78         Flow Control: None\r
  79         Hardware Prefetcher: Enabled\r
  80         Intel(R) Hyper-Threading Techno: Disabled\r
  81         Intel(R) Turbo Boost Technology: Disabled\r
  82         Intel(R) VT: Enabled\r
  83         Intel(R) VT-d: Enabled\r
  84         Intel(R) Interrupt Remapping: Enabled\r
  85         Legacy USB Support: Enabled\r
  86         Extended APIC: XAPIC\r
  87         LOM Port 1 OptionROM: Enabled\r
  88         LOM Port 2 OptionROM: Enabled\r
  89         MMIO above 4GB: Enabled\r
  90         NUMA: Enabled\r
  91         PCI ROM CLP: Disabled\r
  92         Package C State Limit: C6 Retention\r
  93         Intel(R) Pass Through DMA: Disabled\r
  94         Patrol Scrub: Enabled\r
  95         xHCI Mode: Disabled\r
  96         All PCIe Slots OptionROM: Enabled\r
  97         PCIe Slot:1 OptionROM: Disabled\r
  98         PCIe Slot:2 OptionROM: Disabled\r
  99         PCIe Slot:3 OptionROM: Disabled\r
 100         PCIe Slot:4 OptionROM: Disabled\r
 101         PCIe Slot:5 OptionROM: Disabled\r
 102         PCIe Slot:6 OptionROM: Disabled\r
 103         PCIe Slot:HBA Link Speed: GEN3\r
 104         PCIe Slot:HBA OptionROM: Enabled\r
 105         PCIe Slot:MLOM OptionROM: Enabled\r
 106         PCIe Slot:N1 OptionROM: Enabled\r
 107         PCIe Slot:N2 OptionROM: Enabled\r
 108         Processor Power state C1 Enhanc: Disabled\r
 109         Processor C3 Report: Disabled\r
 110         Processor C6 Report: Disabled\r
 111         P-STATE Coordination: HW ALL\r
 112         Putty KeyPad: ESCN\r
 113         Energy Performance Tuning: BIOS\r
 114         QPI Link Frequency Select: Auto\r
 115         QPI Snoop Mode: Home Snoop\r
 116         Rank Interleaving: Auto\r
 117         Redirection After BIOS POST: Always Enable\r
 118         PCH SATA Mode: AHCI\r
 119         Select Memory RAS: Maximum Performance\r
 120         SR-IOV Support: Enabled\r
 121         Terminal Type: VT100\r
 122         Port 60/64 Emulation: Enabled\r
 123         Workload Configuration: Balanced\r
 124         CDN Support for VIC: Disabled\r
 125         Out-of-Band Management: Disabled\r
 126 \r
 127 **NIC models and placement**\r
 128 \r
 129 In addition to CIMC and Management, each TG has 4x Intel X710 10GB NIC\r
 130 (=8 ports) and 2x Intel XL710 40GB NIC (=4 ports), whereas each SUT has:\r
 131 \r
 132 - 1x Intel X520 NIC (10GB, 2 ports),\r
 133 - 1x Cisco VIC 1385 (40GB, 2 ports),\r
 134 - 1x Intel XL710 NIC (40GB, 2 ports),\r
 135 - 1x Intel X710 NIC (10GB, 2 ports),\r
 136 - 1x Cisco VIC 1227 (10GB, 2 ports).\r
 137 \r
 138 This allows for a total of five ring topologies, each using ports on\r
 139 specific NIC model, enabling per NIC model benchmarking.\r
 140 \r
 141 - 0a:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+\r
 142   Network Connection (rev 01) Subsystem: Intel Corporation Ethernet Server\r
 143   Adapter X520-2\r
 144 - 0a:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+\r
 145   Network Connection (rev 01) Subsystem: Intel Corporation Ethernet Server\r
 146   Adapter X520-2\r
 147 - 06:00.0 Ethernet controller: Cisco Systems Inc VIC Ethernet NIC (rev a2)\r
 148   Subsystem: Cisco Systems Inc VIC 1227 PCIe Ethernet NIC\r
 149 - 07:00.0 Ethernet controller: Cisco Systems Inc VIC Ethernet NIC (rev a2)\r
 150   Subsystem: Cisco Systems Inc VIC 1227 PCIe Ethernet NIC\r
 151 - 13:00.0 Ethernet controller: Cisco Systems Inc VIC Ethernet NIC (rev a2)\r
 152   Subsystem: Cisco Systems Inc VIC 1385 PCIe Ethernet NIC\r
 153 - 15:00.0 Ethernet controller: Cisco Systems Inc VIC Ethernet NIC (rev a2)\r
 154   Subsystem: Cisco Systems Inc VIC 1385 PCIe Ethernet NIC\r
 155 - 85:00.0 Ethernet controller: Intel Corporation Ethernet Controller XL710\r
 156   for 40GbE QSFP+ (rev 01) Subsystem: Intel Corporation Ethernet Converged\r
 157   Network Adapter XL710-Q2\r
 158 - 85:00.1 Ethernet controller: Intel Corporation Ethernet Controller XL710\r
 159   for 40GbE QSFP+ (rev 01) Subsystem: Intel Corporation Ethernet Converged\r
 160   Network Adapter XL710-Q2\r
 161 - 87:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for\r
 162   10GbE SFP+ (rev 01) Subsystem: Intel Corporation Ethernet Converged Network\r
 163   Adapter X710-2\r
 164 - 87:00.1 Ethernet controller: Intel Corporation Ethernet Controller X710 for\r
 165   10GbE SFP+ (rev 01) Subsystem: Intel Corporation Ethernet Converged Network\r
 166   Adapter X710-2\r
 167 \r
 168 SUT Configuration - Host OS Linux\r
 169 ---------------------------------\r
 170 \r
 171 Software details (OS, configuration) of physical testbeds are maintained\r
 172 on wiki page\r
 173 `CSIT LF Testbeds <https://wiki.fd.io/view/CSIT/CSIT_LF_testbed>`_.\r
 174 \r
 175 System provisioning is done by combination of PXE boot unattented\r
 176 install and\r
 177 `Ansible <https://www.ansible.com>`_ described in `CSIT Testbed Setup`_.\r
 178 \r
 179 Below a subset of the running configuration:\r
 180 \r
 181 ::\r
 182 \r
 183     $ lsb_release -a\r
 184     No LSB modules are available.\r
 185     Distributor ID:     Ubuntu\r
 186     Description:        Ubuntu 16.04.1 LTS\r
 187     Release:    16.04\r
 188     Codename:   xenial\r
 189 \r
 190 ::\r
 191 \r
 192     $ cat /sys/devices/system/node/node*/meminfo\r
 193     Node 0 MemTotal:       264048168 kB\r
 194     Node 0 MemFree:        257730716 kB\r
 195     Node 0 MemUsed:         6317452 kB\r
 196     Node 0 Active:          1079920 kB\r
 197     Node 0 Inactive:         470064 kB\r
 198     Node 0 Active(anon):     674772 kB\r
 199     Node 0 Inactive(anon):   248572 kB\r
 200     Node 0 Active(file):     405148 kB\r
 201     Node 0 Inactive(file):   221492 kB\r
 202     Node 0 Unevictable:           0 kB\r
 203     Node 0 Mlocked:               0 kB\r
 204     Node 0 Dirty:                12 kB\r
 205     Node 0 Writeback:             0 kB\r
 206     Node 0 FilePages:       1270432 kB\r
 207     Node 0 Mapped:            20116 kB\r
 208     Node 0 AnonPages:        279548 kB\r
 209     Node 0 Shmem:            643796 kB\r
 210     Node 0 KernelStack:        3376 kB\r
 211     Node 0 PageTables:         1316 kB\r
 212     Node 0 NFS_Unstable:          0 kB\r
 213     Node 0 Bounce:                0 kB\r
 214     Node 0 WritebackTmp:          0 kB\r
 215     Node 0 Slab:              80428 kB\r
 216     Node 0 SReclaimable:      38288 kB\r
 217     Node 0 SUnreclaim:        42140 kB\r
 218     Node 0 AnonHugePages:    270336 kB\r
 219     Node 0 HugePages_Total:  2048\r
 220     Node 0 HugePages_Free:   2048\r
 221     Node 0 HugePages_Surp:      0\r
 222     Node 1 MemTotal:       264237596 kB\r
 223     Node 1 MemFree:        256758976 kB\r
 224     Node 1 MemUsed:         7478620 kB\r
 225     Node 1 Active:          1746052 kB\r
 226     Node 1 Inactive:         981104 kB\r
 227     Node 1 Active(anon):    1272936 kB\r
 228     Node 1 Inactive(anon):   849968 kB\r
 229     Node 1 Active(file):     473116 kB\r
 230     Node 1 Inactive(file):   131136 kB\r
 231     Node 1 Unevictable:           0 kB\r
 232     Node 1 Mlocked:               0 kB\r
 233     Node 1 Dirty:                 0 kB\r
 234     Node 1 Writeback:             0 kB\r
 235     Node 1 FilePages:       2715284 kB\r
 236     Node 1 Mapped:            75928 kB\r
 237     Node 1 AnonPages:         11920 kB\r
 238     Node 1 Shmem:           2111036 kB\r
 239     Node 1 KernelStack:        2576 kB\r
 240     Node 1 PageTables:         1348 kB\r
 241     Node 1 NFS_Unstable:          0 kB\r
 242     Node 1 Bounce:                0 kB\r
 243     Node 1 WritebackTmp:          0 kB\r
 244     Node 1 Slab:              90604 kB\r
 245     Node 1 SReclaimable:      55384 kB\r
 246     Node 1 SUnreclaim:        35220 kB\r
 247     Node 1 AnonHugePages:      6144 kB\r
 248     Node 1 HugePages_Total:  2048\r
 249     Node 1 HugePages_Free:   2048\r
 250     Node 1 HugePages_Surp:      0\r
 251 \r
 252 **Kernel boot parameters used in CSIT performance testbeds**\r
 253 \r
 254 - **isolcpus=<cpu number>-<cpu number>** used for all cpu cores apart from\r
 255   first core of each socket used for running VPP worker threads and Qemu/LXC\r
 256   processes\r
 257   https://www.kernel.org/doc/Documentation/admin-guide/kernel-parameters.txt\r
 258 - **intel_pstate=disable** - [X86] Do not enable intel_pstate as the default\r
 259   scaling driver for the supported processors. Intel P-State driver decide what\r
 260   P-state (CPU core power state) to use based on requesting policy from the\r
 261   cpufreq core. [X86 - Either 32-bit or 64-bit x86]\r
 262   https://www.kernel.org/doc/Documentation/cpu-freq/intel-pstate.txt\r
 263 - **nohz_full=<cpu number>-<cpu number>** - [KNL,BOOT] In kernels built with\r
 264   CONFIG_NO_HZ_FULL=y, set the specified list of CPUs whose tick will be stopped\r
 265   whenever possible. The boot CPU will be forced outside the range to maintain\r
 266   the timekeeping. The CPUs in this range must also be included in the\r
 267   rcu_nocbs= set. Specifies the adaptive-ticks CPU cores, causing kernel to\r
 268   avoid sending scheduling-clock interrupts to listed cores as long as they have\r
 269   a single runnable task. [KNL - Is a kernel start-up parameter, SMP - The\r
 270   kernel is an SMP kernel].\r
 271   https://www.kernel.org/doc/Documentation/timers/NO_HZ.txt\r
 272 - **rcu_nocbs** - [KNL] In kernels built with CONFIG_RCU_NOCB_CPU=y, set the\r
 273   specified list of CPUs to be no-callback CPUs, that never queue RCU callbacks\r
 274   (read-copy update).\r
 275   https://www.kernel.org/doc/Documentation/admin-guide/kernel-parameters.txt\r
 276 \r
 277 **Applied command line boot parameters:**\r
 278 \r
 279 ::\r
 280 \r
 281     $ cat /proc/cmdline\r
 282     BOOT_IMAGE=/vmlinuz-4.4.0-72-generic root=UUID=35ea11e4-e44f-4f67-8cbe-12f09c49ed90 ro isolcpus=1-17,19-35 nohz_full=1-17,19-35 rcu_nocbs=1-17,19-35 intel_pstate=disable console=tty0 console=ttyS0,115200n8\r
 283 \r
 284 **Mount listing**\r
 285 \r
 286 ::\r
 287 \r
 288     $ cat /proc/mounts\r
 289     sysfs /sys sysfs rw,nosuid,nodev,noexec,relatime 0 0\r
 290     proc /proc proc rw,nosuid,nodev,noexec,relatime 0 0\r
 291     udev /dev devtmpfs rw,nosuid,relatime,size=264125468k,nr_inodes=66031367,mode=755 0 0\r
 292     devpts /dev/pts devpts rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000 0 0\r
 293     tmpfs /run tmpfs rw,nosuid,noexec,relatime,size=52828580k,mode=755 0 0\r
 294     /dev/sda2 / ext4 rw,relatime,errors=remount-ro,data=ordered 0 0\r
 295     securityfs /sys/kernel/security securityfs rw,nosuid,nodev,noexec,relatime 0 0\r
 296     tmpfs /dev/shm tmpfs rw,nosuid,nodev 0 0\r
 297     tmpfs /run/lock tmpfs rw,nosuid,nodev,noexec,relatime,size=5120k 0 0\r
 298     tmpfs /sys/fs/cgroup tmpfs ro,nosuid,nodev,noexec,mode=755 0 0\r
 299     cgroup /sys/fs/cgroup/systemd cgroup rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd-cgroups-agent,name=systemd 0 0\r
 300     pstore /sys/fs/pstore pstore rw,nosuid,nodev,noexec,relatime 0 0\r
 301     cgroup /sys/fs/cgroup/freezer cgroup rw,nosuid,nodev,noexec,relatime,freezer 0 0\r
 302     cgroup /sys/fs/cgroup/net_cls,net_prio cgroup rw,nosuid,nodev,noexec,relatime,net_cls,net_prio 0 0\r
 303     cgroup /sys/fs/cgroup/cpu,cpuacct cgroup rw,nosuid,nodev,noexec,relatime,cpu,cpuacct 0 0\r
 304     cgroup /sys/fs/cgroup/memory cgroup rw,nosuid,nodev,noexec,relatime,memory 0 0\r
 305     cgroup /sys/fs/cgroup/blkio cgroup rw,nosuid,nodev,noexec,relatime,blkio 0 0\r
 306     cgroup /sys/fs/cgroup/perf_event cgroup rw,nosuid,nodev,noexec,relatime,perf_event 0 0\r
 307     cgroup /sys/fs/cgroup/devices cgroup rw,nosuid,nodev,noexec,relatime,devices 0 0\r
 308     cgroup /sys/fs/cgroup/cpuset cgroup rw,nosuid,nodev,noexec,relatime,cpuset,clone_children 0 0\r
 309     cgroup /sys/fs/cgroup/hugetlb cgroup rw,nosuid,nodev,noexec,relatime,hugetlb 0 0\r
 310     cgroup /sys/fs/cgroup/pids cgroup rw,nosuid,nodev,noexec,relatime,pids 0 0\r
 311     systemd-1 /proc/sys/fs/binfmt_misc autofs rw,relatime,fd=26,pgrp=1,timeout=0,minproto=5,maxproto=5,direct 0 0\r
 312     hugetlbfs /dev/hugepages hugetlbfs rw,relatime 0 0\r
 313     debugfs /sys/kernel/debug debugfs rw,relatime 0 0\r
 314     mqueue /dev/mqueue mqueue rw,relatime 0 0\r
 315     tracefs /sys/kernel/debug/tracing tracefs rw,relatime 0 0\r
 316     fusectl /sys/fs/fuse/connections fusectl rw,relatime 0 0\r
 317     /dev/sda1 /boot ext4 rw,relatime,data=ordered 0 0\r
 318     none /mnt/huge hugetlbfs rw,relatime,pagesize=2048k 0 0\r
 319     lxcfs /var/lib/lxcfs fuse.lxcfs rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other 0 0\r
 320 \r
 321 **Package listing**\r
 322 \r
 323 ::\r
 324 \r
 325     $ dpkg -l | grep '^ii' | awk '{print $2 ": " $3}'\r
 326     accountsservice: 0.6.40-2ubuntu11.1\r
 327     acl: 2.2.52-3\r
 328     adduser: 3.113+nmu3ubuntu4\r
 329     apparmor: 2.10.95-0ubuntu2.6\r
 330     apt: 1.2.12~ubuntu16.04.1\r
 331     apt-transport-https: 1.2.24\r
 332     apt-utils: 1.2.12~ubuntu16.04.1\r
 333     aufs-tools: 1:3.2+20130722-1.1ubuntu1\r
 334     autoconf: 2.69-9\r
 335     automake: 1:1.15-4ubuntu1\r
 336     autotools-dev: 20150820.1\r
 337     base-files: 9.4ubuntu4.2\r
 338     base-passwd: 3.5.39\r
 339     bash: 4.3-14ubuntu1.1\r
 340     binutils: 2.26.1-1ubuntu1~16.04.3\r
 341     bridge-utils: 1.5-9ubuntu1\r
 342     bsdutils: 1:2.27.1-6ubuntu3.1\r
 343     build-essential: 12.1ubuntu2\r
 344     busybox-initramfs: 1:1.22.0-15ubuntu1\r
 345     busybox-static: 1:1.22.0-15ubuntu1\r
 346     bzip2: 1.0.6-8\r
 347     busybox-static: 1:1.22.0-15ubuntu1\r
 348     bzip2: 1.0.6-8\r
 349     ca-certificates: 20160104ubuntu1\r
 350     ca-certificates-java: 20160321\r
 351     cgroup-bin: 0.41-7ubuntu1\r
 352     cgroup-lite: 1.11\r
 353     cgroup-tools: 0.41-7ubuntu1\r
 354     cloud-image-utils: 0.27-0ubuntu24\r
 355     console-setup: 1.108ubuntu15.2\r
 356     console-setup-linux: 1.108ubuntu15.2\r
 357     corekeeper: 1.6\r
 358     coreutils: 8.25-2ubuntu2\r
 359     cpio: 2.11+dfsg-5ubuntu1\r
 360     cpp: 4:5.3.1-1ubuntu1\r
 361     cpp-5: 5.4.0-6ubuntu1~16.04.2\r
 362     cpu-checker: 0.7-0ubuntu7\r
 363     cpufrequtils: 008-1\r
 364     crda: 3.13-1\r
 365     cron: 3.0pl1-128ubuntu2\r
 366     crudini: 0.7-1\r
 367     dash: 0.5.8-2.1ubuntu2\r
 368     dbus: 1.10.6-1ubuntu3\r
 369     debconf: 1.5.58ubuntu1\r
 370     debconf-i18n: 1.5.58ubuntu1\r
 371     debianutils: 4.7\r
 372     debootstrap: 1.0.78+nmu1ubuntu1.3\r
 373     dh-python: 2.20151103ubuntu1.1\r
 374     diffutils: 1:3.3-3\r
 375     distro-info: 0.14build1\r
 376     distro-info-data: 0.28ubuntu0.1\r
 377     dkms: 2.2.0.3-2ubuntu11.2\r
 378     dmidecode: 3.0-2ubuntu0.1\r
 379     dns-root-data: 2015052300+h+1\r
 380     dnsmasq-base: 2.75-1ubuntu0.16.04.2\r
 381     docker-ce: 17.09.0~ce-0~ubuntu\r
 382     dpkg: 1.18.4ubuntu1.1\r
 383     dpkg-dev: 1.18.4ubuntu1.1\r
 384     e2fslibs:amd64: 1.42.13-1ubuntu1\r
 385     e2fsprogs: 1.42.13-1ubuntu1\r
 386     ebtables: 2.0.10.4-3.4ubuntu2\r
 387     eject: 2.1.5+deb1+cvs20081104-13.1\r
 388     ethtool: 1:4.5-1\r
 389     expect: 5.45-7\r
 390     fakeroot: 1.20.2-1ubuntu1\r
 391     file: 1:5.25-2ubuntu1\r
 392     findutils: 4.6.0+git+20160126-2\r
 393     fontconfig: 2.11.94-0ubuntu1.1\r
 394     fontconfig-config: 2.11.94-0ubuntu1.1\r
 395     fonts-dejavu-core: 2.35-1\r
 396     fonts-dejavu-extra: 2.35-1\r
 397     g++: 4:5.3.1-1ubuntu1\r
 398     g++-5: 5.4.0-6ubuntu1~16.04.2\r
 399     gcc: 4:5.3.1-1ubuntu1\r
 400     gcc-5: 5.4.0-6ubuntu1~16.04.2\r
 401     gcc-5-base:amd64: 5.4.0-6ubuntu1~16.04.2\r
 402     gcc-6-base:amd64: 6.0.1-0ubuntu1\r
 403     gdb: 7.11.1-0ubuntu1~16.5\r
 404     gdbserver: 7.11.1-0ubuntu1~16.5\r
 405     genisoimage: 9:1.1.11-3ubuntu1\r
 406     gettext-base: 0.19.7-2ubuntu3\r
 407     gir1.2-glib-2.0:amd64: 1.46.0-3ubuntu1\r
 408     git: 1:2.7.4-0ubuntu1\r
 409     git-man: 1:2.7.4-0ubuntu1\r
 410     gnupg: 1.4.20-1ubuntu3.1\r
 411     gpgv: 1.4.20-1ubuntu3.1\r
 412     grep: 2.25-1~16.04.1\r
 413     grub-common: 2.02~beta2-36ubuntu3.1\r
 414     grub-gfxpayload-lists: 0.7\r
 415     grub-pc: 2.02~beta2-36ubuntu3.1\r
 416     grub-pc-bin: 2.02~beta2-36ubuntu3.1\r
 417     grub2-common: 2.02~beta2-36ubuntu3.1\r
 418     gzip: 1.6-4ubuntu1\r
 419     hicolor-icon-theme: 0.15-0ubuntu1\r
 420     hostname: 3.16ubuntu2\r
 421     ifupdown: 0.8.10ubuntu1\r
 422     init: 1.29ubuntu2\r
 423     init-system-helpers: 1.29ubuntu2\r
 424     initramfs-tools: 0.122ubuntu8.1\r
 425     initramfs-tools-bin: 0.122ubuntu8.1\r
 426     initramfs-tools-core: 0.122ubuntu8.1\r
 427     initscripts: 2.88dsf-59.3ubuntu2\r
 428     insserv: 1.14.0-5ubuntu3\r
 429     installation-report: 2.60ubuntu1\r
 430     iproute2: 4.3.0-1ubuntu3\r
 431     iptables: 1.6.0-2ubuntu3\r
 432     iputils-ping: 3:20121221-5ubuntu2\r
 433     ipxe-qemu: 1.0.0+git-20150424.a25a16d-1ubuntu1\r
 434     isc-dhcp-client: 4.3.3-5ubuntu12.1\r
 435     isc-dhcp-common: 4.3.3-5ubuntu12.1\r
 436     iso-codes: 3.65-1\r
 437     iw: 3.17-1\r
 438     java-common: 0.56ubuntu2\r
 439     kbd: 1.15.5-1ubuntu4\r
 440     keyboard-configuration: 1.108ubuntu15.2\r
 441     klibc-utils: 2.0.4-8ubuntu1.16.04.1\r
 442     kmod: 22-1ubuntu4\r
 443     krb5-locales: 1.13.2+dfsg-5\r
 444     kubeadm: 1.8.4-00\r
 445     kubectl: 1.8.4-00\r
 446     kubelet: 1.8.4-00\r
 447     kubernetes-cni: 0.5.1-00\r
 448     language-selector-common: 0.165.3\r
 449     laptop-detect: 0.13.7ubuntu2\r
 450     less: 481-2.1\r
 451     libaccountsservice0:amd64: 0.6.40-2ubuntu11.1\r
 452     libacl1:amd64: 2.2.52-3\r
 453     libaio1:amd64: 0.3.110-2\r
 454     libalgorithm-diff-perl: 1.19.03-1\r
 455     libalgorithm-diff-xs-perl: 0.04-4build1\r
 456     libalgorithm-merge-perl: 0.08-3\r
 457     libapparmor-perl: 2.10.95-0ubuntu2.6\r
 458     libapparmor1:amd64: 2.10.95-0ubuntu2\r
 459     libapr1:amd64: 1.5.2-3\r
 460     libapt-inst2.0:amd64: 1.2.12~ubuntu16.04.1\r
 461     libapt-pkg5.0:amd64: 1.2.12~ubuntu16.04.1\r
 462     libasan2:amd64: 5.4.0-6ubuntu1~16.04.2\r
 463     libasn1-8-heimdal:amd64: 1.7~git20150920+dfsg-4ubuntu1\r
 464     libasound2:amd64: 1.1.0-0ubuntu1\r
 465     libasound2-data: 1.1.0-0ubuntu1\r
 466     libasprintf0v5:amd64: 0.19.7-2ubuntu3\r
 467     libasyncns0:amd64: 0.8-5build1\r
 468     libatk1.0-0:amd64: 2.18.0-1\r
 469     libatk1.0-data: 2.18.0-1\r
 470     libatm1:amd64: 1:2.5.1-1.5\r
 471     libatomic1:amd64: 5.4.0-6ubuntu1~16.04.2\r
 472     libattr1:amd64: 1:2.4.47-2\r
 473     libaudit-common: 1:2.4.5-1ubuntu2\r
 474     libaudit1:amd64: 1:2.4.5-1ubuntu2\r
 475     libavahi-client3:amd64: 0.6.32~rc+dfsg-1ubuntu2\r
 476     libavahi-common-data:amd64: 0.6.32~rc+dfsg-1ubuntu2\r
 477     libavahi-common3:amd64: 0.6.32~rc+dfsg-1ubuntu2\r
 478     libbabeltrace-ctf1:amd64: 1.3.2-1\r
 479     libbabeltrace1:amd64: 1.3.2-1\r
 480     libblkid1:amd64: 2.27.1-6ubuntu3.1\r
 481     libbluetooth3:amd64: 5.37-0ubuntu5\r
 482     libboost-iostreams1.58.0:amd64: 1.58.0+dfsg-5ubuntu3.1\r
 483     libboost-random1.58.0:amd64: 1.58.0+dfsg-5ubuntu3.1\r
 484     libboost-system1.58.0:amd64: 1.58.0+dfsg-5ubuntu3.1\r
 485     libboost-thread1.58.0:amd64: 1.58.0+dfsg-5ubuntu3.1\r
 486     libbrlapi0.6:amd64: 5.3.1-2ubuntu2.1\r
 487     libbsd0:amd64: 0.8.2-1\r
 488     libbz2-1.0:amd64: 1.0.6-8\r
 489     libc-bin: 2.23-0ubuntu3\r
 490     libc-dev-bin: 2.23-0ubuntu9\r
 491     libc6-dbg:amd64: 2.23-0ubuntu9\r
 492     libc6-dev:amd64: 2.23-0ubuntu9\r
 493     libcaca0:amd64: 0.99.beta19-2build2~gcc5.2\r
 494     libcacard0:amd64: 1:2.5.0-2\r
 495     libcairo2:amd64: 1.14.6-1\r
 496     libcap-ng0:amd64: 0.7.7-1\r
 497     libcap2:amd64: 1:2.24-12\r
 498     libcap2-bin: 1:2.24-12\r
 499     libcc1-0:amd64: 5.4.0-6ubuntu1~16.04.2\r
 500     libcgroup1:amd64: 0.41-7ubuntu1\r
 501     libcilkrts5:amd64: 5.4.0-6ubuntu1~16.04.2\r
 502     libcomerr2:amd64: 1.42.13-1ubuntu1\r
 503     libcpufreq0: 008-1\r
 504     libcryptsetup4:amd64: 2:1.6.6-5ubuntu2\r
 505     libcups2:amd64: 2.1.3-4\r
 506     libcurl3-gnutls:amd64: 7.47.0-1ubuntu2.1\r
 507     libdatrie1:amd64: 0.2.10-2\r
 508     libdb5.3:amd64: 5.3.28-11\r
 509     libdbus-1-3:amd64: 1.10.6-1ubuntu3\r
 510     libdbus-glib-1-2:amd64: 0.106-1\r
 511     libdebconfclient0:amd64: 0.198ubuntu1\r
 512     libdevmapper1.02.1:amd64: 2:1.02.110-1ubuntu10\r
 513     libdns-export162: 1:9.10.3.dfsg.P4-8ubuntu1.1\r
 514     libdpkg-perl: 1.18.4ubuntu1.1\r
 515     libdrm-amdgpu1:amd64: 2.4.67-1ubuntu0.16.04.2\r
 516     libdrm-intel1:amd64: 2.4.67-1ubuntu0.16.04.2\r
 517     libdrm-nouveau2:amd64: 2.4.67-1ubuntu0.16.04.2\r
 518     libdrm-radeon1:amd64: 2.4.67-1ubuntu0.16.04.2\r
 519     libdrm2:amd64: 2.4.67-1ubuntu0.16.04.2\r
 520     libedit2:amd64: 3.1-20150325-1ubuntu2\r
 521     libelf1:amd64: 0.165-3ubuntu1\r
 522     liberror-perl: 0.17-1.2\r
 523     libestr0: 0.1.10-1\r
 524     libexpat1:amd64: 2.1.0-7ubuntu0.16.04.2\r
 525     libexpat1-dev:amd64: 2.1.0-7ubuntu0.16.04.2\r
 526     libfakeroot:amd64: 1.20.2-1ubuntu1\r
 527     libfdisk1:amd64: 2.27.1-6ubuntu3.1\r
 528     libfdt1:amd64: 1.4.0+dfsg-2\r
 529     libffi6:amd64: 3.2.1-4\r
 530     libfile-fcntllock-perl: 0.22-3\r
 531     libflac8:amd64: 1.3.1-4\r
 532     libfontconfig1:amd64: 2.11.94-0ubuntu1.1\r
 533     libfontenc1:amd64: 1:1.1.3-1\r
 534     libfreetype6:amd64: 2.6.1-0.1ubuntu2\r
 535     libfribidi0:amd64: 0.19.7-1\r
 536     libfuse2:amd64: 2.9.4-1ubuntu3\r
 537     libgcc-5-dev:amd64: 5.4.0-6ubuntu1~16.04.2\r
 538     libgcc1:amd64: 1:6.0.1-0ubuntu1\r
 539     libgcrypt20:amd64: 1.6.5-2ubuntu0.2\r
 540     libgdbm3:amd64: 1.8.3-13.1\r
 541     libgdk-pixbuf2.0-0:amd64: 2.32.2-1ubuntu1.2\r
 542     libgdk-pixbuf2.0-common: 2.32.2-1ubuntu1.2\r
 543     libgif7:amd64: 5.1.4-0.3~16.04\r
 544     libgirepository-1.0-1:amd64: 1.46.0-3ubuntu1\r
 545     libgl1-mesa-dri:amd64: 11.2.0-1ubuntu2.2\r
 546     libgl1-mesa-glx:amd64: 11.2.0-1ubuntu2.2\r
 547     libglapi-mesa:amd64: 11.2.0-1ubuntu2.2\r
 548     libglib2.0-0:amd64: 2.48.1-1~ubuntu16.04.1\r
 549     libglib2.0-bin: 2.48.1-1~ubuntu16.04.1\r
 550     libglib2.0-data: 2.48.1-1~ubuntu16.04.1\r
 551     libglib2.0-dev: 2.48.1-1~ubuntu16.04.1\r
 552     libgmp10:amd64: 2:6.1.0+dfsg-2\r
 553     libgnutls-openssl27:amd64: 3.4.10-4ubuntu1.1\r
 554     libgnutls30:amd64: 3.4.10-4ubuntu1.1\r
 555     libgomp1:amd64: 5.4.0-6ubuntu1~16.04.2\r
 556     libgpg-error0:amd64: 1.21-2ubuntu1\r
 557     libgraphite2-3:amd64: 1.3.6-1ubuntu1\r
 558     libgssapi-krb5-2:amd64: 1.13.2+dfsg-5\r
 559     libgssapi3-heimdal:amd64: 1.7~git20150920+dfsg-4ubuntu1\r
 560     libgtk2.0-0:amd64: 2.24.30-1ubuntu1.16.04.2\r
 561     libgtk2.0-bin: 2.24.30-1ubuntu1.16.04.2\r
 562     libgtk2.0-common: 2.24.30-1ubuntu1.16.04.2\r
 563     libharfbuzz0b:amd64: 1.0.1-1ubuntu0.1\r
 564     libhcrypto4-heimdal:amd64: 1.7~git20150920+dfsg-4ubuntu1\r
 565     libheimbase1-heimdal:amd64: 1.7~git20150920+dfsg-4ubuntu1\r
 566     libheimntlm0-heimdal:amd64: 1.7~git20150920+dfsg-4ubuntu1\r
 567     libhogweed4:amd64: 3.2-1\r
 568     libhx509-5-heimdal:amd64: 1.7~git20150920+dfsg-4ubuntu1\r
 569     libice-dev:amd64: 2:1.0.9-1\r
 570     libice6:amd64: 2:1.0.9-1\r
 571     libicu55:amd64: 55.1-7\r
 572     libidn11:amd64: 1.32-3ubuntu1.1\r
 573     libisc-export160: 1:9.10.3.dfsg.P4-8ubuntu1.1\r
 574     libiscsi2:amd64: 1.12.0-2\r
 575     libisl15:amd64: 0.16.1-1\r
 576     libitm1:amd64: 5.4.0-6ubuntu1~16.04.2\r
 577     libjbig0:amd64: 2.1-3.1\r
 578     libjpeg-turbo8:amd64: 1.4.2-0ubuntu3\r
 579     libjpeg8:amd64: 8c-2ubuntu8\r
 580     libjson-c2:amd64: 0.11-4ubuntu2\r
 581     libk5crypto3:amd64: 1.13.2+dfsg-5\r
 582     libkeyutils1:amd64: 1.5.9-8ubuntu1\r
 583     libklibc: 2.0.4-8ubuntu1.16.04.1\r
 584     libkmod2:amd64: 22-1ubuntu4\r
 585     libkrb5-26-heimdal:amd64: 1.7~git20150920+dfsg-4ubuntu1\r
 586     libkrb5-3:amd64: 1.13.2+dfsg-5\r
 587     libkrb5support0:amd64: 1.13.2+dfsg-5\r
 588     liblcms2-2:amd64: 2.6-3ubuntu2\r
 589     libldap-2.4-2:amd64: 2.4.42+dfsg-2ubuntu3.1\r
 590     libllvm3.8:amd64: 1:3.8-2ubuntu4\r
 591     liblocale-gettext-perl: 1.07-1build1\r
 592     liblsan0:amd64: 5.4.0-6ubuntu1~16.04.2\r
 593     libltdl-dev:amd64: 2.4.6-0.1\r
 594     libltdl7:amd64: 2.4.6-0.1\r
 595     liblxc1: 2.0.7-0ubuntu1~16.04.2\r
 596     liblz4-1:amd64: 0.0~r131-2ubuntu2\r
 597     liblzma5:amd64: 5.1.1alpha+20120614-2ubuntu2\r
 598     libmagic1:amd64: 1:5.25-2ubuntu1\r
 599     libmnl0:amd64: 1.0.3-5\r
 600     libmount1:amd64: 2.27.1-6ubuntu3.1\r
 601     libmpc3:amd64: 1.0.3-1\r
 602     libmpdec2:amd64: 2.4.2-1\r
 603     libmpfr4:amd64: 3.1.4-1\r
 604     libmpx0:amd64: 5.4.0-6ubuntu1~16.04.2\r
 605     libncurses5:amd64: 6.0+20160213-1ubuntu1\r
 606     libncursesw5:amd64: 6.0+20160213-1ubuntu1\r
 607     libnetfilter-conntrack3:amd64: 1.0.5-1\r
 608     libnettle6:amd64: 3.2-1\r
 609     libnewt0.52:amd64: 0.52.18-1ubuntu2\r
 610     libnfnetlink0:amd64: 1.0.1-3\r
 611     libnih-dbus1:amd64: 1.0.3-4.3ubuntu1\r
 612     libnih1:amd64: 1.0.3-4.3ubuntu1\r
 613     libnl-3-200:amd64: 3.2.27-1\r
 614     libnl-genl-3-200:amd64: 3.2.27-1\r
 615     libnspr4:amd64: 2:4.12-0ubuntu0.16.04.1\r
 616     libnss3:amd64: 2:3.23-0ubuntu0.16.04.1\r
 617     libnss3-nssdb: 2:3.23-0ubuntu0.16.04.1\r
 618     libnuma-dev:amd64: 2.0.11-1ubuntu1\r
 619     libnuma1:amd64: 2.0.11-1ubuntu1\r
 620     libogg0:amd64: 1.3.2-1\r
 621     libopus0:amd64: 1.1.2-1ubuntu1\r
 622     libp11-kit0:amd64: 0.23.2-3\r
 623     libpam-cgfs: 2.0.6-0ubuntu1~16.04.1\r
 624     libpam-modules:amd64: 1.1.8-3.2ubuntu2\r
 625     libpam-modules-bin: 1.1.8-3.2ubuntu2\r
 626     libpam-runtime: 1.1.8-3.2ubuntu2\r
 627     libpam0g:amd64: 1.1.8-3.2ubuntu2\r
 628     libpango-1.0-0:amd64: 1.38.1-1\r
 629     libpangocairo-1.0-0:amd64: 1.38.1-1\r
 630     libpangoft2-1.0-0:amd64: 1.38.1-1\r
 631     libpcap-dev: 1.7.4-2\r
 632     libpcap0.8:amd64: 1.7.4-2\r
 633     libpcap0.8-dev: 1.7.4-2\r
 634     libpci3:amd64: 1:3.3.1-1.1ubuntu1\r
 635     libpciaccess0:amd64: 0.13.4-1\r
 636     libpcre16-3:amd64: 2:8.38-3.1\r
 637     libpcre3:amd64: 2:8.38-3.1\r
 638     libpcre3-dev:amd64: 2:8.38-3.1\r
 639     libpcre32-3:amd64: 2:8.38-3.1\r
 640     libpcrecpp0v5:amd64: 2:8.38-3.1\r
 641     libpcsclite1:amd64: 1.8.14-1ubuntu1.16.04.1\r
 642     libperl5.22:amd64: 5.22.1-9\r
 643     libpixman-1-0:amd64: 0.33.6-1\r
 644     libplymouth4:amd64: 0.9.2-3ubuntu13.1\r
 645     libpng12-0:amd64: 1.2.54-1ubuntu1\r
 646     libpolkit-gobject-1-0:amd64: 0.105-14.1\r
 647     libpopt0:amd64: 1.16-10\r
 648     libprocps4:amd64: 2:3.3.10-4ubuntu2\r
 649     libpthread-stubs0-dev:amd64: 0.3-4\r
 650     libpulse0:amd64: 1:8.0-0ubuntu3\r
 651     libpython-all-dev:amd64: 2.7.11-1\r
 652     libpython-dev:amd64: 2.7.11-1\r
 653     libpython-stdlib:amd64: 2.7.11-1\r
 654     libpython2.7:amd64: 2.7.12-1~16.04\r
 655     libpython2.7-dev:amd64: 2.7.12-1~16.04\r
 656     libpython2.7-minimal:amd64: 2.7.12-1~16.04\r
 657     libpython2.7-stdlib:amd64: 2.7.12-1~16.04\r
 658     libpython3-stdlib:amd64: 3.5.1-3\r
 659     libpython3.5:amd64: 3.5.2-2ubuntu0~16.04.1\r
 660     libpython3.5-minimal:amd64: 3.5.2-2ubuntu0~16.04.1\r
 661     libpython3.5-stdlib:amd64: 3.5.2-2ubuntu0~16.04.1\r
 662     libquadmath0:amd64: 5.4.0-6ubuntu1~16.04.2\r
 663     librados2: 10.2.2-0ubuntu0.16.04.2\r
 664     librbd1: 10.2.2-0ubuntu0.16.04.2\r
 665     libreadline6:amd64: 6.3-8ubuntu2\r
 666     libroken18-heimdal:amd64: 1.7~git20150920+dfsg-4ubuntu1\r
 667     librtmp1:amd64: 2.4+20151223.gitfa8646d-1build1\r
 668     libsasl2-2:amd64: 2.1.26.dfsg1-14build1\r
 669     libsasl2-modules:amd64: 2.1.26.dfsg1-14build1\r
 670     libsasl2-modules-db:amd64: 2.1.26.dfsg1-14build1\r
 671     libsdl1.2debian:amd64: 1.2.15+dfsg1-3\r
 672     libseccomp2:amd64: 2.2.3-3ubuntu3\r
 673     libselinux1:amd64: 2.4-3build2\r
 674     libsemanage-common: 2.3-1build3\r
 675     libsemanage1:amd64: 2.3-1build3\r
 676     libsepol1:amd64: 2.4-2\r
 677     libsigsegv2:amd64: 2.10-4\r
 678     libslang2:amd64: 2.3.0-2ubuntu1\r
 679     libsm-dev:amd64: 2:1.2.2-1\r
 680     libsm6:amd64: 2:1.2.2-1\r
 681     libsmartcols1:amd64: 2.27.1-6ubuntu3.1\r
 682     libsndfile1:amd64: 1.0.25-10\r
 683     libspice-server1:amd64: 0.12.6-4ubuntu0.1\r
 684     libsqlite3-0:amd64: 3.11.0-1ubuntu1\r
 685     libss2:amd64: 1.42.13-1ubuntu1\r
 686     libssl1.0.0:amd64: 1.0.2g-1ubuntu4.5\r
 687     libstdc++-5-dev:amd64: 5.4.0-6ubuntu1~16.04.2\r
 688     libstdc++6:amd64: 5.4.0-6ubuntu1~16.04.2\r
 689     libsystemd0:amd64: 229-4ubuntu10\r
 690     libtasn1-6:amd64: 4.7-3ubuntu0.16.04.1\r
 691     libtcl8.6:amd64: 8.6.5+dfsg-2\r
 692     libtext-charwidth-perl: 0.04-7build5\r
 693     libtext-iconv-perl: 1.7-5build4\r
 694     libtext-wrapi18n-perl: 0.06-7.1\r
 695     libthai-data: 0.1.24-2\r
 696     libthai0:amd64: 0.1.24-2\r
 697     libtiff5:amd64: 4.0.6-1ubuntu0.2\r
 698     libtinfo5:amd64: 6.0+20160213-1ubuntu1\r
 699     libtk8.6:amd64: 8.6.5-1\r
 700     libtool: 2.4.6-0.1\r
 701     libtsan0:amd64: 5.4.0-6ubuntu1~16.04.2\r
 702     libtxc-dxtn-s2tc0:amd64: 0~git20131104-1.1\r
 703     libubsan0:amd64: 5.4.0-6ubuntu1~16.04.2\r
 704     libudev1:amd64: 229-4ubuntu10\r
 705     libusb-0.1-4:amd64: 2:0.1.12-28\r
 706     libusb-1.0-0:amd64: 2:1.0.20-1\r
 707     libusbredirparser1:amd64: 0.7.1-1\r
 708     libustr-1.0-1:amd64: 1.0.4-5\r
 709     libutempter0:amd64: 1.1.6-3\r
 710     libuuid1:amd64: 2.27.1-6ubuntu3.1\r
 711     libvorbis0a:amd64: 1.3.5-3\r
 712     libvorbisenc2:amd64: 1.3.5-3\r
 713     libwind0-heimdal:amd64: 1.7~git20150920+dfsg-4ubuntu1\r
 714     libwrap0:amd64: 7.6.q-25\r
 715     libx11-6:amd64: 2:1.6.3-1ubuntu2\r
 716     libx11-data: 2:1.6.3-1ubuntu2\r
 717     libx11-dev:amd64: 2:1.6.3-1ubuntu2\r
 718     libx11-doc: 2:1.6.3-1ubuntu2\r
 719     libx11-xcb1:amd64: 2:1.6.3-1ubuntu2\r
 720     libxau-dev:amd64: 1:1.0.8-1\r
 721     libxau6:amd64: 1:1.0.8-1\r
 722     libxaw7:amd64: 2:1.0.13-1\r
 723     libxcb-dri2-0:amd64: 1.11.1-1ubuntu1\r
 724     libxcb-dri3-0:amd64: 1.11.1-1ubuntu1\r
 725     libxcb-glx0:amd64: 1.11.1-1ubuntu1\r
 726     libxcb-present0:amd64: 1.11.1-1ubuntu1\r
 727     libxcb-render0:amd64: 1.11.1-1ubuntu1\r
 728     libxcb-shape0:amd64: 1.11.1-1ubuntu1\r
 729     libxcb-shm0:amd64: 1.11.1-1ubuntu1\r
 730     libxcb-sync1:amd64: 1.11.1-1ubuntu1\r
 731     libxcb1:amd64: 1.11.1-1ubuntu1\r
 732     libxcb1-dev:amd64: 1.11.1-1ubuntu1\r
 733     libxcomposite1:amd64: 1:0.4.4-1\r
 734     libxcursor1:amd64: 1:1.1.14-1\r
 735     libxdamage1:amd64: 1:1.1.4-2\r
 736     libxdmcp-dev:amd64: 1:1.1.2-1.1\r
 737     libxdmcp6:amd64: 1:1.1.2-1.1\r
 738     libxen-4.6:amd64: 4.6.0-1ubuntu4.1\r
 739     libxenstore3.0:amd64: 4.6.0-1ubuntu4.1\r
 740     libxext6:amd64: 2:1.3.3-1\r
 741     libxfixes3:amd64: 1:5.0.1-2\r
 742     libxft2:amd64: 2.3.2-1\r
 743     libxi6:amd64: 2:1.7.6-1\r
 744     libxinerama1:amd64: 2:1.1.3-1\r
 745     libxml2:amd64: 2.9.3+dfsg1-1ubuntu0.1\r
 746     libxmu6:amd64: 2:1.1.2-2\r
 747     libxmuu1:amd64: 2:1.1.2-2\r
 748     libxpm4:amd64: 1:3.5.11-1\r
 749     libxrandr2:amd64: 2:1.5.0-1\r
 750     libxrender1:amd64: 1:0.9.9-0ubuntu1\r
 751     libxshmfence1:amd64: 1.2-1\r
 752     libxss1:amd64: 1:1.2.2-1\r
 753     libxt-dev:amd64: 1:1.1.5-0ubuntu1\r
 754     libxt6:amd64: 1:1.1.5-0ubuntu1\r
 755     libxtables11:amd64: 1.6.0-2ubuntu3\r
 756     libxtst6:amd64: 2:1.2.2-1\r
 757     libxv1:amd64: 2:1.0.10-1\r
 758     libxxf86dga1:amd64: 2:1.1.4-1\r
 759     libxxf86vm1:amd64: 1:1.1.4-1\r
 760     libyajl2:amd64: 2.1.0-2\r
 761     linux-base: 4.0ubuntu1\r
 762     linux-firmware: 1.157.2\r
 763     linux-generic: 4.4.0.72.78\r
 764     linux-headers-4.4.0-72: 4.4.0-72.93\r
 765     linux-headers-4.4.0-72-generic: 4.4.0-72.93\r
 766     linux-headers-generic: 4.4.0.72.78\r
 767     linux-image-4.4.0-72-generic: 4.4.0-72.93\r
 768     linux-image-extra-4.4.0-72-generic: 4.4.0-72.93\r
 769     linux-image-generic: 4.4.0.72.78\r
 770     linux-libc-dev:amd64: 4.4.0-72.93\r
 771     locales: 2.23-0ubuntu3\r
 772     login: 1:4.2-3.1ubuntu5\r
 773     logrotate: 3.8.7-2ubuntu2\r
 774     lsb-base: 9.20160110ubuntu0.2\r
 775     lsb-release: 9.20160110ubuntu0.2\r
 776     lxc: 2.0.7-0ubuntu1~16.04.2\r
 777     lxc-common: 2.0.7-0ubuntu1~16.04.2\r
 778     lxc-templates: 2.0.7-0ubuntu1~16.04.2\r
 779     lxc1: 2.0.7-0ubuntu1~16.04.2\r
 780     lxcfs: 2.0.6-0ubuntu1~16.04.1\r
 781     m4: 1.4.17-5\r
 782     make: 4.1-6\r
 783     makedev: 2.3.1-93ubuntu1\r
 784     manpages: 4.04-2\r
 785     manpages-dev: 4.04-2\r
 786     mawk: 1.3.3-17ubuntu2\r
 787     mime-support: 3.59ubuntu1\r
 788     mount: 2.27.1-6ubuntu3.1\r
 789     mountall: 2.54ubuntu1\r
 790     msr-tools: 1.3-2\r
 791     multiarch-support: 2.23-0ubuntu3\r
 792     ncurses-base: 6.0+20160213-1ubuntu1\r
 793     ncurses-bin: 6.0+20160213-1ubuntu1\r
 794     ncurses-term: 6.0+20160213-1ubuntu1\r
 795     net-tools: 1.60-26ubuntu1\r
 796     netbase: 5.3\r
 797     netcat-openbsd: 1.105-7ubuntu1\r
 798     openjdk-8-jdk:amd64: 8u131-b11-2ubuntu1.16.04.3\r
 799     openjdk-8-jdk-headless:amd64: 8u131-b11-2ubuntu1.16.04.3\r
 800     openjdk-8-jre:amd64: 8u131-b11-2ubuntu1.16.04.3\r
 801     openjdk-8-jre-headless:amd64: 8u131-b11-2ubuntu1.16.04.3\r
 802     openssh-client: 1:7.2p2-4ubuntu2.1\r
 803     openssh-server: 1:7.2p2-4ubuntu2.1\r
 804     openssh-sftp-server: 1:7.2p2-4ubuntu2.1\r
 805     openssl: 1.0.2g-1ubuntu4.5\r
 806     os-prober: 1.70ubuntu3\r
 807     passwd: 1:4.2-3.1ubuntu5\r
 808     patch: 2.7.5-1\r
 809     pciutils: 1:3.3.1-1.1ubuntu1\r
 810     perl: 5.22.1-9\r
 811     perl-base: 5.22.1-9\r
 812     perl-modules-5.22: 5.22.1-9\r
 813     pkg-config: 0.29.1-0ubuntu1\r
 814     plymouth: 0.9.2-3ubuntu13.1\r
 815     plymouth-theme-ubuntu-text: 0.9.2-3ubuntu13.1\r
 816     procps: 2:3.3.10-4ubuntu2\r
 817     python: 2.7.11-1\r
 818     python-all: 2.7.11-1\r
 819     python-all-dev: 2.7.11-1\r
 820     python-apt: 1.1.0~beta1build1\r
 821     python-apt-common: 1.1.0~beta1build1\r
 822     python-dev: 2.7.11-1\r
 823     python-iniparse: 0.4-2.2\r
 824     python-minimal: 2.7.11-1\r
 825     python-pip: 8.1.1-2ubuntu0.2\r
 826     python-pip-whl: 8.1.1-2ubuntu0.2\r
 827     python-pkg-resources: 20.7.0-1\r
 828     python-setuptools: 20.7.0-1\r
 829     python-six: 1.10.0-3\r
 830     python-virtualenv: 15.0.1+ds-3\r
 831     python-wheel: 0.29.0-1\r
 832     python2.7: 2.7.12-1~16.04\r
 833     python2.7-dev: 2.7.12-1~16.04\r
 834     python2.7-minimal: 2.7.12-1~16.04\r
 835     python3: 3.5.1-3\r
 836     python3-apt: 1.1.0~beta1build1\r
 837     python3-chardet: 2.3.0-2\r
 838     python3-dbus: 1.2.0-3\r
 839     python3-gi: 3.20.0-0ubuntu1\r
 840     python3-lxc: 2.0.7-0ubuntu1~16.04.2\r
 841     python3-minimal: 3.5.1-3\r
 842     python3-pkg-resources: 20.7.0-1\r
 843     python3-requests: 2.9.1-3\r
 844     python3-six: 1.10.0-3\r
 845     python3-urllib3: 1.13.1-2ubuntu0.16.04.1\r
 846     python3-virtualenv: 15.0.1+ds-3\r
 847     python3.5: 3.5.2-2ubuntu0~16.04.1\r
 848     python3.5-minimal: 3.5.2-2ubuntu0~16.04.1\r
 849     qemu-block-extra:amd64: 1:2.5+dfsg-5ubuntu10.5\r
 850     qemu-system-common: 1:2.5+dfsg-5ubuntu10.5\r
 851     qemu-system-x86: 1:2.5+dfsg-5ubuntu10.5\r
 852     qemu-utils: 1:2.5+dfsg-5ubuntu10.5\r
 853     readline-common: 6.3-8ubuntu2\r
 854     rename: 0.20-4\r
 855     resolvconf: 1.78ubuntu2\r
 856     rsync: 3.1.1-3ubuntu1\r
 857     rsyslog: 8.16.0-1ubuntu3\r
 858     screen: 4.3.1-2build1\r
 859     seabios: 1.8.2-1ubuntu1\r
 860     sed: 4.2.2-7\r
 861     sensible-utils: 0.0.9\r
 862     sgml-base: 1.26+nmu4ubuntu1\r
 863     shared-mime-info: 1.5-2ubuntu0.1\r
 864     sharutils: 1:4.15.2-1\r
 865     socat: 1.7.3.1-1\r
 866     ssh-import-id: 5.5-0ubuntu1\r
 867     sudo: 1.8.16-0ubuntu1.1\r
 868     systemd: 229-4ubuntu10\r
 869     systemd-sysv: 229-4ubuntu10\r
 870     sysv-rc: 2.88dsf-59.3ubuntu2\r
 871     sysvinit-utils: 2.88dsf-59.3ubuntu2\r
 872     tar: 1.28-2.1\r
 873     tasksel: 3.34ubuntu3\r
 874     tasksel-data: 3.34ubuntu3\r
 875     tcl-expect:amd64: 5.45-7\r
 876     tcl8.6: 8.6.5+dfsg-2\r
 877     tcpd: 7.6.q-25\r
 878     telnet: 0.17-40\r
 879     tk8.6: 8.6.5-1\r
 880     tzdata: 2016f-0ubuntu0.16.04\r
 881     ubuntu-keyring: 2012.05.19\r
 882     ubuntu-minimal: 1.361\r
 883     ucf: 3.0036\r
 884     udev: 229-4ubuntu10\r
 885     uidmap: 1:4.2-3.1ubuntu5.3\r
 886     ureadahead: 0.100.0-19\r
 887     usbutils: 1:007-4\r
 888     util-linux: 2.27.1-6ubuntu3.1\r
 889     uuid-runtime: 2.27.1-6ubuntu3.2\r
 890     vim-common: 2:7.4.1689-3ubuntu1.1\r
 891     vim-tiny: 2:7.4.1689-3ubuntu1.1\r
 892     virtualenv: 15.0.1+ds-3\r
 893     wamerican: 7.1-1\r
 894     wget: 1.17.1-1ubuntu1.1\r
 895     whiptail: 0.52.18-1ubuntu2\r
 896     wireless-regdb: 2015.07.20-1ubuntu1\r
 897     x11-common: 1:7.7+13ubuntu3\r
 898     x11-utils: 7.7+3\r
 899     x11proto-core-dev: 7.0.31-1~ubuntu16.04.1\r
 900     x11proto-input-dev: 2.3.1-1\r
 901     x11proto-kb-dev: 1.0.7-0ubuntu1\r
 902     xauth: 1:1.0.9-1ubuntu2\r
 903     xbitmaps: 1.1.1-2\r
 904     xdg-user-dirs: 0.15-2ubuntu6\r
 905     xkb-data: 2.16-1ubuntu1\r
 906     xml-core: 0.13+nmu2\r
 907     xorg-sgml-doctools: 1:1.11-1\r
 908     xterm: 322-1ubuntu1\r
 909     xtrans-dev: 1.3.5-1\r
 910     xz-utils: 5.1.1alpha+20120614-2ubuntu2\r
 911     zlib1g:amd64: 1:1.2.8.dfsg-2ubuntu4\r
 912     zlib1g-dev:amd64: 1:1.2.8.dfsg-2ubuntu4\r
 913 \r
 914 **Kernel module listing**\r
 915 \r
 916 ::\r
 917 \r
 918     $ lsmod | sort\r
 919     8250_fintek            16384  0\r
 920     ablk_helper            16384  1 aesni_intel\r
 921     acpi_pad               24576  0\r
 922     acpi_power_meter       20480  0\r
 923     aesni_intel           167936  0\r
 924     aes_x86_64             20480  1 aesni_intel\r
 925     ahci                   36864  0\r
 926     authenc                16384  1 intel_qat\r
 927     autofs4                40960  2\r
 928     bridge                126976  0\r
 929     coretemp               16384  0\r
 930     crc32_pclmul           16384  0\r
 931     crct10dif_pclmul       16384  0\r
 932     cryptd                 20480  3 ghash_clmulni_intel,aesni_intel,ablk_helper\r
 933     dca                    16384  2 igb,ixgbe\r
 934     edac_core              53248  1 sb_edac\r
 935     enclosure              16384  1 ses\r
 936     enic                   81920  0\r
 937     fjes                   28672  0\r
 938     fnic                  106496  0\r
 939     gf128mul               16384  1 lrw\r
 940     ghash_clmulni_intel    16384  0\r
 941     glue_helper            16384  1 aesni_intel\r
 942     hid                   118784  2 hid_generic,usbhid\r
 943     hid_generic            16384  0\r
 944     i2c_algo_bit           16384  1 igb\r
 945     i40e                  286720  0\r
 946     igb                   196608  0\r
 947     igb_uio                16384  0\r
 948     input_leds             16384  0\r
 949     intel_powerclamp       16384  0\r
 950     intel_qat             110592  2 qat_dh895xccvf,qat_dh895xcc\r
 951     intel_rapl             20480  0\r
 952     ip6_udp_tunnel         16384  1 vxlan\r
 953     ipmi_msghandler        49152  2 ipmi_ssif,ipmi_si\r
 954     ipmi_si                57344  0\r
 955     ipmi_ssif              24576  0\r
 956     iptable_filter         16384  1\r
 957     iptable_mangle         16384  1\r
 958     iptable_nat            16384  1\r
 959     ip_tables              24576  3 iptable_filter,iptable_mangle,iptable_nat\r
 960     ipt_MASQUERADE         16384  1\r
 961     irqbypass              16384  1 kvm\r
 962     ixgbe                 290816  0\r
 963     joydev                 20480  0\r
 964     kvm                   544768  1 kvm_intel\r
 965     kvm_intel             172032  0\r
 966     libahci                32768  1 ahci\r
 967     libfc                 114688  2 fnic,libfcoe\r
 968     libfcoe                65536  1 fnic\r
 969     llc                    16384  2 stp,bridge\r
 970     lpc_ich                24576  0\r
 971     lrw                    16384  1 aesni_intel\r
 972     mac_hid                16384  0\r
 973     mdio                   16384  1 ixgbe\r
 974     megaraid_sas          135168  3\r
 975     mei                    98304  1 mei_me\r
 976     mei_me                 36864  0\r
 977     Module                  Size  Used by\r
 978     nf_conntrack          106496  4 nf_nat,nf_nat_ipv4,nf_nat_masquerade_ipv4,nf_conntrack_ipv4\r
 979     nf_conntrack_ipv4      16384  1\r
 980     nf_defrag_ipv4         16384  1 nf_conntrack_ipv4\r
 981     nf_nat                 24576  2 nf_nat_ipv4,nf_nat_masquerade_ipv4\r
 982     nf_nat_ipv4            16384  1 iptable_nat\r
 983     nf_nat_masquerade_ipv4    16384  1 ipt_MASQUERADE\r
 984     pps_core               20480  1 ptp\r
 985     ptp                    20480  3 igb,i40e,ixgbe\r
 986     qat_dh895xcc           20480  0\r
 987     qat_dh895xccvf         20480  0\r
 988     sb_edac                32768  0\r
 989     scsi_transport_fc      61440  2 fnic,libfc\r
 990     ses                    20480  0\r
 991     shpchp                 36864  0\r
 992     stp                    16384  1 bridge\r
 993     udp_tunnel             16384  1 vxlan\r
 994     uio                    20480  2 uio_pci_generic,igb_uio\r
 995     uio_pci_generic        16384  0\r
 996     usbhid                 49152  0\r
 997     veth                   16384  0\r
 998     vxlan                  49152  2 i40e,ixgbe\r
 999     wmi                    20480  0\r
1000     x86_pkg_temp_thermal    16384  0\r
1001     x_tables               36864  6 xt_CHECKSUM,ip_tables,xt_tcpudp,ipt_MASQUERADE,iptable_filter,iptable_mangle\r
1002     xt_CHECKSUM            16384  1\r
1003     xt_tcpudp              16384  5\r
1004 \r
1005 **Sysctl listing**\r
1006 \r
1007 ::\r
1008 \r
1009     $ sysctl -a\r
1010     abi.vsyscall32 = 1\r
1011     debug.exception-trace = 1\r
1012     debug.kprobes-optimization = 1\r
1013     dev.cdrom.autoclose = 1\r
1014     dev.cdrom.autoeject = 0\r
1015     dev.cdrom.check_media = 0\r
1016     dev.cdrom.debug = 0\r
1017     dev.cdrom.info = CD-ROM information, Id: cdrom.c 3.20 2003/12/17\r
1018     dev.cdrom.info =\r
1019     dev.cdrom.info = drive name:\r
1020     dev.cdrom.info = drive speed:\r
1021     dev.cdrom.info = drive # of slots:\r
1022     dev.cdrom.info = Can close tray:\r
1023     dev.cdrom.info = Can open tray:\r
1024     dev.cdrom.info = Can lock tray:\r
1025     dev.cdrom.info = Can change speed:\r
1026     dev.cdrom.info = Can select disk:\r
1027     dev.cdrom.info = Can read multisession:\r
1028     dev.cdrom.info = Can read MCN:\r
1029     dev.cdrom.info = Reports media changed:\r
1030     dev.cdrom.info = Can play audio:\r
1031     dev.cdrom.info = Can write CD-R:\r
1032     dev.cdrom.info = Can write CD-RW:\r
1033     dev.cdrom.info = Can read DVD:\r
1034     dev.cdrom.info = Can write DVD-R:\r
1035     dev.cdrom.info = Can write DVD-RAM:\r
1036     dev.cdrom.info = Can read MRW:\r
1037     dev.cdrom.info = Can write MRW:\r
1038     dev.cdrom.info = Can write RAM:\r
1039     dev.cdrom.info =\r
1040     dev.cdrom.info =\r
1041     dev.cdrom.lock = 0\r
1042     dev.hpet.max-user-freq = 64\r
1043     dev.mac_hid.mouse_button2_keycode = 97\r
1044     dev.mac_hid.mouse_button3_keycode = 100\r
1045     dev.mac_hid.mouse_button_emulation = 0\r
1046     dev.raid.speed_limit_max = 200000\r
1047     dev.raid.speed_limit_min = 1000\r
1048     dev.scsi.logging_level = 0\r
1049     fs.aio-max-nr = 65536\r
1050     fs.aio-nr = 0\r
1051     fs.binfmt_misc.status = enabled\r
1052     fs.dentry-state = 69970     58326   45      0       0       0\r
1053     fs.dir-notify-enable = 1\r
1054     fs.epoll.max_user_watches = 108185784\r
1055     fs.file-max = 52706330\r
1056     fs.file-nr = 1224   0       52706330\r
1057     fs.inode-nr = 42965 369\r
1058     fs.inode-state = 42965      369     0       0       0       0       0\r
1059     fs.inotify.max_queued_events = 16384\r
1060     fs.inotify.max_user_instances = 128\r
1061     fs.inotify.max_user_watches = 8192\r
1062     fs.lease-break-time = 45\r
1063     fs.leases-enable = 1\r
1064     fs.mount-max = 100000\r
1065     fs.mqueue.msg_default = 10\r
1066     fs.mqueue.msg_max = 10\r
1067     fs.mqueue.msgsize_default = 8192\r
1068     fs.mqueue.msgsize_max = 8192\r
1069     fs.mqueue.queues_max = 256\r
1070     fs.nr_open = 1048576\r
1071     fs.overflowgid = 65534\r
1072     fs.overflowuid = 65534\r
1073     fs.pipe-max-size = 1048576\r
1074     fs.pipe-user-pages-hard = 0\r
1075     fs.pipe-user-pages-soft = 16384\r
1076     fs.protected_hardlinks = 1\r
1077     fs.protected_symlinks = 1\r
1078     fs.quota.allocated_dquots = 0\r
1079     fs.quota.cache_hits = 0\r
1080     fs.quota.drops = 0\r
1081     fs.quota.free_dquots = 0\r
1082     fs.quota.lookups = 0\r
1083     fs.quota.reads = 0\r
1084     fs.quota.syncs = 0\r
1085     fs.quota.writes = 0\r
1086     fs.suid_dumpable = 0\r
1087     kernel.acct = 4     2       30\r
1088     kernel.acpi_video_flags = 0\r
1089     kernel.auto_msgmni = 0\r
1090     kernel.bootloader_type = 114\r
1091     kernel.bootloader_version = 2\r
1092     kernel.cad_pid = 1\r
1093     kernel.cap_last_cap = 37\r
1094     kernel.compat-log = 1\r
1095     kernel.core_pattern = core\r
1096     kernel.core_pipe_limit = 0\r
1097     kernel.core_uses_pid = 0\r
1098     kernel.ctrl-alt-del = 0\r
1099     kernel.dmesg_restrict = 0\r
1100     kernel.domainname = (none)\r
1101     kernel.ftrace_dump_on_oops = 0\r
1102     kernel.ftrace_enabled = 1\r
1103     kernel.hardlockup_all_cpu_backtrace = 0\r
1104     kernel.hardlockup_panic = 0\r
1105     kernel.hostname = t2-sut1\r
1106     kernel.hotplug =\r
1107     kernel.hung_task_check_count = 4194304\r
1108     kernel.hung_task_panic = 0\r
1109     kernel.hung_task_timeout_secs = 120\r
1110     kernel.hung_task_warnings = 10\r
1111     kernel.io_delay_type = 1\r
1112     kernel.kexec_load_disabled = 0\r
1113     kernel.keys.gc_delay = 300\r
1114     kernel.keys.maxbytes = 20000\r
1115     kernel.keys.maxkeys = 200\r
1116     kernel.keys.persistent_keyring_expiry = 259200\r
1117     kernel.keys.root_maxbytes = 25000000\r
1118     kernel.keys.root_maxkeys = 1000000\r
1119     kernel.kptr_restrict = 1\r
1120     kernel.kstack_depth_to_print = 12\r
1121     kernel.max_lock_depth = 1024\r
1122     kernel.modprobe = /sbin/modprobe\r
1123     kernel.modules_disabled = 0\r
1124     kernel.moksbstate_disabled = 0\r
1125     kernel.msg_next_id = -1\r
1126     kernel.msgmax = 8192\r
1127     kernel.msgmnb = 16384\r
1128     kernel.msgmni = 32000\r
1129     kernel.ngroups_max = 65536\r
1130     kernel.nmi_watchdog = 1\r
1131     kernel.ns_last_pid = 11764\r
1132     kernel.numa_balancing = 1\r
1133     kernel.numa_balancing_scan_delay_ms = 1000\r
1134     kernel.numa_balancing_scan_period_max_ms = 60000\r
1135     kernel.numa_balancing_scan_period_min_ms = 1000\r
1136     kernel.numa_balancing_scan_size_mb = 256\r
1137     kernel.osrelease = 4.4.0-72-generic\r
1138     kernel.ostype = Linux\r
1139     kernel.overflowgid = 65534\r
1140     kernel.overflowuid = 65534\r
1141     kernel.panic = 0\r
1142     kernel.panic_on_io_nmi = 0\r
1143     kernel.panic_on_oops = 0\r
1144     kernel.panic_on_unrecovered_nmi = 0\r
1145     kernel.panic_on_warn = 0\r
1146     kernel.perf_cpu_time_max_percent = 25\r
1147     kernel.perf_event_max_sample_rate = 12500\r
1148     kernel.perf_event_mlock_kb = 516\r
1149     kernel.perf_event_paranoid = 1\r
1150     kernel.pid_max = 36864\r
1151     kernel.poweroff_cmd = /sbin/poweroff\r
1152     kernel.print-fatal-signals = 0\r
1153     kernel.printk = 4   4       1       7\r
1154     kernel.printk_delay = 0\r
1155     kernel.printk_ratelimit = 5\r
1156     kernel.printk_ratelimit_burst = 10\r
1157     kernel.pty.max = 4096\r
1158     kernel.pty.nr = 1\r
1159     kernel.pty.reserve = 1024\r
1160     kernel.random.boot_id = f683c836-6fc6-492a-a23b-62ab21895040\r
1161     kernel.random.entropy_avail = 200\r
1162     kernel.random.poolsize = 4096\r
1163     kernel.random.read_wakeup_threshold = 64\r
1164     kernel.random.urandom_min_reseed_secs = 60\r
1165     kernel.random.uuid = 144ff2ba-1bc7-4836-8fb7-6aaa0ab7e65f\r
1166     kernel.random.write_wakeup_threshold = 896\r
1167     kernel.randomize_va_space = 0\r
1168     kernel.real-root-dev = 0\r
1169     kernel.sched_autogroup_enabled = 1\r
1170     kernel.sched_cfs_bandwidth_slice_us = 5000\r
1171     kernel.sched_child_runs_first = 0\r
1172     kernel.sched_domain.cpu0.domain0.busy_factor = 32\r
1173     kernel.sched_domain.cpu0.domain0.busy_idx = 3\r
1174     kernel.sched_domain.cpu0.domain0.cache_nice_tries = 2\r
1175     kernel.sched_domain.cpu0.domain0.flags = 25647\r
1176     kernel.sched_domain.cpu0.domain0.forkexec_idx = 0\r
1177     kernel.sched_domain.cpu0.domain0.idle_idx = 2\r
1178     kernel.sched_domain.cpu0.domain0.imbalance_pct = 125\r
1179     kernel.sched_domain.cpu0.domain0.max_interval = 72\r
1180     kernel.sched_domain.cpu0.domain0.max_newidle_lb_cost = 1309\r
1181     kernel.sched_domain.cpu0.domain0.min_interval = 36\r
1182     kernel.sched_domain.cpu0.domain0.name = NUMA\r
1183     kernel.sched_domain.cpu0.domain0.newidle_idx = 0\r
1184     kernel.sched_domain.cpu0.domain0.wake_idx = 0\r
1185     kernel.sched_domain.cpu18.domain0.busy_factor = 32\r
1186     kernel.sched_domain.cpu18.domain0.busy_idx = 3\r
1187     kernel.sched_domain.cpu18.domain0.cache_nice_tries = 2\r
1188     kernel.sched_domain.cpu18.domain0.flags = 25647\r
1189     kernel.sched_domain.cpu18.domain0.forkexec_idx = 0\r
1190     kernel.sched_domain.cpu18.domain0.idle_idx = 2\r
1191     kernel.sched_domain.cpu18.domain0.imbalance_pct = 125\r
1192     kernel.sched_domain.cpu18.domain0.max_interval = 72\r
1193     kernel.sched_domain.cpu18.domain0.max_newidle_lb_cost = 2026\r
1194     kernel.sched_domain.cpu18.domain0.min_interval = 36\r
1195     kernel.sched_domain.cpu18.domain0.name = NUMA\r
1196     kernel.sched_domain.cpu18.domain0.newidle_idx = 0\r
1197     kernel.sched_domain.cpu18.domain0.wake_idx = 0\r
1198     kernel.sched_latency_ns = 24000000\r
1199     kernel.sched_migration_cost_ns = 500000\r
1200     kernel.sched_min_granularity_ns = 3000000\r
1201     kernel.sched_nr_migrate = 32\r
1202     kernel.sched_rr_timeslice_ms = 25\r
1203     kernel.sched_rt_period_us = 1000000\r
1204     kernel.sched_rt_runtime_us = 950000\r
1205     kernel.sched_shares_window_ns = 10000000\r
1206     kernel.sched_time_avg_ms = 1000\r
1207     kernel.sched_tunable_scaling = 1\r
1208     kernel.sched_wakeup_granularity_ns = 4000000\r
1209     kernel.secure_boot = 0\r
1210     kernel.sem = 32000  1024000000      500     32000\r
1211     kernel.sem_next_id = -1\r
1212     kernel.sg-big-buff = 32768\r
1213     kernel.shm_next_id = -1\r
1214     kernel.shm_rmid_forced = 0\r
1215     kernel.shmall = 18446744073692774399\r
1216     kernel.shmmax = 8589934592\r
1217     kernel.shmmni = 4096\r
1218     kernel.soft_watchdog = 1\r
1219     kernel.softlockup_all_cpu_backtrace = 0\r
1220     kernel.softlockup_panic = 0\r
1221     kernel.stack_tracer_enabled = 0\r
1222     kernel.sysctl_writes_strict = 0\r
1223     kernel.sysrq = 176\r
1224     kernel.tainted = 12288\r
1225     kernel.threads-max = 4126960\r
1226     kernel.timer_migration = 1\r
1227     kernel.traceoff_on_warning = 0\r
1228     kernel.tracepoint_printk = 0\r
1229     kernel.unknown_nmi_panic = 0\r
1230     kernel.unprivileged_bpf_disabled = 0\r
1231     kernel.unprivileged_userns_apparmor_policy = 1\r
1232     kernel.unprivileged_userns_clone = 1\r
1233     kernel.usermodehelper.bset = 4294967295     63\r
1234     kernel.usermodehelper.inheritable = 4294967295      63\r
1235     kernel.version = #93-Ubuntu SMP Fri Mar 31 14:07:41 UTC 2017\r
1236     kernel.watchdog = 1\r
1237     kernel.watchdog_cpumask = 0,18\r
1238     kernel.watchdog_thresh = 10\r
1239     kernel.yama.ptrace_scope = 1\r
1240     net.core.bpf_jit_enable = 0\r
1241     net.core.busy_poll = 0\r
1242     net.core.busy_read = 0\r
1243     net.core.default_qdisc = pfifo_fast\r
1244     net.core.dev_weight = 64\r
1245     net.core.flow_limit_cpu_bitmap = 0,00000000\r
1246     net.core.flow_limit_table_len = 4096\r
1247     net.core.max_skb_frags = 17\r
1248     net.core.message_burst = 10\r
1249     net.core.message_cost = 5\r
1250     net.core.netdev_budget = 300\r
1251     net.core.netdev_max_backlog = 1000\r
1252     net.core.netdev_rss_key = 29:61:61:e6:4e:d5:d0:a2:dc:81:6a:c8:44:1b:e2:8d:c8:6f:6a:2b:64:62:98:08:bb:63:48:8e:96:d1:6a:15:32:ca:da:8d:3c:0a:ee:a6:f8:59:be:63:33:47:e9:cf:d7:01:e3:18\r
1253     net.core.netdev_tstamp_prequeue = 1\r
1254     net.core.optmem_max = 20480\r
1255     net.core.rmem_default = 212992\r
1256     net.core.rmem_max = 212992\r
1257     net.core.rps_sock_flow_entries = 0\r
1258     net.core.somaxconn = 128\r
1259     net.core.tstamp_allow_data = 1\r
1260     net.core.warnings = 0\r
1261     net.core.wmem_default = 212992\r
1262     net.core.wmem_max = 212992\r
1263     net.core.xfrm_acq_expires = 30\r
1264     net.core.xfrm_aevent_etime = 10\r
1265     net.core.xfrm_aevent_rseqth = 2\r
1266     net.core.xfrm_larval_drop = 1\r
1267     net.fan.vxlan = 4\r
1268     net.ipv4.cipso_cache_bucket_size = 10\r
1269     net.ipv4.cipso_cache_enable = 1\r
1270     net.ipv4.cipso_rbm_optfmt = 0\r
1271     net.ipv4.cipso_rbm_strictvalid = 1\r
1272     net.ipv4.conf.all.accept_local = 0\r
1273     net.ipv4.conf.all.accept_redirects = 0\r
1274     net.ipv4.conf.all.accept_source_route = 0\r
1275     net.ipv4.conf.all.arp_accept = 0\r
1276     net.ipv4.conf.all.arp_announce = 0\r
1277     net.ipv4.conf.all.arp_filter = 0\r
1278     net.ipv4.conf.all.arp_ignore = 0\r
1279     net.ipv4.conf.all.arp_notify = 0\r
1280     net.ipv4.conf.all.bootp_relay = 0\r
1281     net.ipv4.conf.all.disable_policy = 0\r
1282     net.ipv4.conf.all.disable_xfrm = 0\r
1283     net.ipv4.conf.all.force_igmp_version = 0\r
1284     net.ipv4.conf.all.forwarding = 1\r
1285     net.ipv4.conf.all.igmpv2_unsolicited_report_interval = 10000\r
1286     net.ipv4.conf.all.igmpv3_unsolicited_report_interval = 1000\r
1287     net.ipv4.conf.all.ignore_routes_with_linkdown = 0\r
1288     net.ipv4.conf.all.log_martians = 0\r
1289     net.ipv4.conf.all.mc_forwarding = 0\r
1290     net.ipv4.conf.all.medium_id = 0\r
1291     net.ipv4.conf.all.promote_secondaries = 0\r
1292     net.ipv4.conf.all.proxy_arp = 0\r
1293     net.ipv4.conf.all.proxy_arp_pvlan = 0\r
1294     net.ipv4.conf.all.route_localnet = 0\r
1295     net.ipv4.conf.all.rp_filter = 1\r
1296     net.ipv4.conf.all.secure_redirects = 1\r
1297     net.ipv4.conf.all.send_redirects = 1\r
1298     net.ipv4.conf.all.shared_media = 1\r
1299     net.ipv4.conf.all.src_valid_mark = 0\r
1300     net.ipv4.conf.all.tag = 0\r
1301     net.ipv4.conf.default.accept_local = 0\r
1302     net.ipv4.conf.default.accept_redirects = 1\r
1303     net.ipv4.conf.default.accept_source_route = 1\r
1304     net.ipv4.conf.default.arp_accept = 0\r
1305     net.ipv4.conf.default.arp_announce = 0\r
1306     net.ipv4.conf.default.arp_filter = 0\r
1307     net.ipv4.conf.default.arp_ignore = 0\r
1308     net.ipv4.conf.default.arp_notify = 0\r
1309     net.ipv4.conf.default.bootp_relay = 0\r
1310     net.ipv4.conf.default.disable_policy = 0\r
1311     net.ipv4.conf.default.disable_xfrm = 0\r
1312     net.ipv4.conf.default.force_igmp_version = 0\r
1313     net.ipv4.conf.default.forwarding = 1\r
1314     net.ipv4.conf.default.igmpv2_unsolicited_report_interval = 10000\r
1315     net.ipv4.conf.default.igmpv3_unsolicited_report_interval = 1000\r
1316     net.ipv4.conf.default.ignore_routes_with_linkdown = 0\r
1317     net.ipv4.conf.default.log_martians = 0\r
1318     net.ipv4.conf.default.mc_forwarding = 0\r
1319     net.ipv4.conf.default.medium_id = 0\r
1320     net.ipv4.conf.default.promote_secondaries = 0\r
1321     net.ipv4.conf.default.proxy_arp = 0\r
1322     net.ipv4.conf.default.proxy_arp_pvlan = 0\r
1323     net.ipv4.conf.default.route_localnet = 0\r
1324     net.ipv4.conf.default.rp_filter = 1\r
1325     net.ipv4.conf.default.secure_redirects = 1\r
1326     net.ipv4.conf.default.send_redirects = 1\r
1327     net.ipv4.conf.default.shared_media = 1\r
1328     net.ipv4.conf.default.src_valid_mark = 0\r
1329     net.ipv4.conf.default.tag = 0\r
1330     net.ipv4.conf.enp25s0f0.accept_local = 0\r
1331     net.ipv4.conf.enp25s0f0.accept_redirects = 1\r
1332     net.ipv4.conf.enp25s0f0.accept_source_route = 1\r
1333     net.ipv4.conf.enp25s0f0.arp_accept = 0\r
1334     net.ipv4.conf.enp25s0f0.arp_announce = 0\r
1335     net.ipv4.conf.enp25s0f0.arp_filter = 0\r
1336     net.ipv4.conf.enp25s0f0.arp_ignore = 0\r
1337     net.ipv4.conf.enp25s0f0.arp_notify = 0\r
1338     net.ipv4.conf.enp25s0f0.bootp_relay = 0\r
1339     net.ipv4.conf.enp25s0f0.disable_policy = 0\r
1340     net.ipv4.conf.enp25s0f0.disable_xfrm = 0\r
1341     net.ipv4.conf.enp25s0f0.force_igmp_version = 0\r
1342     net.ipv4.conf.enp25s0f0.forwarding = 1\r
1343     net.ipv4.conf.enp25s0f0.igmpv2_unsolicited_report_interval = 10000\r
1344     net.ipv4.conf.enp25s0f0.igmpv3_unsolicited_report_interval = 1000\r
1345     net.ipv4.conf.enp25s0f0.ignore_routes_with_linkdown = 0\r
1346     net.ipv4.conf.enp25s0f0.log_martians = 0\r
1347     net.ipv4.conf.enp25s0f0.mc_forwarding = 0\r
1348     net.ipv4.conf.enp25s0f0.medium_id = 0\r
1349     net.ipv4.conf.enp25s0f0.promote_secondaries = 0\r
1350     net.ipv4.conf.enp25s0f0.proxy_arp = 0\r
1351     net.ipv4.conf.enp25s0f0.proxy_arp_pvlan = 0\r
1352     net.ipv4.conf.enp25s0f0.route_localnet = 0\r
1353     net.ipv4.conf.enp25s0f0.rp_filter = 1\r
1354     net.ipv4.conf.enp25s0f0.secure_redirects = 1\r
1355     net.ipv4.conf.enp25s0f0.send_redirects = 1\r
1356     net.ipv4.conf.enp25s0f0.shared_media = 1\r
1357     net.ipv4.conf.enp25s0f0.src_valid_mark = 0\r
1358     net.ipv4.conf.enp25s0f0.tag = 0\r
1359     net.ipv4.conf.lo.accept_local = 0\r
1360     net.ipv4.conf.lo.accept_redirects = 1\r
1361     net.ipv4.conf.lo.accept_source_route = 1\r
1362     net.ipv4.conf.lo.arp_accept = 0\r
1363     net.ipv4.conf.lo.arp_announce = 0\r
1364     net.ipv4.conf.lo.arp_filter = 0\r
1365     net.ipv4.conf.lo.arp_ignore = 0\r
1366     net.ipv4.conf.lo.arp_notify = 0\r
1367     net.ipv4.conf.lo.bootp_relay = 0\r
1368     net.ipv4.conf.lo.disable_policy = 1\r
1369     net.ipv4.conf.lo.disable_xfrm = 1\r
1370     net.ipv4.conf.lo.force_igmp_version = 0\r
1371     net.ipv4.conf.lo.forwarding = 1\r
1372     net.ipv4.conf.lo.igmpv2_unsolicited_report_interval = 10000\r
1373     net.ipv4.conf.lo.igmpv3_unsolicited_report_interval = 1000\r
1374     net.ipv4.conf.lo.ignore_routes_with_linkdown = 0\r
1375     net.ipv4.conf.lo.log_martians = 0\r
1376     net.ipv4.conf.lo.mc_forwarding = 0\r
1377     net.ipv4.conf.lo.medium_id = 0\r
1378     net.ipv4.conf.lo.promote_secondaries = 0\r
1379     net.ipv4.conf.lo.proxy_arp = 0\r
1380     net.ipv4.conf.lo.proxy_arp_pvlan = 0\r
1381     net.ipv4.conf.lo.route_localnet = 0\r
1382     net.ipv4.conf.lo.rp_filter = 0\r
1383     net.ipv4.conf.lo.secure_redirects = 1\r
1384     net.ipv4.conf.lo.send_redirects = 1\r
1385     net.ipv4.conf.lo.shared_media = 1\r
1386     net.ipv4.conf.lo.src_valid_mark = 0\r
1387     net.ipv4.conf.lo.tag = 0\r
1388     net.ipv4.conf.lxcbr0.accept_local = 0\r
1389     net.ipv4.conf.lxcbr0.accept_redirects = 1\r
1390     net.ipv4.conf.lxcbr0.accept_source_route = 1\r
1391     net.ipv4.conf.lxcbr0.arp_accept = 0\r
1392     net.ipv4.conf.lxcbr0.arp_announce = 0\r
1393     net.ipv4.conf.lxcbr0.arp_filter = 0\r
1394     net.ipv4.conf.lxcbr0.arp_ignore = 0\r
1395     net.ipv4.conf.lxcbr0.arp_notify = 0\r
1396     net.ipv4.conf.lxcbr0.bootp_relay = 0\r
1397     net.ipv4.conf.lxcbr0.disable_policy = 0\r
1398     net.ipv4.conf.lxcbr0.disable_xfrm = 0\r
1399     net.ipv4.conf.lxcbr0.force_igmp_version = 0\r
1400     net.ipv4.conf.lxcbr0.forwarding = 1\r
1401     net.ipv4.conf.lxcbr0.igmpv2_unsolicited_report_interval = 10000\r
1402     net.ipv4.conf.lxcbr0.igmpv3_unsolicited_report_interval = 1000\r
1403     net.ipv4.conf.lxcbr0.ignore_routes_with_linkdown = 0\r
1404     net.ipv4.conf.lxcbr0.log_martians = 0\r
1405     net.ipv4.conf.lxcbr0.mc_forwarding = 0\r
1406     net.ipv4.conf.lxcbr0.medium_id = 0\r
1407     net.ipv4.conf.lxcbr0.promote_secondaries = 0\r
1408     net.ipv4.conf.lxcbr0.proxy_arp = 0\r
1409     net.ipv4.conf.lxcbr0.proxy_arp_pvlan = 0\r
1410     net.ipv4.conf.lxcbr0.route_localnet = 0\r
1411     net.ipv4.conf.lxcbr0.rp_filter = 1\r
1412     net.ipv4.conf.lxcbr0.secure_redirects = 1\r
1413     net.ipv4.conf.lxcbr0.send_redirects = 1\r
1414     net.ipv4.conf.lxcbr0.shared_media = 1\r
1415     net.ipv4.conf.lxcbr0.src_valid_mark = 0\r
1416     net.ipv4.conf.lxcbr0.tag = 0\r
1417     net.ipv4.fwmark_reflect = 0\r
1418     net.ipv4.icmp_echo_ignore_all = 0\r
1419     net.ipv4.icmp_echo_ignore_broadcasts = 1\r
1420     net.ipv4.icmp_errors_use_inbound_ifaddr = 0\r
1421     net.ipv4.icmp_ignore_bogus_error_responses = 1\r
1422     net.ipv4.icmp_msgs_burst = 50\r
1423     net.ipv4.icmp_msgs_per_sec = 1000\r
1424     net.ipv4.icmp_ratelimit = 1000\r
1425     net.ipv4.icmp_ratemask = 6168\r
1426     net.ipv4.igmp_link_local_mcast_reports = 1\r
1427     net.ipv4.igmp_max_memberships = 20\r
1428     net.ipv4.igmp_max_msf = 10\r
1429     net.ipv4.igmp_qrv = 2\r
1430     net.ipv4.inet_peer_maxttl = 600\r
1431     net.ipv4.inet_peer_minttl = 120\r
1432     net.ipv4.inet_peer_threshold = 65664\r
1433     net.ipv4.ip_default_ttl = 64\r
1434     net.ipv4.ip_dynaddr = 0\r
1435     net.ipv4.ip_early_demux = 1\r
1436     net.ipv4.ip_forward = 1\r
1437     net.ipv4.ip_forward_use_pmtu = 0\r
1438     net.ipv4.ip_local_port_range = 32768        60999\r
1439     net.ipv4.ip_local_reserved_ports =\r
1440     net.ipv4.ip_no_pmtu_disc = 0\r
1441     net.ipv4.ip_nonlocal_bind = 0\r
1442     net.ipv4.ipfrag_high_thresh = 4194304\r
1443     net.ipv4.ipfrag_low_thresh = 3145728\r
1444     net.ipv4.ipfrag_max_dist = 64\r
1445     net.ipv4.ipfrag_secret_interval = 0\r
1446     net.ipv4.ipfrag_time = 30\r
1447     net.ipv4.neigh.default.anycast_delay = 100\r
1448     net.ipv4.neigh.default.app_solicit = 0\r
1449     net.ipv4.neigh.default.base_reachable_time_ms = 30000\r
1450     net.ipv4.neigh.default.delay_first_probe_time = 5\r
1451     net.ipv4.neigh.default.gc_interval = 30\r
1452     net.ipv4.neigh.default.gc_stale_time = 60\r
1453     net.ipv4.neigh.default.gc_thresh1 = 128\r
1454     net.ipv4.neigh.default.gc_thresh2 = 512\r
1455     net.ipv4.neigh.default.gc_thresh3 = 1024\r
1456     net.ipv4.neigh.default.locktime = 100\r
1457     net.ipv4.neigh.default.mcast_resolicit = 0\r
1458     net.ipv4.neigh.default.mcast_solicit = 3\r
1459     net.ipv4.neigh.default.proxy_delay = 80\r
1460     net.ipv4.neigh.default.proxy_qlen = 64\r
1461     net.ipv4.neigh.default.retrans_time_ms = 1000\r
1462     net.ipv4.neigh.default.ucast_solicit = 3\r
1463     net.ipv4.neigh.default.unres_qlen = 31\r
1464     net.ipv4.neigh.default.unres_qlen_bytes = 65536\r
1465     net.ipv4.neigh.enp25s0f0.anycast_delay = 100\r
1466     net.ipv4.neigh.enp25s0f0.app_solicit = 0\r
1467     net.ipv4.neigh.enp25s0f0.base_reachable_time_ms = 30000\r
1468     net.ipv4.neigh.enp25s0f0.delay_first_probe_time = 5\r
1469     net.ipv4.neigh.enp25s0f0.gc_stale_time = 60\r
1470     net.ipv4.neigh.enp25s0f0.locktime = 100\r
1471     net.ipv4.neigh.enp25s0f0.mcast_resolicit = 0\r
1472     net.ipv4.neigh.enp25s0f0.mcast_solicit = 3\r
1473     net.ipv4.neigh.enp25s0f0.proxy_delay = 80\r
1474     net.ipv4.neigh.enp25s0f0.proxy_qlen = 64\r
1475     net.ipv4.neigh.enp25s0f0.retrans_time_ms = 1000\r
1476     net.ipv4.neigh.enp25s0f0.ucast_solicit = 3\r
1477     net.ipv4.neigh.enp25s0f0.unres_qlen = 31\r
1478     net.ipv4.neigh.enp25s0f0.unres_qlen_bytes = 65536\r
1479     net.ipv4.neigh.lo.anycast_delay = 100\r
1480     net.ipv4.neigh.lo.app_solicit = 0\r
1481     net.ipv4.neigh.lo.base_reachable_time_ms = 30000\r
1482     net.ipv4.neigh.lo.delay_first_probe_time = 5\r
1483     net.ipv4.neigh.lo.gc_stale_time = 60\r
1484     net.ipv4.neigh.lo.locktime = 100\r
1485     net.ipv4.neigh.lo.mcast_resolicit = 0\r
1486     net.ipv4.neigh.lo.mcast_solicit = 3\r
1487     net.ipv4.neigh.lo.proxy_delay = 80\r
1488     net.ipv4.neigh.lo.proxy_qlen = 64\r
1489     net.ipv4.neigh.lo.retrans_time_ms = 1000\r
1490     net.ipv4.neigh.lo.ucast_solicit = 3\r
1491     net.ipv4.neigh.lo.unres_qlen = 31\r
1492     net.ipv4.neigh.lo.unres_qlen_bytes = 65536\r
1493     net.ipv4.neigh.lxcbr0.anycast_delay = 100\r
1494     net.ipv4.neigh.lxcbr0.app_solicit = 0\r
1495     net.ipv4.neigh.lxcbr0.base_reachable_time_ms = 30000\r
1496     net.ipv4.neigh.lxcbr0.delay_first_probe_time = 5\r
1497     net.ipv4.neigh.lxcbr0.gc_stale_time = 60\r
1498     net.ipv4.neigh.lxcbr0.locktime = 100\r
1499     net.ipv4.neigh.lxcbr0.mcast_resolicit = 0\r
1500     net.ipv4.neigh.lxcbr0.mcast_solicit = 3\r
1501     net.ipv4.neigh.lxcbr0.proxy_delay = 80\r
1502     net.ipv4.neigh.lxcbr0.proxy_qlen = 64\r
1503     net.ipv4.neigh.lxcbr0.retrans_time_ms = 1000\r
1504     net.ipv4.neigh.lxcbr0.ucast_solicit = 3\r
1505     net.ipv4.neigh.lxcbr0.unres_qlen = 31\r
1506     net.ipv4.neigh.lxcbr0.unres_qlen_bytes = 65536\r
1507     net.ipv4.ping_group_range = 1       0\r
1508     net.ipv4.route.error_burst = 1250\r
1509     net.ipv4.route.error_cost = 250\r
1510     net.ipv4.route.gc_elasticity = 8\r
1511     net.ipv4.route.gc_interval = 60\r
1512     net.ipv4.route.gc_min_interval = 0\r
1513     net.ipv4.route.gc_min_interval_ms = 500\r
1514     net.ipv4.route.gc_thresh = -1\r
1515     net.ipv4.route.gc_timeout = 300\r
1516     net.ipv4.route.max_size = 2147483647\r
1517     net.ipv4.route.min_adv_mss = 256\r
1518     net.ipv4.route.min_pmtu = 552\r
1519     net.ipv4.route.mtu_expires = 600\r
1520     net.ipv4.route.redirect_load = 5\r
1521     net.ipv4.route.redirect_number = 9\r
1522     net.ipv4.route.redirect_silence = 5120\r
1523     net.ipv4.tcp_abort_on_overflow = 0\r
1524     net.ipv4.tcp_adv_win_scale = 1\r
1525     net.ipv4.tcp_allowed_congestion_control = cubic reno\r
1526     net.ipv4.tcp_app_win = 31\r
1527     net.ipv4.tcp_autocorking = 1\r
1528     net.ipv4.tcp_available_congestion_control = cubic reno\r
1529     net.ipv4.tcp_base_mss = 1024\r
1530     net.ipv4.tcp_challenge_ack_limit = 1000\r
1531     net.ipv4.tcp_congestion_control = cubic\r
1532     net.ipv4.tcp_dsack = 1\r
1533     net.ipv4.tcp_early_retrans = 3\r
1534     net.ipv4.tcp_ecn = 2\r
1535     net.ipv4.tcp_ecn_fallback = 1\r
1536     net.ipv4.tcp_fack = 1\r
1537     net.ipv4.tcp_fastopen = 1\r
1538     net.ipv4.tcp_fastopen_key = 00000000-00000000-00000000-00000000\r
1539     net.ipv4.tcp_fin_timeout = 60\r
1540     net.ipv4.tcp_frto = 2\r
1541     net.ipv4.tcp_fwmark_accept = 0\r
1542     net.ipv4.tcp_invalid_ratelimit = 500\r
1543     net.ipv4.tcp_keepalive_intvl = 75\r
1544     net.ipv4.tcp_keepalive_probes = 9\r
1545     net.ipv4.tcp_keepalive_time = 7200\r
1546     net.ipv4.tcp_limit_output_bytes = 262144\r
1547     net.ipv4.tcp_low_latency = 0\r
1548     net.ipv4.tcp_max_orphans = 262144\r
1549     net.ipv4.tcp_max_reordering = 300\r
1550     net.ipv4.tcp_max_syn_backlog = 2048\r
1551     net.ipv4.tcp_max_tw_buckets = 262144\r
1552     net.ipv4.tcp_mem = 6188856  8251809 12377712\r
1553     net.ipv4.tcp_min_rtt_wlen = 300\r
1554     net.ipv4.tcp_min_tso_segs = 2\r
1555     net.ipv4.tcp_moderate_rcvbuf = 1\r
1556     net.ipv4.tcp_mtu_probing = 0\r
1557     net.ipv4.tcp_no_metrics_save = 0\r
1558     net.ipv4.tcp_notsent_lowat = -1\r
1559     net.ipv4.tcp_orphan_retries = 0\r
1560     net.ipv4.tcp_pacing_ca_ratio = 120\r
1561     net.ipv4.tcp_pacing_ss_ratio = 200\r
1562     net.ipv4.tcp_probe_interval = 600\r
1563     net.ipv4.tcp_probe_threshold = 8\r
1564     net.ipv4.tcp_recovery = 1\r
1565     net.ipv4.tcp_reordering = 3\r
1566     net.ipv4.tcp_retrans_collapse = 1\r
1567     net.ipv4.tcp_retries1 = 3\r
1568     net.ipv4.tcp_retries2 = 15\r
1569     net.ipv4.tcp_rfc1337 = 0\r
1570     net.ipv4.tcp_rmem = 4096    87380   6291456\r
1571     net.ipv4.tcp_sack = 1\r
1572     net.ipv4.tcp_slow_start_after_idle = 1\r
1573     net.ipv4.tcp_stdurg = 0\r
1574     net.ipv4.tcp_syn_retries = 6\r
1575     net.ipv4.tcp_synack_retries = 5\r
1576     net.ipv4.tcp_syncookies = 1\r
1577     net.ipv4.tcp_thin_dupack = 0\r
1578     net.ipv4.tcp_thin_linear_timeouts = 0\r
1579     net.ipv4.tcp_timestamps = 1\r
1580     net.ipv4.tcp_tso_win_divisor = 3\r
1581     net.ipv4.tcp_tw_recycle = 0\r
1582     net.ipv4.tcp_tw_reuse = 0\r
1583     net.ipv4.tcp_window_scaling = 1\r
1584     net.ipv4.tcp_wmem = 4096    16384   4194304\r
1585     net.ipv4.tcp_workaround_signed_windows = 0\r
1586     net.ipv4.udp_mem = 12377712 16503618        24755424\r
1587     net.ipv4.udp_rmem_min = 4096\r
1588     net.ipv4.udp_wmem_min = 4096\r
1589     net.ipv4.xfrm4_gc_thresh = 2147483647\r
1590     net.ipv6.anycast_src_echo_reply = 0\r
1591     net.ipv6.auto_flowlabels = 1\r
1592     net.ipv6.bindv6only = 0\r
1593     net.ipv6.conf.all.accept_dad = 1\r
1594     net.ipv6.conf.all.accept_ra = 1\r
1595     net.ipv6.conf.all.accept_ra_defrtr = 1\r
1596     net.ipv6.conf.all.accept_ra_from_local = 0\r
1597     net.ipv6.conf.all.accept_ra_min_hop_limit = 1\r
1598     net.ipv6.conf.all.accept_ra_mtu = 1\r
1599     net.ipv6.conf.all.accept_ra_pinfo = 1\r
1600     net.ipv6.conf.all.accept_ra_rt_info_max_plen = 0\r
1601     net.ipv6.conf.all.accept_ra_rtr_pref = 1\r
1602     net.ipv6.conf.all.accept_redirects = 1\r
1603     net.ipv6.conf.all.accept_source_route = 0\r
1604     net.ipv6.conf.all.autoconf = 1\r
1605     net.ipv6.conf.all.dad_transmits = 1\r
1606     net.ipv6.conf.all.disable_ipv6 = 0\r
1607     net.ipv6.conf.all.force_mld_version = 0\r
1608     net.ipv6.conf.all.force_tllao = 0\r
1609     net.ipv6.conf.all.forwarding = 0\r
1610     net.ipv6.conf.all.hop_limit = 64\r
1611     net.ipv6.conf.all.ignore_routes_with_linkdown = 0\r
1612     net.ipv6.conf.all.max_addresses = 16\r
1613     net.ipv6.conf.all.max_desync_factor = 600\r
1614     net.ipv6.conf.all.mc_forwarding = 0\r
1615     net.ipv6.conf.all.mldv1_unsolicited_report_interval = 10000\r
1616     net.ipv6.conf.all.mldv2_unsolicited_report_interval = 1000\r
1617     net.ipv6.conf.all.mtu = 1280\r
1618     net.ipv6.conf.all.ndisc_notify = 0\r
1619     net.ipv6.conf.all.proxy_ndp = 0\r
1620     net.ipv6.conf.all.regen_max_retry = 3\r
1621     net.ipv6.conf.all.router_probe_interval = 60\r
1622     net.ipv6.conf.all.router_solicitation_delay = 1\r
1623     net.ipv6.conf.all.router_solicitation_interval = 4\r
1624     net.ipv6.conf.all.router_solicitations = 3\r
1625     sysctl: reading key "net.ipv6.conf.all.stable_secret"\r
1626     net.ipv6.conf.all.suppress_frag_ndisc = 1\r
1627     net.ipv6.conf.all.temp_prefered_lft = 86400\r
1628     net.ipv6.conf.all.temp_valid_lft = 604800\r
1629     net.ipv6.conf.all.use_oif_addrs_only = 0\r
1630     net.ipv6.conf.all.use_tempaddr = 2\r
1631     net.ipv6.conf.default.accept_dad = 1\r
1632     net.ipv6.conf.default.accept_ra = 1\r
1633     net.ipv6.conf.default.accept_ra_defrtr = 1\r
1634     net.ipv6.conf.default.accept_ra_from_local = 0\r
1635     net.ipv6.conf.default.accept_ra_min_hop_limit = 1\r
1636     net.ipv6.conf.default.accept_ra_mtu = 1\r
1637     net.ipv6.conf.default.accept_ra_pinfo = 1\r
1638     net.ipv6.conf.default.accept_ra_rt_info_max_plen = 0\r
1639     net.ipv6.conf.default.accept_ra_rtr_pref = 1\r
1640     net.ipv6.conf.default.accept_redirects = 1\r
1641     net.ipv6.conf.default.accept_source_route = 0\r
1642     net.ipv6.conf.default.autoconf = 1\r
1643     net.ipv6.conf.default.dad_transmits = 1\r
1644     net.ipv6.conf.default.disable_ipv6 = 0\r
1645     net.ipv6.conf.default.force_mld_version = 0\r
1646     net.ipv6.conf.default.force_tllao = 0\r
1647     net.ipv6.conf.default.forwarding = 0\r
1648     net.ipv6.conf.default.hop_limit = 64\r
1649     net.ipv6.conf.default.ignore_routes_with_linkdown = 0\r
1650     net.ipv6.conf.default.max_addresses = 16\r
1651     net.ipv6.conf.default.max_desync_factor = 600\r
1652     net.ipv6.conf.default.mc_forwarding = 0\r
1653     net.ipv6.conf.default.mldv1_unsolicited_report_interval = 10000\r
1654     net.ipv6.conf.default.mldv2_unsolicited_report_interval = 1000\r
1655     net.ipv6.conf.default.mtu = 1280\r
1656     net.ipv6.conf.default.ndisc_notify = 0\r
1657     net.ipv6.conf.default.proxy_ndp = 0\r
1658     net.ipv6.conf.default.regen_max_retry = 3\r
1659     net.ipv6.conf.default.router_probe_interval = 60\r
1660     net.ipv6.conf.default.router_solicitation_delay = 1\r
1661     net.ipv6.conf.default.router_solicitation_interval = 4\r
1662     net.ipv6.conf.default.router_solicitations = 3\r
1663     sysctl: reading key "net.ipv6.conf.default.stable_secret"\r
1664     net.ipv6.conf.default.suppress_frag_ndisc = 1\r
1665     net.ipv6.conf.default.temp_prefered_lft = 86400\r
1666     net.ipv6.conf.default.temp_valid_lft = 604800\r
1667     net.ipv6.conf.default.use_oif_addrs_only = 0\r
1668     net.ipv6.conf.default.use_tempaddr = 2\r
1669     net.ipv6.conf.enp25s0f0.accept_dad = 1\r
1670     net.ipv6.conf.enp25s0f0.accept_ra = 1\r
1671     net.ipv6.conf.enp25s0f0.accept_ra_defrtr = 1\r
1672     net.ipv6.conf.enp25s0f0.accept_ra_from_local = 0\r
1673     net.ipv6.conf.enp25s0f0.accept_ra_min_hop_limit = 1\r
1674     net.ipv6.conf.enp25s0f0.accept_ra_mtu = 1\r
1675     net.ipv6.conf.enp25s0f0.accept_ra_pinfo = 1\r
1676     net.ipv6.conf.enp25s0f0.accept_ra_rt_info_max_plen = 0\r
1677     net.ipv6.conf.enp25s0f0.accept_ra_rtr_pref = 1\r
1678     net.ipv6.conf.enp25s0f0.accept_redirects = 1\r
1679     net.ipv6.conf.enp25s0f0.accept_source_route = 0\r
1680     net.ipv6.conf.enp25s0f0.autoconf = 1\r
1681     net.ipv6.conf.enp25s0f0.dad_transmits = 1\r
1682     net.ipv6.conf.enp25s0f0.disable_ipv6 = 0\r
1683     net.ipv6.conf.enp25s0f0.force_mld_version = 0\r
1684     net.ipv6.conf.enp25s0f0.force_tllao = 0\r
1685     net.ipv6.conf.enp25s0f0.forwarding = 0\r
1686     net.ipv6.conf.enp25s0f0.hop_limit = 64\r
1687     net.ipv6.conf.enp25s0f0.ignore_routes_with_linkdown = 0\r
1688     net.ipv6.conf.enp25s0f0.max_addresses = 16\r
1689     net.ipv6.conf.enp25s0f0.max_desync_factor = 600\r
1690     net.ipv6.conf.enp25s0f0.mc_forwarding = 0\r
1691     net.ipv6.conf.enp25s0f0.mldv1_unsolicited_report_interval = 10000\r
1692     net.ipv6.conf.enp25s0f0.mldv2_unsolicited_report_interval = 1000\r
1693     net.ipv6.conf.enp25s0f0.mtu = 1500\r
1694     net.ipv6.conf.enp25s0f0.ndisc_notify = 0\r
1695     net.ipv6.conf.enp25s0f0.proxy_ndp = 0\r
1696     net.ipv6.conf.enp25s0f0.regen_max_retry = 3\r
1697     net.ipv6.conf.enp25s0f0.router_probe_interval = 60\r
1698     net.ipv6.conf.enp25s0f0.router_solicitation_delay = 1\r
1699     net.ipv6.conf.enp25s0f0.router_solicitation_interval = 4\r
1700     net.ipv6.conf.enp25s0f0.router_solicitations = 3\r
1701     sysctl: reading key "net.ipv6.conf.enp25s0f0.stable_secret"\r
1702     net.ipv6.conf.enp25s0f0.suppress_frag_ndisc = 1\r
1703     net.ipv6.conf.enp25s0f0.temp_prefered_lft = 86400\r
1704     net.ipv6.conf.enp25s0f0.temp_valid_lft = 604800\r
1705     net.ipv6.conf.enp25s0f0.use_oif_addrs_only = 0\r
1706     net.ipv6.conf.enp25s0f0.use_tempaddr = 0\r
1707     net.ipv6.conf.lo.accept_dad = -1\r
1708     net.ipv6.conf.lo.accept_ra = 1\r
1709     net.ipv6.conf.lo.accept_ra_defrtr = 1\r
1710     net.ipv6.conf.lo.accept_ra_from_local = 0\r
1711     net.ipv6.conf.lo.accept_ra_min_hop_limit = 1\r
1712     net.ipv6.conf.lo.accept_ra_mtu = 1\r
1713     net.ipv6.conf.lo.accept_ra_pinfo = 1\r
1714     net.ipv6.conf.lo.accept_ra_rt_info_max_plen = 0\r
1715     net.ipv6.conf.lo.accept_ra_rtr_pref = 1\r
1716     net.ipv6.conf.lo.accept_redirects = 1\r
1717     net.ipv6.conf.lo.accept_source_route = 0\r
1718     net.ipv6.conf.lo.autoconf = 1\r
1719     net.ipv6.conf.lo.dad_transmits = 1\r
1720     net.ipv6.conf.lo.disable_ipv6 = 0\r
1721     net.ipv6.conf.lo.force_mld_version = 0\r
1722     net.ipv6.conf.lo.force_tllao = 0\r
1723     net.ipv6.conf.lo.forwarding = 0\r
1724     net.ipv6.conf.lo.hop_limit = 64\r
1725     net.ipv6.conf.lo.ignore_routes_with_linkdown = 0\r
1726     net.ipv6.conf.lo.max_addresses = 16\r
1727     net.ipv6.conf.lo.max_desync_factor = 600\r
1728     net.ipv6.conf.lo.mc_forwarding = 0\r
1729     net.ipv6.conf.lo.mldv1_unsolicited_report_interval = 10000\r
1730     net.ipv6.conf.lo.mldv2_unsolicited_report_interval = 1000\r
1731     net.ipv6.conf.lo.mtu = 65536\r
1732     net.ipv6.conf.lo.ndisc_notify = 0\r
1733     net.ipv6.conf.lo.proxy_ndp = 0\r
1734     net.ipv6.conf.lo.regen_max_retry = 3\r
1735     net.ipv6.conf.lo.router_probe_interval = 60\r
1736     net.ipv6.conf.lo.router_solicitation_delay = 1\r
1737     net.ipv6.conf.lo.router_solicitation_interval = 4\r
1738     net.ipv6.conf.lo.router_solicitations = 3\r
1739     sysctl: reading key "net.ipv6.conf.lo.stable_secret"\r
1740     net.ipv6.conf.lo.suppress_frag_ndisc = 1\r
1741     net.ipv6.conf.lo.temp_prefered_lft = 86400\r
1742     net.ipv6.conf.lo.temp_valid_lft = 604800\r
1743     net.ipv6.conf.lo.use_oif_addrs_only = 0\r
1744     net.ipv6.conf.lo.use_tempaddr = -1\r
1745     net.ipv6.conf.lxcbr0.accept_dad = 0\r
1746     net.ipv6.conf.lxcbr0.accept_ra = 1\r
1747     net.ipv6.conf.lxcbr0.accept_ra_defrtr = 1\r
1748     net.ipv6.conf.lxcbr0.accept_ra_from_local = 0\r
1749     net.ipv6.conf.lxcbr0.accept_ra_min_hop_limit = 1\r
1750     net.ipv6.conf.lxcbr0.accept_ra_mtu = 1\r
1751     net.ipv6.conf.lxcbr0.accept_ra_pinfo = 1\r
1752     net.ipv6.conf.lxcbr0.accept_ra_rt_info_max_plen = 0\r
1753     net.ipv6.conf.lxcbr0.accept_ra_rtr_pref = 1\r
1754     net.ipv6.conf.lxcbr0.accept_redirects = 1\r
1755     net.ipv6.conf.lxcbr0.accept_source_route = 0\r
1756     net.ipv6.conf.lxcbr0.autoconf = 1\r
1757     net.ipv6.conf.lxcbr0.dad_transmits = 1\r
1758     net.ipv6.conf.lxcbr0.disable_ipv6 = 0\r
1759     net.ipv6.conf.lxcbr0.force_mld_version = 0\r
1760     net.ipv6.conf.lxcbr0.force_tllao = 0\r
1761     net.ipv6.conf.lxcbr0.forwarding = 0\r
1762     net.ipv6.conf.lxcbr0.hop_limit = 64\r
1763     net.ipv6.conf.lxcbr0.ignore_routes_with_linkdown = 0\r
1764     net.ipv6.conf.lxcbr0.max_addresses = 16\r
1765     net.ipv6.conf.lxcbr0.max_desync_factor = 600\r
1766     net.ipv6.conf.lxcbr0.mc_forwarding = 0\r
1767     net.ipv6.conf.lxcbr0.mldv1_unsolicited_report_interval = 10000\r
1768     net.ipv6.conf.lxcbr0.mldv2_unsolicited_report_interval = 1000\r
1769     net.ipv6.conf.lxcbr0.mtu = 1500\r
1770     net.ipv6.conf.lxcbr0.ndisc_notify = 0\r
1771     net.ipv6.conf.lxcbr0.proxy_ndp = 0\r
1772     net.ipv6.conf.lxcbr0.regen_max_retry = 3\r
1773     net.ipv6.conf.lxcbr0.router_probe_interval = 60\r
1774     net.ipv6.conf.lxcbr0.router_solicitation_delay = 1\r
1775     net.ipv6.conf.lxcbr0.router_solicitation_interval = 4\r
1776     net.ipv6.conf.lxcbr0.router_solicitations = 3\r
1777     sysctl: reading key "net.ipv6.conf.lxcbr0.stable_secret"\r
1778     net.ipv6.conf.lxcbr0.suppress_frag_ndisc = 1\r
1779     net.ipv6.conf.lxcbr0.temp_prefered_lft = 86400\r
1780     net.ipv6.conf.lxcbr0.temp_valid_lft = 604800\r
1781     net.ipv6.conf.lxcbr0.use_oif_addrs_only = 0\r
1782     net.ipv6.conf.lxcbr0.use_tempaddr = 2\r
1783     net.ipv6.flowlabel_consistency = 1\r
1784     net.ipv6.flowlabel_state_ranges = 0\r
1785     net.ipv6.fwmark_reflect = 0\r
1786     net.ipv6.icmp.ratelimit = 1000\r
1787     net.ipv6.idgen_delay = 1\r
1788     net.ipv6.idgen_retries = 3\r
1789     net.ipv6.ip6frag_high_thresh = 4194304\r
1790     net.ipv6.ip6frag_low_thresh = 3145728\r
1791     net.ipv6.ip6frag_secret_interval = 0\r
1792     net.ipv6.ip6frag_time = 60\r
1793     net.ipv6.ip_nonlocal_bind = 0\r
1794     net.ipv6.mld_max_msf = 64\r
1795     net.ipv6.mld_qrv = 2\r
1796     net.ipv6.neigh.default.anycast_delay = 100\r
1797     net.ipv6.neigh.default.app_solicit = 0\r
1798     net.ipv6.neigh.default.base_reachable_time_ms = 30000\r
1799     net.ipv6.neigh.default.delay_first_probe_time = 5\r
1800     net.ipv6.neigh.default.gc_interval = 30\r
1801     net.ipv6.neigh.default.gc_stale_time = 60\r
1802     net.ipv6.neigh.default.gc_thresh1 = 128\r
1803     net.ipv6.neigh.default.gc_thresh2 = 512\r
1804     net.ipv6.neigh.default.gc_thresh3 = 1024\r
1805     net.ipv6.neigh.default.locktime = 0\r
1806     net.ipv6.neigh.default.mcast_resolicit = 0\r
1807     net.ipv6.neigh.default.mcast_solicit = 3\r
1808     net.ipv6.neigh.default.proxy_delay = 80\r
1809     net.ipv6.neigh.default.proxy_qlen = 64\r
1810     net.ipv6.neigh.default.retrans_time_ms = 1000\r
1811     net.ipv6.neigh.default.ucast_solicit = 3\r
1812     net.ipv6.neigh.default.unres_qlen = 31\r
1813     net.ipv6.neigh.default.unres_qlen_bytes = 65536\r
1814     net.ipv6.neigh.enp25s0f0.anycast_delay = 100\r
1815     net.ipv6.neigh.enp25s0f0.app_solicit = 0\r
1816     net.ipv6.neigh.enp25s0f0.base_reachable_time_ms = 30000\r
1817     net.ipv6.neigh.enp25s0f0.delay_first_probe_time = 5\r
1818     net.ipv6.neigh.enp25s0f0.gc_stale_time = 60\r
1819     net.ipv6.neigh.enp25s0f0.locktime = 0\r
1820     net.ipv6.neigh.enp25s0f0.mcast_resolicit = 0\r
1821     net.ipv6.neigh.enp25s0f0.mcast_solicit = 3\r
1822     net.ipv6.neigh.enp25s0f0.proxy_delay = 80\r
1823     net.ipv6.neigh.enp25s0f0.proxy_qlen = 64\r
1824     net.ipv6.neigh.enp25s0f0.retrans_time_ms = 1000\r
1825     net.ipv6.neigh.enp25s0f0.ucast_solicit = 3\r
1826     net.ipv6.neigh.enp25s0f0.unres_qlen = 31\r
1827     net.ipv6.neigh.enp25s0f0.unres_qlen_bytes = 65536\r
1828     net.ipv6.neigh.lo.anycast_delay = 100\r
1829     net.ipv6.neigh.lo.app_solicit = 0\r
1830     net.ipv6.neigh.lo.base_reachable_time_ms = 30000\r
1831     net.ipv6.neigh.lo.delay_first_probe_time = 5\r
1832     net.ipv6.neigh.lo.gc_stale_time = 60\r
1833     net.ipv6.neigh.lo.locktime = 0\r
1834     net.ipv6.neigh.lo.mcast_resolicit = 0\r
1835     net.ipv6.neigh.lo.mcast_solicit = 3\r
1836     net.ipv6.neigh.lo.proxy_delay = 80\r
1837     net.ipv6.neigh.lo.proxy_qlen = 64\r
1838     net.ipv6.neigh.lo.retrans_time_ms = 1000\r
1839     net.ipv6.neigh.lo.ucast_solicit = 3\r
1840     net.ipv6.neigh.lo.unres_qlen = 31\r
1841     net.ipv6.neigh.lo.unres_qlen_bytes = 65536\r
1842     net.ipv6.neigh.lxcbr0.anycast_delay = 100\r
1843     net.ipv6.neigh.lxcbr0.app_solicit = 0\r
1844     net.ipv6.neigh.lxcbr0.base_reachable_time_ms = 30000\r
1845     net.ipv6.neigh.lxcbr0.delay_first_probe_time = 5\r
1846     net.ipv6.neigh.lxcbr0.gc_stale_time = 60\r
1847     net.ipv6.neigh.lxcbr0.locktime = 0\r
1848     net.ipv6.neigh.lxcbr0.mcast_resolicit = 0\r
1849     net.ipv6.neigh.lxcbr0.mcast_solicit = 3\r
1850     net.ipv6.neigh.lxcbr0.proxy_delay = 80\r
1851     net.ipv6.neigh.lxcbr0.proxy_qlen = 64\r
1852     net.ipv6.neigh.lxcbr0.retrans_time_ms = 1000\r
1853     net.ipv6.neigh.lxcbr0.ucast_solicit = 3\r
1854     net.ipv6.neigh.lxcbr0.unres_qlen = 31\r
1855     net.ipv6.neigh.lxcbr0.unres_qlen_bytes = 65536\r
1856     net.ipv6.route.gc_elasticity = 9\r
1857     net.ipv6.route.gc_interval = 30\r
1858     net.ipv6.route.gc_min_interval = 0\r
1859     net.ipv6.route.gc_min_interval_ms = 500\r
1860     net.ipv6.route.gc_thresh = 1024\r
1861     net.ipv6.route.gc_timeout = 60\r
1862     net.ipv6.route.max_size = 4096\r
1863     net.ipv6.route.min_adv_mss = 1220\r
1864     net.ipv6.route.mtu_expires = 600\r
1865     net.ipv6.xfrm6_gc_thresh = 2147483647\r
1866     net.netfilter.nf_conntrack_acct = 0\r
1867     net.netfilter.nf_conntrack_buckets = 65536\r
1868     net.netfilter.nf_conntrack_checksum = 1\r
1869     net.netfilter.nf_conntrack_count = 2\r
1870     net.netfilter.nf_conntrack_events = 1\r
1871     net.netfilter.nf_conntrack_expect_max = 1024\r
1872     net.netfilter.nf_conntrack_generic_timeout = 600\r
1873     net.netfilter.nf_conntrack_helper = 1\r
1874     net.netfilter.nf_conntrack_icmp_timeout = 30\r
1875     net.netfilter.nf_conntrack_log_invalid = 0\r
1876     net.netfilter.nf_conntrack_max = 262144\r
1877     net.netfilter.nf_conntrack_tcp_be_liberal = 0\r
1878     net.netfilter.nf_conntrack_tcp_loose = 1\r
1879     net.netfilter.nf_conntrack_tcp_max_retrans = 3\r
1880     net.netfilter.nf_conntrack_tcp_timeout_close = 10\r
1881     net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60\r
1882     net.netfilter.nf_conntrack_tcp_timeout_established = 432000\r
1883     net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 120\r
1884     net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30\r
1885     net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 300\r
1886     net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 60\r
1887     net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 120\r
1888     net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120\r
1889     net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 300\r
1890     net.netfilter.nf_conntrack_timestamp = 0\r
1891     net.netfilter.nf_conntrack_udp_timeout = 30\r
1892     net.netfilter.nf_conntrack_udp_timeout_stream = 180\r
1893     net.netfilter.nf_log.0 = NONE\r
1894     net.netfilter.nf_log.1 = NONE\r
1895     net.netfilter.nf_log.10 = NONE\r
1896     net.netfilter.nf_log.11 = NONE\r
1897     net.netfilter.nf_log.12 = NONE\r
1898     net.netfilter.nf_log.2 = NONE\r
1899     net.netfilter.nf_log.3 = NONE\r
1900     net.netfilter.nf_log.4 = NONE\r
1901     net.netfilter.nf_log.5 = NONE\r
1902     net.netfilter.nf_log.6 = NONE\r
1903     net.netfilter.nf_log.7 = NONE\r
1904     net.netfilter.nf_log.8 = NONE\r
1905     net.netfilter.nf_log.9 = NONE\r
1906     net.nf_conntrack_max = 262144\r
1907     net.unix.max_dgram_qlen = 512\r
1908     vm.admin_reserve_kbytes = 8192\r
1909     vm.block_dump = 0\r
1910     vm.compact_unevictable_allowed = 1\r
1911     vm.dirty_background_bytes = 0\r
1912     vm.dirty_background_ratio = 10\r
1913     vm.dirty_bytes = 0\r
1914     vm.dirty_expire_centisecs = 3000\r
1915     vm.dirty_ratio = 20\r
1916     vm.dirty_writeback_centisecs = 500\r
1917     vm.dirtytime_expire_seconds = 43200\r
1918     vm.drop_caches = 0\r
1919     vm.extfrag_threshold = 500\r
1920     vm.hugepages_treat_as_movable = 0\r
1921     vm.hugetlb_shm_group = 0\r
1922     vm.laptop_mode = 0\r
1923     vm.legacy_va_layout = 0\r
1924     vm.lowmem_reserve_ratio = 256       256     32      1\r
1925     vm.max_map_count = 200000\r
1926     vm.memory_failure_early_kill = 0\r
1927     vm.memory_failure_recovery = 1\r
1928     vm.min_free_kbytes = 90112\r
1929     vm.min_slab_ratio = 5\r
1930     vm.min_unmapped_ratio = 1\r
1931     vm.mmap_min_addr = 65536\r
1932     vm.nr_hugepages = 4096\r
1933     vm.nr_hugepages_mempolicy = 4096\r
1934     vm.nr_overcommit_hugepages = 0\r
1935     vm.nr_pdflush_threads = 0\r
1936     vm.numa_zonelist_order = default\r
1937     vm.oom_dump_tasks = 1\r
1938     vm.oom_kill_allocating_task = 0\r
1939     vm.overcommit_kbytes = 0\r
1940     vm.overcommit_memory = 0\r
1941     vm.overcommit_ratio = 50\r
1942     vm.page-cluster = 3\r
1943     vm.panic_on_oom = 0\r
1944     vm.percpu_pagelist_fraction = 0\r
1945     vm.stat_interval = 1\r
1946     vm.swappiness = 0\r
1947     vm.user_reserve_kbytes = 131072\r
1948     vm.vfs_cache_pressure = 100\r
1949     vm.zone_reclaim_mode = 0\r
1950 \r
1951 **Services listing**\r
1952 \r
1953 ::\r
1954 \r
1955     $ service --status-all\r
1956      [ + ]  apparmor\r
1957      [ - ]  bootmisc.sh\r
1958      [ - ]  checkfs.sh\r
1959      [ - ]  checkroot-bootclean.sh\r
1960      [ - ]  checkroot.sh\r
1961      [ + ]  console-setup\r
1962      [ + ]  cpufrequtils\r
1963      [ + ]  cron\r
1964      [ + ]  dbus\r
1965      [ + ]  docker\r
1966      [ + ]  ebtables\r
1967      [ + ]  grub-common\r
1968      [ - ]  hostname.sh\r
1969      [ - ]  hwclock.sh\r
1970      [ + ]  keyboard-setup\r
1971      [ - ]  killprocs\r
1972      [ + ]  kmod\r
1973      [ + ]  loadcpufreq\r
1974      [ + ]  lxcfs\r
1975      [ - ]  mountall-bootclean.sh\r
1976      [ - ]  mountall.sh\r
1977      [ - ]  mountdevsubfs.sh\r
1978      [ - ]  mountkernfs.sh\r
1979      [ - ]  mountnfs-bootclean.sh\r
1980      [ - ]  mountnfs.sh\r
1981      [ + ]  networking\r
1982      [ - ]  ondemand\r
1983      [ - ]  plymouth\r
1984      [ - ]  plymouth-log\r
1985      [ + ]  procps\r
1986      [ + ]  qemu-kvm\r
1987      [ - ]  rc.local\r
1988      [ + ]  resolvconf\r
1989      [ - ]  rsync\r
1990      [ + ]  rsyslog\r
1991      [ - ]  screen-cleanup\r
1992      [ - ]  sendsigs\r
1993      [ + ]  ssh\r
1994      [ + ]  udev\r
1995      [ - ]  umountfs\r
1996      [ - ]  umountnfs.sh\r
1997      [ - ]  umountroot\r
1998      [ + ]  urandom\r
1999      [ - ]  uuidd\r
2000      [ - ]  x11-common\r
2001 \r
2002 **Host CFS optimizations (QEMU+VPP)**\r
2003 \r
2004 Applying CFS scheduler tuning on all Qemu vcpu worker threads (those are\r
2005 handling testpmd - pmd threads) and VPP PMD worker threads. List of VPP PMD\r
2006 threads can be obtained e.g. from:\r
2007 \r
2008 ::\r
2009 \r
2010     $ for psid in $(pgrep vpp)\r
2011     $ do\r
2012     $     for tid in $(ps -Lo tid --pid $psid | grep -v TID)\r
2013     $     do\r
2014     $         echo $tid\r
2015     $     done\r
2016     $ done\r
2017 \r
2018 Or:\r
2019 \r
2020 ::\r
2021 \r
2022     $ cat /proc/`pidof vpp`/task/*/stat | awk '{print $1" "$2" "$39}'\r
2023 \r
2024 Applying Round-robin scheduling with highest priority\r
2025 \r
2026 ::\r
2027 \r
2028     $ for psid in $(pgrep vpp)\r
2029     $ do\r
2030     $     for tid in $(ps -Lo tid --pid $psid | grep -v TID)\r
2031     $     do\r
2032     $         chrt -r -p 1 $tid\r
2033     $     done\r
2034     $ done\r
2035 \r
2036 More information about Linux CFS can be found in: `Sched manual pages\r
2037 <http://man7.org/linux/man-pages/man7/sched.7.html>`_.\r
2038 \r
2039 \r
2040 **Host IRQ affinity**\r
2041 \r
2042 Changing the default pinning of every IRQ to core 0. (Same does apply on both\r
2043 guest VM and host OS)\r
2044 \r
2045 ::\r
2046 \r
2047     $ for l in `ls /proc/irq`; do echo 1 | sudo tee /proc/irq/$l/smp_affinity; done\r
2048 \r
2049 **Host RCU affinity**\r
2050 \r
2051 Changing the default pinning of RCU to core 0. (Same does apply on both guest VM\r
2052 and host OS)\r
2053 \r
2054 ::\r
2055 \r
2056     $ for i in `pgrep rcu[^c]` ; do sudo taskset -pc 0 $i ; done\r
2057 \r
2058 **Host Writeback affinity**\r
2059 \r
2060 Changing the default pinning of writebacks to core 0. (Same does apply on both\r
2061 guest VM and host OS)\r
2062 \r
2063 ::\r
2064 \r
2065     $ echo 1 | sudo tee /sys/bus/workqueue/devices/writeback/cpumask\r
2066 \r
2067 \r
2068 DUT Configuration - VPP\r
2069 -----------------------\r
2070 \r
2071 **VPP Version**\r
2072 \r
2073 |vpp-release|\r
2074 \r
2075 **VPP Compile Parameters**\r
2076 \r
2077 `FD.io VPP compile job`_\r
2078 \r
2079 **VPP Install Parameters**\r
2080 \r
2081 ::\r
2082 \r
2083     $ dpkg -i --force-all vpp*\r
2084 \r
2085 **VPP Startup Configuration**\r
2086 \r
2087 VPP startup configuration changes per test case with different settings for CPU\r
2088 cores, rx-queues and no-multi-seg parameter. Startup config is aligned with\r
2089 applied test case tag:\r
2090 \r
2091 Tagged by **1T1C**\r
2092 \r
2093 ::\r
2094 \r
2095     unix\r
2096     {\r
2097       cli-listen localhost:5002\r
2098       log /tmp/vpe.log\r
2099       nodaemon\r
2100     }\r
2101     cpu\r
2102     {\r
2103       corelist-workers 2\r
2104       main-core 1\r
2105     }\r
2106     ip4\r
2107     {\r
2108       heap-size "4G"\r
2109     }\r
2110     ip6\r
2111     {\r
2112       heap-size "4G"\r
2113       hash-buckets "2000000"\r
2114     }\r
2115     plugins\r
2116     {\r
2117       plugin pppoe_plugin.so { disable }\r
2118       plugin kubeproxy_plugin.so { disable }\r
2119       plugin ioam_plugin.so { disable }\r
2120       plugin ila_plugin.so { disable }\r
2121       plugin stn_plugin.so { disable }\r
2122       plugin acl_plugin.so { disable }\r
2123       plugin l2e_plugin.so { disable }\r
2124       plugin sixrd_plugin.so { disable }\r
2125       plugin nat_plugin.so { disable }\r
2126       plugin ixge_plugin.so { disable }\r
2127       plugin lb_plugin.so { disable }\r
2128       plugin memif_plugin.so { disable }\r
2129       plugin gtpu_plugin.so { disable }\r
2130       plugin flowprobe_plugin.so { disable }\r
2131     }\r
2132     heapsize "4G"\r
2133     dpdk\r
2134     {\r
2135       dev 0000:88:00.1\r
2136       dev 0000:88:00.0\r
2137       no-multi-seg\r
2138       dev default\r
2139       {\r
2140         num-rx-desc 2048\r
2141         num-rx-queues 1\r
2142         num-tx-desc 2048\r
2143       }\r
2144       socket-mem "1024,1024"\r
2145       no-tx-checksum-offload\r
2146     }\r
2147 \r
2148 Tagged by **2T2C**\r
2149 \r
2150 ::\r
2151 \r
2152     unix\r
2153     {\r
2154       cli-listen localhost:5002\r
2155       log /tmp/vpe.log\r
2156       nodaemon\r
2157     }\r
2158     cpu\r
2159     {\r
2160       corelist-workers 2,3\r
2161       main-core 1\r
2162     }\r
2163     ip4\r
2164     {\r
2165       heap-size "4G"\r
2166     }\r
2167     ip6\r
2168     {\r
2169       heap-size "4G"\r
2170       hash-buckets "2000000"\r
2171     }\r
2172     plugins\r
2173     {\r
2174       plugin pppoe_plugin.so { disable }\r
2175       plugin kubeproxy_plugin.so { disable }\r
2176       plugin ioam_plugin.so { disable }\r
2177       plugin ila_plugin.so { disable }\r
2178       plugin stn_plugin.so { disable }\r
2179       plugin acl_plugin.so { disable }\r
2180       plugin l2e_plugin.so { disable }\r
2181       plugin sixrd_plugin.so { disable }\r
2182       plugin nat_plugin.so { disable }\r
2183       plugin ixge_plugin.so { disable }\r
2184       plugin lb_plugin.so { disable }\r
2185       plugin memif_plugin.so { disable }\r
2186       plugin gtpu_plugin.so { disable }\r
2187       plugin flowprobe_plugin.so { disable }\r
2188     }\r
2189     heapsize "4G"\r
2190     dpdk\r
2191     {\r
2192       dev 0000:88:00.1\r
2193       dev 0000:88:00.0\r
2194       no-multi-seg\r
2195       dev default\r
2196       {\r
2197         num-rx-desc 2048\r
2198         num-rx-queues 1\r
2199         num-tx-desc 2048\r
2200       }\r
2201       socket-mem "1024,1024"\r
2202       no-tx-checksum-offload\r
2203     }\r
2204 \r
2205 Tagged by **4T4C**\r
2206 \r
2207 ::\r
2208 \r
2209     unix\r
2210     {\r
2211       cli-listen localhost:5002\r
2212       log /tmp/vpe.log\r
2213       nodaemon\r
2214     }\r
2215     cpu\r
2216     {\r
2217       corelist-workers 2,3,4,5\r
2218       main-core 1\r
2219     }\r
2220     ip4\r
2221     {\r
2222       heap-size "4G"\r
2223     }\r
2224     ip6\r
2225     {\r
2226       heap-size "4G"\r
2227       hash-buckets "2000000"\r
2228     }\r
2229     plugins\r
2230     {\r
2231       plugin pppoe_plugin.so { disable }\r
2232       plugin kubeproxy_plugin.so { disable }\r
2233       plugin ioam_plugin.so { disable }\r
2234       plugin ila_plugin.so { disable }\r
2235       plugin stn_plugin.so { disable }\r
2236       plugin acl_plugin.so { disable }\r
2237       plugin l2e_plugin.so { disable }\r
2238       plugin sixrd_plugin.so { disable }\r
2239       plugin nat_plugin.so { disable }\r
2240       plugin ixge_plugin.so { disable }\r
2241       plugin lb_plugin.so { disable }\r
2242       plugin memif_plugin.so { disable }\r
2243       plugin gtpu_plugin.so { disable }\r
2244       plugin flowprobe_plugin.so { disable }\r
2245     }\r
2246     heapsize "4G"\r
2247     dpdk\r
2248     {\r
2249       dev 0000:88:00.1\r
2250       dev 0000:88:00.0\r
2251       no-multi-seg\r
2252       dev default\r
2253       {\r
2254         num-rx-desc 2048\r
2255         num-rx-queues 2\r
2256         num-tx-desc 2048\r
2257       }\r
2258       socket-mem "1024,1024"\r
2259       no-tx-checksum-offload\r
2260     }\r
2261 \r
2262 \r
2263 TG Configuration - TRex\r
2264 -----------------------\r
2265 \r
2266 **TG Version**\r
2267 \r
2268 |trex-release|\r
2269 \r
2270 **DPDK version**\r
2271 \r
2272 DPDK v17.11\r
2273 \r
2274 **TG Build Script used**\r
2275 \r
2276 `TRex intallation`_\r
2277 \r
2278 **TG Startup Configuration**\r
2279 \r
2280 ::\r
2281 \r
2282     $ cat /etc/trex_cfg.yaml\r
2283     - port_limit      : 2\r
2284       version         : 2\r
2285       interfaces      : ["0000:0d:00.0","0000:0d:00.1"]\r
2286       port_info       :\r
2287         - dest_mac        :   [0x3c,0xfd,0xfe,0x9c,0xee,0xf5]\r
2288           src_mac         :   [0x3c,0xfd,0xfe,0x9c,0xee,0xf4]\r
2289         - dest_mac        :   [0x3c,0xfd,0xfe,0x9c,0xee,0xf4]\r
2290           src_mac         :   [0x3c,0xfd,0xfe,0x9c,0xee,0xf5]\r
2291 \r
2292 **TG Startup Command**\r
2293 \r
2294 ::\r
2295 \r
2296     $ sh -c 'cd <t-rex-install-dir>/scripts/ && sudo nohup ./t-rex-64 -i -c 7 --iom 0 > /tmp/trex.log 2>&1 &'> /dev/null\r
2297 \r
2298 **TG common API - pointer to driver**\r
2299 \r
2300 `TRex driver`_\r