extras/scripts/crcchecker.py

   1 #!/usr/bin/env python3
   2
   3 import sys
   4 import os
   5 import json
   6 import argparse
   7 from subprocess import run, PIPE, check_output, CalledProcessError
   8
   9 rootdir = os.path.dirname(os.path.realpath(__file__)) + '/../..'
  10
  11 def crc_from_apigen(revision, filename):
  12     if not revision and not os.path.isfile(filename):
  13         print(f'skipping: {filename}', file=sys.stderr)
  14         return {}
  15     apigen_bin = f'{rootdir}/src/tools/vppapigen/vppapigen.py'
  16     if revision:
  17         apigen = (f'{apigen_bin} --git-revision {revision} --includedir src '
  18                   f'--input {filename} CRC')
  19     else:
  20         apigen = (f'{apigen_bin} --includedir src --input {filename} CRC')
  21     rv = run(apigen.split(), stdout=PIPE, stderr=PIPE)
  22     if rv.returncode == 2: # No such file
  23         print(f'skipping: {revision}:{filename} {rv}', file=sys.stderr)
  24         return {}
  25     if rv.returncode != 0:
  26         print(f'vppapigen failed for {revision}:{filename} with command\n {apigen}\n error: {rv}',
  27               rv.stderr.decode('ascii'), file=sys.stderr)
  28         sys.exit(-2)
  29
  30     return json.loads(rv.stdout)
  31
  32
  33 def dict_compare(d1, d2):
  34     d1_keys = set(d1.keys())
  35     d2_keys = set(d2.keys())
  36     intersect_keys = d1_keys.intersection(d2_keys)
  37     added = d1_keys - d2_keys
  38     removed = d2_keys - d1_keys
  39     modified = {o: (d1[o], d2[o]) for o in intersect_keys if d1[o]['crc'] != d2[o]['crc']}
  40     same = set(o for o in intersect_keys if d1[o] == d2[o])
  41     return added, removed, modified, same
  42
  43
  44 def filelist_from_git_ls():
  45     filelist = []
  46     git_ls = 'git ls-files *.api'
  47     rv = run(git_ls.split(), stdout=PIPE, stderr=PIPE)
  48     if rv.returncode != 0:
  49         sys.exit(rv.returncode)
  50
  51     for l in rv.stdout.decode('ascii').split('\n'):
  52         if len(l):
  53             filelist.append(l)
  54     return filelist
  55
  56
  57 def is_uncommitted_changes():
  58     git_status = 'git status --porcelain -uno'
  59     rv = run(git_status.split(), stdout=PIPE, stderr=PIPE)
  60     if rv.returncode != 0:
  61         sys.exit(rv.returncode)
  62
  63     if len(rv.stdout):
  64         return True
  65     return False
  66
  67
  68 def filelist_from_git_grep(filename):
  69     filelist = []
  70     try:
  71         rv = check_output(f'git grep -e "import .*{filename}" -- *.api', shell=True)
  72     except CalledProcessError as err:
  73         return []
  74         print('RV', err.returncode)
  75     for l in rv.decode('ascii').split('\n'):
  76         if l:
  77             f, p = l.split(':')
  78             filelist.append(f)
  79     return filelist
  80
  81
  82 def filelist_from_patchset():
  83     filelist = []
  84     git_cmd = '((git diff HEAD~1.. --name-only;git ls-files -m) | sort -u)'
  85     rv = check_output(git_cmd, shell=True)
  86     for l in rv.decode('ascii').split('\n'):
  87         if len(l) and os.path.splitext(l)[1] == '.api':
  88             filelist.append(l)
  89
  90     # Check for dependencies (imports)
  91     imported_files = []
  92     for f in filelist:
  93         imported_files.extend(filelist_from_git_grep(os.path.basename(f)))
  94
  95     filelist.extend(imported_files)
  96     return set(filelist)
  97
  98 def is_deprecated(d, k):
  99     if 'options' in d[k] and 'deprecated' in d[k]['options']:
 100         return True
 101     return False
 102
 103 def is_in_progress(d, k):
 104     try:
 105         if d[k]['options']['status'] == 'in_progress':
 106             return True
 107     except:
 108         return False
 109
 110 def report(new, old):
 111     added, removed, modified, same = dict_compare(new, old)
 112     backwards_incompatible = 0
 113     for k in added:
 114         print(f'added: {k}')
 115     for k in removed:
 116         oldversion = int(old[k]['version'])
 117         if oldversion > 0 and not is_deprecated(old, k) and not is_in_progress(old, k):
 118             backwards_incompatible += 1
 119             print(f'removed: ** {k}')
 120         else:
 121             print(f'removed: {k}')
 122     for k in modified.keys():
 123         oldversion = int(old[k]['version'])
 124         newversion = int(new[k]['version'])
 125         if oldversion > 0 and not is_in_progress(old, k):
 126             backwards_incompatible += 1
 127             print(f'modified: ** {k}')
 128         else:
 129             print(f'modified: {k}')
 130
 131     # check which messages are still there but were marked for deprecation
 132     for k in new.keys():
 133         newversion = int(new[k]['version'])
 134         if newversion > 0 and is_deprecated(new, k):
 135             if k in old:
 136                 if not is_deprecated(old, k):
 137                     print(f'deprecated: {k}')
 138             else:
 139                 print(f'added+deprecated: {k}')
 140
 141     return backwards_incompatible
 142
 143
 144 def main():
 145     parser = argparse.ArgumentParser(description='VPP CRC checker.')
 146     parser.add_argument('--git-revision',
 147                         help='Git revision to compare against')
 148     parser.add_argument('--dump-manifest', action='store_true',
 149                         help='Dump CRC for all messages')
 150     parser.add_argument('--check-patchset', action='store_true',
 151                         help='Dump CRC for all messages')
 152     parser.add_argument('files', nargs='*')
 153     parser.add_argument('--diff', help='Files to compare (on filesystem)', nargs=2)
 154
 155     args = parser.parse_args()
 156
 157     if args.diff and args.files:
 158         parser.print_help()
 159         sys.exit(-1)
 160
 161     # Diff two files
 162     if args.diff:
 163         oldcrcs = crc_from_apigen(None, args.diff[0])
 164         newcrcs = crc_from_apigen(None, args.diff[1])
 165         backwards_incompatible = report(newcrcs, oldcrcs)
 166         sys.exit(0)
 167
 168     # Dump CRC for messages in given files / revision
 169     if args.dump_manifest:
 170         files = args.files if args.files else filelist_from_git_ls()
 171         crcs = {}
 172         for f in files:
 173             crcs.update(crc_from_apigen(args.git_revision, f))
 174         for k, v in crcs.items():
 175             print(f'{k}: {v}')
 176         sys.exit(0)
 177
 178     # Find changes between current patchset and given revision (previous)
 179     if args.check_patchset:
 180         if args.git_revision:
 181             print('Argument git-revision ignored', file=sys.stderr)
 182         # Check there are no uncomitted changes
 183         if is_uncommitted_changes():
 184             print('Please stash or commit changes in workspace', file=sys.stderr)
 185             sys.exit(-1)
 186         files = filelist_from_patchset()
 187     else:
 188         # Find changes between current workspace and revision
 189         # Find changes between a given file and a revision
 190         files = args.files if args.files else filelist_from_git_ls()
 191
 192     revision = args.git_revision if args.git_revision else 'HEAD~1'
 193
 194     oldcrcs = {}
 195     newcrcs = {}
 196     for f in files:
 197         newcrcs.update(crc_from_apigen(None, f))
 198         oldcrcs.update(crc_from_apigen(revision, f))
 199
 200     backwards_incompatible = report(newcrcs, oldcrcs)
 201
 202     if args.check_patchset:
 203         if backwards_incompatible:
 204             # alert on changing production API
 205             print("crcchecker: Changing production APIs in an incompatible way", file=sys.stderr)
 206             sys.exit(-1)
 207         else:
 208             print('*' * 67)
 209             print('* VPP CHECKAPI SUCCESSFULLY COMPLETED')
 210             print('*' * 67)
 211
 212 if __name__ == '__main__':
 213     main()