Support query parameters (it can be probably used for incremental checkouts).
authorFrantišek Dvořák <valtri@civ.zcu.cz>
Thu, 5 Mar 2015 20:47:21 +0000 (21:47 +0100)
committerFrantišek Dvořák <valtri@civ.zcu.cz>
Thu, 5 Mar 2015 20:47:21 +0000 (21:47 +0100)
jobs.py

diff --git a/jobs.py b/jobs.py
index d6ebdce..b1f52fb 100755 (executable)
--- a/jobs.py
+++ b/jobs.py
@@ -37,6 +37,7 @@ dbuser = 'hadoop'
 dbpassword = ''
 debug=0
 ssl=0
+query=''
 host=socket.getfqdn()
 id = None
 
@@ -93,7 +94,7 @@ def gen_url(base_url, port_nossl, port_ssl):
 
 
 try:
-       opts, args = getopt.getopt(sys.argv[1:], 'hb:c:d:j:m:y:s', ['help', 'base=', 'config=', 'db', 'dbhost=', 'dbname=', 'dbuser=', 'dbpassword=', 'debug=', 'jobid=', 'mapred=', 'yarn=', 'ssl'])
+       opts, args = getopt.getopt(sys.argv[1:], 'hb:c:d:j:m:y:sq:', ['help', 'base=', 'config=', 'db', 'dbhost=', 'dbname=', 'dbuser=', 'dbpassword=', 'debug=', 'jobid=', 'mapred=', 'yarn=', 'ssl', 'query='])
 except getopt.GetoptError:
        print 'Args error'
        sys.exit(2)
@@ -113,8 +114,8 @@ OPTIONS are:\n\
   -j, --jobid ....... single job query istead of list all\n\
   -m, --mapred URL .. MapReduce Job History server\n\
   -y, --yarn URL .... YARN Resource Manager\n\
-  -s, --ssl ......... enable default SSL schema and ports"
-
+  -s, --ssl ......... enable default SSL schema and ports\n\
+  -q, --query ....... initial query parameter (only if -j is not used)"
                sys.exit(0)
        elif opt in ('-b', '--base'):
                host = arg
@@ -164,6 +165,8 @@ OPTIONS are:\n\
                base_yarn_url = arg
        elif opt in ('-s', '--ssl'):
                ssl=1
+       elif opt in ('-q', '--query'):
+               query='?%s' % arg
        else:
                print 'Args error'
                sys.exit(2)
@@ -217,11 +220,11 @@ if id:
                counter += 1
        if debug >= 1: print '[YARN] %d jobs' % counter
 else:
-       mapred_url = base_mapred_url + '/ws/v1/history/mapreduce/jobs'
-       yarn_url = base_yarn_url + '/ws/v1/cluster/apps'
+       mapred_url = base_mapred_url + '/ws/v1/history/mapreduce/jobs' + query
+       yarn_url = base_yarn_url + '/ws/v1/cluster/apps' + query
 
-       j1 = get_rest(base_mapred_url, '/ws/v1/history/mapreduce/jobs')
-       j2 = get_rest(base_yarn_url, '/ws/v1/cluster/apps')
+       j1 = get_rest(mapred_url, '')
+       j2 = get_rest(yarn_url, '')
 
        counter = 0
        if j1["jobs"]: