table buildreqeusts should have an explicit id
[~helmut/crossqa.git] / build.py
1 #!/usr/bin/python3
2 # SPDX-License-Identifier: GPL-2.0+
3
4 import argparse
5 import collections
6 import contextlib
7 import datetime
8 import lzma
9 import os.path
10 import sqlite3
11 import subprocess
12 import time
13
14 from common import decompress_stream, yield_lines, yield_chunks
15
16 def scan_log_status(filelike):
17     it = yield_chunks(filelike)
18     it = decompress_stream(it, lzma.LZMADecompressor())
19     it = yield_lines(it)
20     last_lines = collections.deque(it, 25)
21     status = [l.split(b':', 1)[1].strip()
22               for l in last_lines if l.startswith(b"Status:")]
23     if status:
24         return status[0].decode("ascii")
25     return "unknown"
26
27
28 def do_build(source, version, architecture, server):
29     now = datetime.datetime.utcnow().replace(microsecond=0)
30     logtarget = "%s_%s_%s_%s.log.xz" % (source, version, architecture,
31                                         now.strftime("%Y%m%d%H%M%S"))
32     cmdline = ["ssh", server, "sh", "/dev/stdin", architecture,
33                "%s_%s" % (source, version)]
34     with open(os.path.join("logs", logtarget), "w+b") as output:
35         with open("build.sh", "rb") as instructions:
36             code = subprocess.call(cmdline, stdin=instructions, stdout=output)
37         output.seek(0)
38         status = scan_log_status(output)
39         print("status %s code %d" % (status, code))
40     return (now, code == 0, logtarget, status == "given-back")
41
42 def main():
43     argp = argparse.ArgumentParser()
44     argp.add_argument("server", help="machine to build on")
45     args = argp.parse_args()
46     db = sqlite3.connect("db", detect_types=sqlite3.PARSE_DECLTYPES)
47     with contextlib.closing(db.cursor()) as cur:
48         cur.execute("""
49             SELECT d.source, d.version, d.architecture, r.id
50                 FROM depstate AS d
51                     JOIN buildrequests AS r
52                         ON d.architecture = ifnull(r.architecture, d.architecture)
53                             AND d.source = r.source
54                     JOIN depcheck
55                         ON d.architecture = depcheck.architecture
56                 WHERE d.satisfiable = 1 AND depcheck.giveback = 0
57                 ORDER BY r.priority DESC, r.requesttime ASC, random()
58                 LIMIT 1;""")
59         row = cur.fetchone()
60         if not row:
61             cur.execute("""
62                 SELECT source, version, depstate.architecture, NULL
63                     FROM depstate JOIN depcheck
64                         ON depstate.architecture = depcheck.architecture
65                     WHERE satisfiable = 1 AND giveback = 0
66                     ORDER BY random() LIMIT 1;""")
67             row = cur.fetchone()
68     if not row:
69         print("no package satisfiable")
70         time.sleep(60)
71         return
72     source, version, architecture, requestid = row
73     print("building %s_%s for %s%s" %
74           (source, version, architecture,
75            "" if requestid is None else " (request %d)" % requestid))
76     timestamp, success, filename, giveback = \
77         do_build(source, version, architecture, args.server)
78     with contextlib.closing(db.cursor()) as cur:
79         cur.execute("INSERT INTO builds (source, version, architecture, success, starttime, filename) VALUES (?, ?, ?, ?, ?, ?);",
80                     (source, version, architecture, success, timestamp,
81                      filename))
82         if requestid is not None:
83             cur.execute("DELETE FROM buildrequests WHERE id = ?;",
84                         (requestid,))
85         if giveback:
86             cur.execute("UPDATE depcheck SET giveback = 1 WHERE architecture = ?;",
87                         (architecture,))
88     db.commit()
89
90 if __name__ == "__main__":
91     main()