korrekturen.de | Korrektorat und Lektorat

Ob man es zusammenschreibt oder getrennt, hängt mit der Betonung von darunter bzw. darüber zusammen.

Ich zitiere aus:
http://www.canoo.net/spelling/darunter:Adv

Zusammenschreibung in Verbindung mit einem einfachen Verb, wenn darunter oder drunter stärker betont ist als das Verb. Dabei muss darunter auf dem u betont sein (...)

Wenn die Hauptbetonung auf der ersten Silbe von darunter liegt, wird getrennt geschrieben (...)

In deinem Fall sieht die Betonung (fett markiert) wie folgt aus:
die darüber- bzw. darunterliegenden Zahlen

Hauptbetonung liegt hier auf der zweiten Silbe von darüber bzw. darunter; ergo: Zusammenschreibung