Die Bundesverfassung regelt im Detail, wofür der Bund und die Länder in Gesetzgebung und Vollziehung der Gesetze zuständig sind. Das wirkt sich auch auf die Kontrolle aus. Art. 53 Abs. 2 B-VG legt dementsprechend fest, dass ein Untersuchungsausschuss des Nationalrates ausschließlich die Vollziehung des Bundes überprüfen darf. Art. 53 Abs. 3 B‑VG gibt dem Untersuchungsausschuss jedoch das Recht, Akten und Unterlagen von Organen des Bundes, der Länder und der Gemeinden sowie sonstigen Selbstverwaltungskörpern anzufordern.
Das Recht der Landtage, einen Untersuchungsausschuss einzusetzen, ist in den Landesverfassungen festgeschrieben. Die Landesverfassungen dürfen nur jene Bereiche regeln, die in den selbständigen Wirkungsbereich der Länder fallen. Daher kann nur vorgesehen werden, dass ein Untersuchungsausschuss Angelegenheiten der Vollziehung des Landes überprüft. Er darf weder die Tätigkeit von Bundesbehörden (z. B. der Polizei) im Bereich des Landes, noch die Tätigkeit von Organen des Landes (z. B. des Landeshauptmanns) überprüfen, wenn diese für den Bund erfolgt („mittelbare Bundesverwaltung“).
Grundsätzlich sehen alle Landesverfassungen vor, dass die Organe des Landes einem Untersuchungsausschuss Akten und Unterlagen im Rahmen des Untersuchungsgegenstands vorlegen müssen (nur in Tirol können ausschließlich Akten angefordert werden). Im Burgenland und in der Steiermark sind alle Organe vorlagepflichtig, die der Kontrolle des Landesrechnungshofs unterliegen. Oberösterreich, Salzburg und Vorarlberg verpflichten „alle öffentlichen Ämter“, also auch solche des Bundes und der Gemeinden, zur Vorlage. Ob das zulässig ist, ist in der Rechtswissenschaft jedoch umstritten. Kärnten und Niederösterreich sehen vor, dass bei Anforderungen an den Bund Einvernehmen mit diesem herzustellen ist. Auch betreffend die Ladung von Auskunftspersonen gibt es Auffassungsunterschiede darüber, ob ein Landtag die Ladung von Personen vorsehen und durchsetzen kann, die ihren Aufenthalt (Sitz) außerhalb des jeweiligen Landes haben.