Es wird sich schätzungsweise nicht sonderlich viel nehmen, ob der Kernel beim Booten eine Ramdisk erstellt (das Basteln von einer customisierten Ramdisk kann übrigens ziemlich nervig sein, es erfordert jedenfalls recht gute Linux-Kenntnisse) und dann alles da rein mountet oder ob das System normal gebootet wird. So oder so brauchst du jedenfalls zumindest eine Bootpartition. Mit 4GB RAM sollte so etwas schon funktionieren - es gibt natürlich noch spezielle Distributionen, die noch wesentlich schlanker sind, ich ging jetzt von einem normalen Gentoo ohne GUI aus.
Abgesehen davon sind solche Spielereien mit Ubuntu so eine Sache - es ist generell leichter, ein System entsprechend zu installieren als Ubuntu aufzusetzen und dann "zurechtzufriemeln".
Ich würde mir den Aufwand sparen - ein normales Linux-System bootet von einer HDD teilweise schon in deutlich unter 20 Sekunden, mit einer SSD dürfte das so schnell gehen, dass du da kaum noch nennenswert optimieren kannst. Die Wartesekunden des Bootmanagers herunterzusetzen dürfte am meisten bringen
MfG Jimini