Das Prob mit der Faxlösung kenn ich, aber bei den mir bekannten gängigen Lösungen reicht ein separater Windows-PC für die Faxanbindung, das muß nicht zwingend auf der Server-Hardware mitlaufen.
Zum Thema HW-Voraussetzungen: prinzipiell ist ein hardwareidentisches Linux-System performanter als das Windows-Pendant, da man bei Linux auf den Overhead der graphischen Oberfläche und einige weitere Komponenten verzichten kann die bei Windows einfach dazu gehören.
Einfacher zu administrieren - insbesondere bei Problemen - ist sicher das Windowssystem für die meisten, da sie sich mit dem Windows-Look-and-Feel besser auskennen bzw. zurecht kommen.
Für die Hardware - unabhängig von Windows oder Linux - gibts keine pauschale Faustformel. Es hängt mächtig von der erwarteten Last ab, Anzahl User, Anzahl Maildatenbanken, Notes-Mail oder Web Access oder Dual, Art und Anzahl weiterer Anwendungen. Auch kann ein Domino-Server unter Windows max. 2GB Speicher adressieren, wird mehr gebraucht muß partitioniert werden (ggf. Lizenzfrage) Es gibt viel zu bedenken bevor man sich da entscheidet und dazu halt mal die o.g. Checkliste machen und um weitere Punkte erweitern, die sich beispielsweise aus den Nutzungsstatistiken der alten Server gewinnen lassen.