Nacque da un ingegnere, Alfred, e da sua moglie Hermine Bergauer. Studiò presso un collegio militare in Moravia ricevendo una formazione prevalentemente scientifica. Nel 1897 iniziò l’addestramento di ufficiale di artiglieria presso l’accademia militare di Vienna, abbandonandola però per iscriversi a ingegneria meccanica presso l’istituto tecnico di Brno (oggi Repubblica Ceca) dove si diplomò nel 1901. Lavorò fino al 1903 presso l’istituto tecnico di Stoccarda, ma poi lasciò l’impiego per dedicarsi agli studi di filosofia presso l’università di Berlino, dove si laureò nel 1908 con una tesi su Ernst Mach (1838-1916)). Intanto aveva cominciato la sua carriera letteraria pubblicando il romanzo I turbamenti del giovane Törless, (Die Verwirrungen des Zöglings Törless). Ambientato in un collegio militare asburgico, ambiente ben conosciuto dallo scrittore, il romanzo racconta, attraverso crudi episodi sadomasochistici e avventure intellettuali il momento del passaggio dall’adolescenza alla virilità, proponendo altresì un’analisi dell’ambivalenza della vita morale e della scoperta dell’irrealtà della matematica, disciplina, quest’ultima, particolarmente coltivata nei suoi studi dallo stesso Musil. Nel 1921, per la commedia I fanatici (Die Schwärmer), ottenne il premio letterario Kleist-Preis. Nel 1924 venne pubblicata la farsa Vincenzo e l’amica di uomini illustri (Vinzenz und die Freundin bedeutender Männer) e venne anche pubblicato il ciclo di novelle Tre donne (Drei Frauen). Sempre nel 1924 venne insignito del premio dell’arte della città di Vienna. Dal 1931 al 1933 risedette a Berlino.
I primi appunti relativi all’opera principale di Musil, il romanzo incompiuto L’uomo senza qualità (Der Mann ohne Eigenschaften) si ritrovano già nei diari del 1905, se non addirittura del 1898, ma Musil cominciò a scriverlo solo nel corso degli anni Venti. Il primo volume venne pubblicato nel 1930, con grande successo e nel 1932 si costituì a Berlino una società intitolata allo scrittore per aiutarlo finanziariamente e consentirgli di completare il suo romanzo. Nel 1933 venne pubblicata la prima parte del secondo volume. Solo nel 1943 la vedova pubblicò l’ultima parte (incompiuta) dell’opera. Nel 1934 intanto era stata sciolta la società di Berlino ma nello stesso anno ne era stata fondata un’altra a Vienna. Sposato con un’ebrea, dovette nel 1933 fuggire dalla Germania ormai nazista e nel 1938 dovette abbandonare per la Svizzera anche l’Austria, annessa alla Germania.
La vicenda de L’uomo senza qualità si svolge a Vienna, ma non si può parlare, per questo romanzo, di una storia vera e propria perché manca di un inizio e di un epilogo. Si seguono comunque le vicende di un comitato politico (l’Azione parallela) che si incarica di preparare i festeggiamenti per il settantesimo anno di regno dell’imperatore d’Austria, Francesco Giuseppe. Segretario dell’Azione parallela è Ulrich, il protagonista del romanzo, un raffinato intellettuale che – come Musil stesso – ha avuto una formazione prevalentemente scientifica. È lui “l’uomo senza qualità”, non perché manchi di queste ultime (ne ha anzi fin troppe), bensì perché, nonostante la sua strenua ricerca e la sua preparazione intellettuale, non riesce a trovare uno scopo che possa dare un senso autentico alla sua esistenza.
Notevole è la sua difficoltà ad intrattenere un rapporto autentico con il mondo che lo circonda, da lui percepito come un insieme di convenzioni e di abitudini, anche intellettive, ormai obsolete e prive di fondamento. Tutto questo fa di lui un segretario quanto mai improbabile e inefficiente dell’Azione parallela, nata per celebrare un mondo ormai in pieno disfacimento come la monarchia austro-ungarica e che si scioglierà con un nulla di fatto allo scoppiare della Prima guerra mondiale. Egli rappresenta invece un’incarnazione di quella figura dell'”inetto” che caratterizza buona parte della letteratura europea del Novecento e l’esempio letterario più importante e completo di quella che verrà definita, non senza nostalgia, la Finis Austriae, cioè la fine dell’Austria.