失敗によりラフマニノフは神経衰弱ならびに完全な自信喪失となり、ほとんど作曲ができない状態に陥ってしまった。この間、彼はサーヴァ・マモントフの主宰する私設オペラの第二指揮者に就任し、主に演奏活動にいそしんだ。マモントフ・オペラではフョードル・シャリアピンと知り合い、生涯の友情を結んだ。シャリアピンの結婚式では介添人の一人として立ち会った。
この頃、彼の落胆を心配した知人の仲介により、レフ・トルストイと会見する機会に恵まれた。ラフマニノフはシャリャーピンを伴ってトルストイの自宅を訪ね、交響曲第1番の初演以降に作曲した数少ない作品の一つである歌曲「運命」（後に作品21の1として出版された）を披露した。しかしこのベートーヴェンの交響曲第5番に基づく作品は老作家の不興を買い、ラフマニノフはさらに深く傷つくことになってしまった。
ラフマニノフは1895年に交響曲第1番を完成させた。2年後の1897年にはアレクサンドル・グラズノフの指揮によりペテルブルクで初演されたが、これは記録的な大失敗に終わった。特にツェーザリ・キュイが「エジプトの七つの苦悩」に例えて容赦なくこき下ろしたのはよく知られている。この曲はラフマニノフの存命中は二度と演奏されることはなかった。
失敗の原因として、グラズノフの指揮が放漫でオーケストラをまとめ切れていなかったという可能性を指摘されている。サーチン家の人々はこの時グラズノフは酒に酔っていたと証言している。作曲家の身内による証言であることを割り引いて考える必要はあるが、グラズノフの普段の素行からすればあながちあり得ないことではないともいわれる。
1891年に18歳でモスクワ音楽院ピアノ科を大金メダルを得て卒業した。金メダルは通例、首席卒業生に与えられたが、当時双璧をなしていたラフマニノフとスクリャービンは、どちらも飛びぬけて優秀であったことから、金メダルをそれぞれ首席、次席として分け合った（スクリャービンは、小金メダル）。同年ピアノ協奏曲第1番を完成した。
1892年には同院作曲科を卒業。卒業制作として歌劇『アレコ』を17日間で書き上げ、金メダルを受領した。同年10月8日（ユリウス暦では9月26日）にモスクワ電気博覧会で前奏曲嬰ハ短調を初演。この曲は熱狂的な人気を獲得し、ラフマニノフの代名詞的な存在になった。
翌1893年5月9日（ユリウス暦では4月27日）には『アレコ』がボリショイ劇場で上演された。同年11月6日にチャイコフスキーが亡くなると、追悼のために悲しみの三重奏曲第2番を作曲した。
ズヴェーレフは弟子たちにピアノ演奏以外のことに興味を持つことを禁じていたが、作曲への衝動を抑えきれなかったラフマニノフはやがて師と対立し、ズヴェーレフ邸を出ることになった。彼は父方の伯母の嫁ぎ先に当たるサーチン家に身を寄せ、そこで未来の妻となるナターリアと出会った。この後彼は毎年夏にタンボフ州イワノフカにあるサーチン家の別荘を訪れて快適な日々を過ごすのが恒例となった。
ズヴェーレフは厳格な指導で知られるピアノ教師で、ラフマニノフにピアノ演奏の基礎を叩き込んだ。ズヴェーレフ邸には多くの著名な音楽家が訪れ、特に彼はピョートル・チャイコフスキーに才能を認められ、目をかけられた。モスクワ音楽院ではアントン・アレンスキーに和声を、セルゲイ・タネーエフに対位法を学んだ。後にはジロティにもピアノを学んだ。同級にはアレクサンドル・スクリャービンがいた。
彼は教科書の間にスケート靴を隠して出かけるような不良学生で、12歳の時に全ての学科の試験で落第するという事態に陥った。悩んだ母はセルゲイにとって従兄に当たるピアニストのアレクサンドル・ジロティに相談し、彼の勧めでセルゲイはモスクワ音楽院に転入し、ニコライ・ズヴェーレフの家に寄宿しながらピアノを学ぶことになった。
4歳の時に母から最初のピアノの手ほどきを受けた。その後彼のためにピアノ教師としてペテルブルクからアンナ・オルナーツカヤが呼び寄せられ、レッスンを受けた。9歳の時ついに一家は破産し、オネグの所領は競売にかけられ、ペテルブルクに移住した。まもなく両親は離婚し、父は家族の元を去っていった。セルゲイは音楽の才能を認められ、奨学金を得てペテルブルグ音楽院の幼年クラスに入学することができた。
1873年4月1日（ユリウス暦では3月20日）、ノヴゴロド州セミョノヴォに生まれ、同州オネグに育った。父母ともに裕福な貴族の家系の出身で、父方の祖父はジョン・フィールドに師事したこともあるアマチュアのピアニスト、母方の祖父は著名な軍人だった。両親とも音楽の素養のある人物だったが、受け継いだ領地を維持していくだけの経営の資質には欠けていたようで、セルゲイが生まれた頃には一家はすでにかなり没落していたらしい。ノヴゴロド近郊のオネグは豊かな自然に恵まれた地域で、多感な子供時代を過ごした。