魏晋の時代には三山と呼ばれ、唐代には三山浦、明清時代には三山海口、青泥窪口と称した。
1880年代に清朝が大連湾北岸に砲台を築き、ようやく都市が形成され始めた。
日清戦争後の1898年、三国干渉の代償として、清から関東州（大連、旅順など）を租借したロシアが、東清鉄道の終着駅を設け「ダーリニー」（Дальний; 「遠い」）と名づけた。
旅順にある艦隊と要塞の物資をまとめるため、また貿易の拠点として、港の整備とパリをモデルにした都市づくりが始まった。

しかし、1904年に勃発した日露戦争により、同年5月末には日本軍が無血入城を果たし、戦後の1905年ポーツマス条約により日本に租借権が譲渡された。
日本は古地図に見られる中国語の地名「大連湾」からとった「大連」を都市名として採用した。これはロシア名のダーリニーと発音が似ていることにもちなむ。

ロシアの租借地時代は、現在の大連駅から東側の区割りとごく一部の建築物ができた状態であった。
日本は、大連を貿易都市として発展させるため、関東都督府と南満州鉄道にインフラの整備を続行させた。その結果、道路のアスファルト舗装や、レンガなど不燃建築物が立ち並ぶ町並みができあがった。
昭和初期には現在の大連駅とその駅前一帯が整備され、旧市街がほぼ現在の形になる。この時代の大連に関しては清岡卓行の、『アカシヤの大連』をはじめとする一連の作品群において描かれていることでも有名である。