海牙于1248年由当时的荷兰伯爵、德意志国王、神圣罗马帝国皇储威廉二世所建立。他在荷兰海岸旁的树丛里建立了一座城堡，以便举行加冕典礼。在他加冕之前，他在一场战役中阵亡，而那座城堡并未完工，但城堡的一部份至今仍然存在，被称作Ridderzaal（骑士厅）。“骑士厅”仍然会用于政治场合。例如女王的王座演说就是在城堡的王座上发表。

之后，荷兰的贵族就以海牙作为他们的行政中心。海牙的荷兰语本名“Des Graven Hage”在字面上的意思是“伯爵的树篱”或是“伯爵的私人围场”。当时荷兰一些有影响力的城市，如莱顿、代尔夫特及多德雷赫特，因当时的海牙细小且影响力低，否决了以海牙作为行政中心的方案。这政策从未改变，因此海牙直到今天仍然是无首都之名的政府中心。

为保持海牙的小规模，它并没有被赋予城市的权限，也没被允许兴建城墙。1500年代时，兴建城墙的要求终被批准，但城内居民却决定要集资建造市政厅去取代兴建城墙的计划。这一个决定，在后来的八十年战争中被证明是完全错误的——因为没有城墙的关系，防御能力极低，这使西班牙的军队轻易地将海牙侵占了。

直至1806年，海牙才被当时的法国统治者升格为城市。而个多世纪以后荷兰的其他城市才陆续得到类似的权限。以上种种都证明了海牙已经是今非昔比了。它创造了一个城市中的传奇。

因为海牙的发展一波三折，使它不及邻近的城市（如莱顿、代尔夫特）一样的历史悠久。1850年后，当中央政府在荷兰社会中扮演更重要的角色，海牙便急遽地发展起来。现今的海牙旧区多建于十九世纪至二十世纪初。发展中的海牙在1903年吞占了洛斯德伊嫩市的一部分，至1923年洛斯德伊嫩市成为海牙的一部份。

二次大战期间，海牙遭受到广泛而沉重的破坏。大西洋壁垒在建成后横穿了城区，导致所有邻近地区的建筑物址被纳粹德国所拆毁。1945年3月3日，皇家空军误炸了贝泽伊登豪特区，而他们的目标应该是该区附近装置了V-2火箭炮的公园。由于导航器材的失误，炸弹落在了人口密集和有历史价值的地区，导致超过500人死亡。误炸对城市和当地居民造成的创伤，至今仍可感受得到。

战后，海牙是欧洲重建工程最大的其中一个地方。城市于是大规模地向西南扩展。被摧毁的区域也迅速地完成重建。

海牙人口在1985年前后达到高峰，曾有多达60万的居住人口。

1970年代和80年代间，以白人中产阶级为主的海牙居民纷纷移居到邻近的城市，如莱德斯亨丹-福尔堡、赖斯韦克当中主要迁移至祖特尔梅尔。这现象对郊区变得繁荣，但市中心却日趋贫困这个社会问题的催生，起了主导作用。

政府为将海牙近郊纳入海牙市内所作出的尝试引起极大争议。1990年代，在荷兰议会的同意下，海牙成功地从邻近城市的已建或建设中住宅区中并吞了相当大的区域。