建筑，建于天之下、地之上，是人于天地之间栖息的基点。中国人从古代开始就非常讲究建筑的方位、朝向、门窗及建筑内部各种要素。建筑除了满足最初的作为居住的需求，还承担着人类精神生活的观赏需求，逐步形成了特殊了艺术美学。在园林中的个体建筑，分为三对相对的类型：游览建筑与装饰建筑、堂正型建筑与偏副型建筑、高层建筑与依水建筑。金学智先生认为个体建筑以其大体量的物质造型，承载着功能、情趣等艺术性格，满足着合乎人类的需求，除了给人以视觉和心灵以美的享受外，还可以勾起人们不同的思绪和遐想。
在谢灵运的山水诗中，我们可以看出其中有很多建筑的形制，尤其是建筑作为一种园林的物质要素，在与其他要素相互辉映而生成的浑然的美学。谢灵运的山水诗中，涉及到多种建筑类型，并且与山、水互相交映，形成了美好的视觉感官，体现了他高雅的审美情趣。正如《初至郡》一诗中所言“卧疾云高心，爱闲宜静处。寝憩托林石，巢穴顺寒暑。”中所写到，在林石间寝憩，而用于安身的巢穴，顺应着寒暑的季节变化，安居乐业。
谢灵运的诗中提及很多的室，他在经营南北两居的时候，也建造了不少的室。《登永嘉绿嶂山》中提到的“裹粮杖轻策，怀迟上幽室。”、《石室山》中“石室冠林陬，飞泉发山椒。”、《田南树园激流植楥》中“卜室倚北阜，启扉面南江。”中都有写到。室是一种最常见的个体建筑类型，特点是深藏不露，在深幽的环境中，显得格外的端庄稳重。谢灵运的建筑都在山水美好处，用石头砌成的室，很正规端庄地与周围的山水风景融合，更加显得幽静而规整。
馆馆属于形制较小的建筑，个性较为随和，发展到后来，书房和某一些体积较小的单体建筑也可以称为馆了。如《红楼梦》里林黛玉居住的潇湘馆。谢灵运的诗中，馆是特点是比较含蓄道虚的。如《斋中读书》诗中“虚馆绝诤讼，空庭来鸟雀。”中，虚馆空庭，没有了世俗事物的纷乱打扰，空空的庭院鸟雀自由来去；又如《游岭门山》中“海岸常寥寥，空馆盈清思。”馆对着外面寂寥广阔的海岸，在馆里沉静思考，思绪遨游天地，或有感悟。谢灵运在建筑馆的时候，就选择了比较空寂高耸的山巅或在大片水域地带，如《登石门最高顶》“疏峰抗高馆，对岭临回溪。”馆作为单体建筑本身，与外界环境的融为一体，显现出了与环境相一致的空观寂静的美感。
楼是一种高层建筑，拔地而起，供人更上一层，居高临下，极目远眺观赏美景的同时舒放心绪开怀消忧。如《登临海峤初发彊中作与从弟惠连可见羊何共和之》中“日落当栖薄，系缆临江楼。”。在诗题中也提到过楼这种建筑形式，如《登池上楼》、《南楼中望所迟客》等，说明谢灵运在建筑楼的时候，还是别有一番讲究的：有的建筑在水上，那么楼下就是淙淙的水流，或者临江而建，那么登楼时的景色自然是一览开阔，由此可见他是很讲究建筑与周围山水的融合和游览。
谢灵运的山水诗中还提到斋这种建筑形式如《读书斋》，斋的典型特征是使人沉心静气之所处，修身养性，专心攻读。《过白岸亭》中还提到“拂衣遵沙垣，缓步入蓬屋。”；《咏冬》中的“园林粲斐皓，庭除秀皎洁。”有茅草屋，有庭院，庭院有台阶，都是常见的建筑形式。此外还有《过始宁墅》中提及的观，“葺宇临回江，筑观基曾巅。”、《石壁立招提精舍》诗中的“禅室栖空观，讲宇析妙理。”这里涉及到的道观、禅室并不一定就是指真正意义上的宗教建筑，可能只是谢灵运建筑的收藏经书、平日研修经文的幽室。
以上这些涉及到的单体建筑提供了日常的物质生活基础，建筑是园林的中心、原点，或汇聚或疏散，形成了连贯着天、地、人三才的有机建筑，达到天人合一的境界。而园林在建筑的基础上扩大延伸，连接、扩充以其他物质要素，便形成了整体的园林意趣。
花草树木与山水、建筑等共同营造出园林的美学特征。宋代郭熙《林泉高致》中也提到，水是山的血脉而草木则是山的毛发，山有了草木才可以有活泼的生趣。花木在园林中是不可或缺的角色。从园林历史的发展来看，从园林最初开始便与花木结下不解之缘。而随着漫长的艺术进程，园林中的花木，内容越来越丰富，所包含的美学也越来越博大，功能越来越多样化，从物质和精神角度满足着人类的各种需求，呈现出更加丰富多彩的面貌。花草树木在园林中生长，赋予园林自然的生命，在生机勃勃中，使得园林呈现出繁荣的景象。并且花木类是随着节气的变换而展现不同的风姿，从而园林的面貌也随着气候的转变而不同。
白芷抽出嫩芽，绿色的苹草也发出了新叶，花草带给人愉悦的享受，自然是无尽的；《过白岸亭》中“援萝聆青崖，春心自相属。交交止栩*，呦呦食苹鹿。”。
藤萝、苹草在岩石上攀援，沐浴在春天的光辉中，美好的景象让人联想起《诗经》中的呦呦鹿鸣；《读书斋》中写到的“春事日已歇，池塘旷幽寻。残红被径坠，初绿杂浅深。”落红满径、绿色植物颜色浅浅深深交错交杂，作者信步于池塘边，晚春的景象幽深沉寂；还有《游南亭》诗中“泽兰渐被径，芙蓉始发池。”；《石壁精舍还湖中作》诗中提到的“芰荷迭映蔚，蒲稗相因依。”水生植物如芙蓉、菱角、葛蒲、稗草等都生长的很好；《南楼中望所迟客》“瑶华未堪折，兰苕已屡摘。”疏麻开出白色的花；兰蕙早早开花，已经被采摘过多次了；《从斤竹涧越岭溪行》诗中的“苹萍泛沉深，菰蒲冒清浅。”菰蒲和香蒲、薜荔、女萝，这里的兰是指石兰。苹草深沉在水面生长，菰蒲和香蒲浅浅的冒出。除了花草，必然还有树木。
始宁墅的南北两居地域广大，其中树木是很多的。《晚出西射堂》中“晓霜枫叶丹，夕曛岚气阴。”在霜后，红色枫叶映照红了整个山峰，在夕阳的的光辉中，山间的晚风穿行，枫叶风姿绰约；《从游京口北固应诏》诗中“原隰荑绿柳。墟囿散红桃。”春天最美好的景致当属桃红柳绿了吧，早春的时节，柳树率先发出了新叶，桃花在春风中灿烂盛开，一派春天盎然的生机勃勃；于南山往北山经湖中瞻眺》中“初篁苞绿箨，新蒲含紫茸。”体现文人高尚节操的竹子自然是一定有的，新长的竹丛以及剥离笋壳的包裹，但尚未完全脱离，半包着绿色的竹身，刚长出来的水草开着紫色的毛茸茸的小花。