برخی تاریخ ساخت این باغ را دوره سلجوقی میدانند؛ زیرا در آن روزگار، اتابک قراچه، حکمران فارس، اقدام به ساخت باغ تخت و چند باغ دیگر در شیراز کرده بود و ممکن است این باغ نیز به درخواست وی ساخته شده باشد.
به گفته مرحومه فرخ بی بی، دختر صولت الدوله قشقایی باغ ارم را میرزا قاسم خان خلج بواناتی به پدر زنش، جانی خان ایلخانی قشقایی تقدیم کرد. که بنای اولیه عمارت باغ ارم توسط جانی خان قشقایی و پسرش محمد قلی خان قشقایی در زمان فتحعلی شاه قاجار احداث شدهاست. معماری بنا نیز توسط شخصی بنام حاج محمد حسن که از معماران معروف بوده صورت گرفتهاست. در کتاب خاطرات ملکمنصور خان قشقایی نیز ذکر شدهاست که باغ ارم محل اقامت خان قنقری بوانات بودهاست.[۱] در زمان قاجاریه و پهلوی این باغ مقر سران ایل قشقایی بوده و اکنون هم سند آن به نام خسرو خان قشقایی است.
در زمان سلطنت ناصرالدین شاه قاجار عمارتی دیگر توسط حسین علی خان نصیرالملک پی ریزی شد که با مرگ وی خواهر زاده او ابوالقاسم خان نصیرالملک امور باغ ارم را به دست گرفت و عمارت نیمه کاره را تکمیل کرد. این باغ پس از فوت ابوالقاسم خان نصیر الملک به پسرش عبدالله خان قوامی رسید و بعد از مدتی یکی از خوانین قشقایی بنام محمد ناصر پسر بزرگ صولت الدوله قشقایی خریداری کرد و مالکیت باغ مجدداً به قشقاییها رسید. بعدها این باغ مصادره و به مالکیت دولت درآمده و به دانشگاه شیراز واگذار شد.[۲] این باغ تنوع گیاهی بسیار بالایی دارد و گیاهان بسیاری از اقصا نقاط جهان در این باغ کاشته شدهاست؛ به شکلی که باغ در قالب یک نمایشگاه از انواع گلها و گیاهان درآمدهاست. در حال حاضر این باغ در اختیار دانشگاه شیراز است؛ باغ گیاهشناسی آن در اختیار دانشکده کشاورزی و ساختمان باغ در اختیار دانشکده حقوق قرار دارد. در تاریخ ۶ تیرماه ۱۳۹۰ در سی و پنجمین اجلاس کمیتهٔ میراث جهانی یونسکو باغ ارم شیراز به همراه هشت باغ دیگر ایرانی در فهرست میراث جهانی ثبت گردید.
