בית שמש נוסדה כעיר כנענית על ציר שבין השפלה הנמוכה לגבוה, ועל פתחו של עמק שורק.

הכנענים הקדומים שעבדו לשמש קראו אותה על שם אלילם. כך מוזכר בספר שופטים (פרק א') לגבי בית שמש אחרת שהיתה בגליל: "נפתלי לא הוריש את ישבי בית שמש ואת ישבי בית ענת, וישב בקרב הכנעני ישבי הארץ, וישבי בית שמש ובית ענת היו להם למס".

בית שמש מוזכרת לראשונה בספר יהושע (פרק טו) כעיר כנענית שעברה לידי שבט יהודה: "ונסב הגבול מבעלה ימה אל הר שעיר ועבר אל כתף הר יערים מצפונה היא כסלון וירד בית שמש ועבר תמנה"

תמנה הלא היא תל בטש ששוכנת בעמק נחל שורק, כסלון שכן בהר העולה לירושלים.

בחלוקת הנחלות (שם פרק יט') היא מוזכרת כעיר בגבול נחלת שבט דן: "ויהי גבול נחלתם צרעה ואשתאול ועיר שמש". אם כן, בית שמש שכנה על גבול בין שני השבטים, אך היתה שייכת לשבט יהודה שנתנוה לכהנים (שם פרק כא, וראה גם בבלי סנהדרין דף קיא ע"ב).

אגב, באותו פרק ממש מופיעות שתי ערים נוספו העונות לשם זה, אחת של יששכר והשניה של זבולון.

זאת בנוסף למקום שנקרא "עין שמש" ואשר שכן בתחום המזרחי של נחלת שבט יהודה, על גבול המדבר.

לאחר נפילת ארון הברית בידי הפלישתים בקרב אבן העזר-אפק (שמואל א' פרק ד') ונדידתו בין הערים אשדוד גת ועקרון, החליטו הפלישתים להשיבו ליד עם ישראל, וכך מסופר (שם פרק ו'): "ויהי ארון יהוה בשדה פלשתים שבעה חדשים. ויקראו פלשתים לכהנים ולקסמים לאמר מה נעשה לארון יהוה הודענו במה נשלחנו למקומו. ויאמרו אם משלחים את ארון אלהי ישראל אל תשלחו אתו ריקם כי השב תשיבו לו אשם אז תרפאו ונודע לכם למה לא תסור ידו מכם. ויאמרו מה האשם אשר נשיב לו ויאמרו מספר סרני פלשתים חמשה עפלי זהב וחמשה עכברי זהב כי מגפה אחת לכלם ולסרניכם. ועשיתם צלמי עפליכם וצלמי עכבריכם המשחיתם את הארץ ונתתם לאלהי ישראל כבוד אולי יקל את ידו מעליכם ומעל אלהיכם ומעל ארצכם. ולמה תכבדו את לבבכם כאשר כבדו מצרים ופרעה את לבם הלוא כאשר התעלל בהם וישלחום וילכו. ועתה קחו ועשו עגלה חדשה אחת ושתי פרות עלות אשר לא עלה עליהם על ואסרתם את הפרות בעגלה והשיבתם בניהם מאחריהם הביתה. ולקחתם את ארון יהוה ונתתם אתו אל העגלה ואת כלי הזהב אשר השבתם לו אשם תשימו בארגז מצדו ושלחתם אתו והלך. וראיתם אם דרך גבולו יעלה בית שמש הוא עשה לנו את הרעה הגדולה הזאת ואם לא וידענו כי לא ידו נגעה בנו מקרה הוא היה לנו. ויעשו האנשים כן ויקחו שתי פרות עלות ויאסרום בעגלה ואת בניהם כלו בבית. וישמו את ארון יהוה אל העגלה ואת הארגז ואת עכברי הזהב ואת צלמי טחריהם. וישרנה הפרות בדרך על דרך בית שמש במסלה אחת הלכו הלך וגעו ולא סרו ימין ושמאול וסרני פלשתים הלכים אחריהם עד גבול בית שמש. ובית שמש קצרים קציר חטים בעמק וישאו את עיניהם ויראו את הארון וישמחו לראות. והעגלה באה אל שדה יהושע בית השמשי ותעמד שם ושם אבן גדולה ויבקעו את עצי העגלה ואת הפרות העלו עלה ליהוה. והלוים הורידו את ארון יהוה ואת הארגז אשר אתו אשר בו כלי זהב וישמו אל האבן הגדולה ואנשי בית שמש העלו עלות ויזבחו זבחים ביום ההוא ליהוה. וחמשה סרני פלשתים ראו וישבו עקרון ביום ההוא. ואלה טחרי הזהב אשר השיבו פלשתים אשם ליהוה לאשדוד אחד לעזה אחד לאשקלון אחד לגת אחד לעקרון אחד. ועכברי הזהב מספר כל ערי פלשתים לחמשת הסרנים מעיר מבצר ועד כפר הפרזי ועד אבל הגדולה אשר הניחו עליה את ארון יהוה עד היום הזה בשדה יהושע בית השמשי. ויך באנשי בית שמש כי ראו בארון יהוה ויך בעם שבעים איש חמשים אלף איש ויתאבלו העם כי הכה יהוה בעם מכה גדולה. ויאמרו אנשי בית שמש מי יוכל לעמד לפני יהוה האלהים הקדוש הזה ואל מי יעלה מעלינו. וישלחו מלאכים אל יושבי קרית יערים לאמר השבו פלשתים את ארון יהוה רדו העלו אתו אליכם"

בימי שלמה המלך היתה בית שמש עיר מחוז בה ישב אחד מנציביו, כפי שמסופר (מלכים א' פרק ד'): "ולשלמה שנים עשר נצבים על כל ישראל וכלכלו את המלך ואת ביתו חדש בשנה יהיה על אחד לכלכל. ואלה שמותם בן חור בהר אפרים. בן דקר במקץ ובשעלבים ובית שמש ואילון בית חנן".

בבית שמש ארעה אחת ממלחמות האחים שבין ממלכות יהודה וישראל, כך מספר הכתוב (בספר מלכים ב פרק יד): "אז שלח אמציה מלאכים אל יהואש בן יהואחז בן יהוא מלך ישראל לאמר לכה נתראה פנים. וישלח יהואש מלך ישראל אל אמציהו מלך יהודה לאמר החוח אשר בלבנון שלח אל הארז אשר בלבנון לאמר תנה את בתך לבני לאשה ותעבר חית השדה אשר בלבנון ותרמס את החוח. הכה הכית את אדום ונשאך לבך הכבד ושב בביתך ולמה תתגרה ברעה ונפלתה אתה ויהודה עמך. ולא שמע אמציהו ויעל יהואש מלך ישראל ויתראו פנים הוא ואמציהו מלך יהודה בבית שמש אשר ליהודה. וינגף יהודה לפני ישראל וינסו איש לאהלו. ואת אמציהו מלך יהודה בן יהואש בן אחזיהו תפש יהואש מלך ישראל בבית שמש ויבאו ירושלם ויפרץ בחומת ירושלם בשער אפרים עד שער הפנה ארבע מאות אמה. ולקח את כל הזהב והכסף ואת כל הכלים הנמצאים בית יהוה ובאצרות בית המלך ואת בני התערבות וישב שמרונה".

בימי אחז נינו של אמציה, חרבה העיר בידי האדומים (דברי הימים ב' פרק כח'): "בָּעֵת הַהִיא, שָׁלַח הַמֶּלֶךְ אָחָז עַל מַלְכֵי אַשּׁוּר לַעְזֹר לוֹ. וְעוֹד אֲדוֹמִים בָּאוּ וַיַּכּוּ בִיהוּדָה, וַיִּשְׁבּוּ שֶׁבִי. וּפְלִשְׁתִּים פָּשְׁטוּ בְּעָרֵי הַשְּׁפֵלָה וְהַנֶּגֶב לִיהוּדָה, וַיִּלְכְּדוּ אֶת בֵּית שֶׁמֶשׁ, וְאֶת אַיָּלוֹן, וְאֶת הַגְּדֵרוֹת, וְאֶת שׂוֹכוֹ וּבְנוֹתֶיהָ, וְאֶת תִּמְנָה וּבְנוֹתֶיהָ, וְאֶת גִּמְזוֹ וְאֶת בְּנֹתֶיהָ וַיֵּשְׁבוּ שָׁם. כִּי הִכְנִיעַ ה' אֶת יְהוּדָה, בַּעֲבוּר אָחָז מֶלֶךְ יִשְׂרָאֵל,  כִּי הִפְרִיעַ בִּיהוּדָה, וּמָעוֹל מַעַל בַּה'".

לאחר כיבוש ממלכת ישראל, הביא הנה מלך אשור תושבים מרחוק (אלו אבותיהם של הכותים=שומרונים).הכתוב (מלכים ב' פרק יז') מספר שהם הביאו איתם הנה את התרבות האלילית: "ואנשי בבל עשו את סכות בנות ואנשי כות עשו את נרגל ואנשי חמת עשו את אשימא". אך הגמרא (ירושלמי מסכת עבודה זרה פרק ג) מצטטת את הפסוק בצורה שונה, ובעצם מפרשת שזה קרה בבית שמש: "כתיב: ואנשי בבל עשו את סכות, בנות תרנגולתא ופרחיה. ואנשי בית שמש עשו את נרגל, ריגליה דיעקב וריגליה דיוסף".

יתכן שאלילים אלו נלקחו למצרים ע"י יוחנן בן קרח, שברח לשם לאחר הריגת גדליה בן אחיקם, שכן ירמיהו עומד במצרים ומנבא (פרק מג'): "והצתי אש בבתי אלהי מצרים ושרפם ושבם ועטה את ארץ מצרים כאשר יעטה הרעה את בגדו ויצא משם בשלום.ושבר את מצבות בית שמש אשר בארץ מצרים ואת בתי אלהי מצרים ישרף באש". למרות שניתן לפרש שהוא מתכוין לפסלי מצרים עצמם אשר בהליופוליס (=עיר השמש).

מאוחר יותר יספר התלמוד הירושלמי (מסכת תענית פרק ד', ומגילה פרק א'): אמר ר' יוחנן: מגבת ועד אנטיפריס ששים רבוא עיירות היו, הקטנה שבהן היא היתה בית שמש".

הממצאים שנתגלו בחפירות מאשרים כי היא הייתה עיר גדולה בתקופת הממלכה המאוחדת (דוד ושלמה), אף שרידי בעלי החיים שנתגלו הם ממינים כשרים, פרט לאחוז אחד בודד.

נתגלו ביצורי העיר והשער הדרומי, מערכת מים מרשימה, קרמיקה פלישתית רבה, תנורים להתכת נחושת, ומתקופה מאוחרת יותר גם בתי בד.

העיר חרבה שלש פעמים, במסע שישק מלך מצרים, בידי סנחריב (מתקופה זו נמצאו ידיות של קנקנים ועליהם הכיתוב "למלך" שמקובל לזהות אותם כחלק ממערכת ההכנות שעשה חזקיהו לקראת בואו של סנחריב), ובידי נבוכדנצר.

מהתקופה הביזנטית נותרו שרידי מנזר, מהתקופה הערבית נותר בה בית קברות, ואחר קום המדינה נבנתה ע"י מעברה שהפכה ברבות הימים לעיר גדולה.