לפי חוקרים רבים היו שני רבי אליעזר בן יעקב, אחד שחי בדור השני של התנאים ואחד שחי בדור הרביעי של התנאים.

רבי אליעזר בן יעקב מתאר הרבה פרטים על בית המקדש ועבודתו כמו למשל תיאור שער ניקנור במסכת יומא,דף ל"ח עמוד א': "ר' אליעזר בן יעקב אומר נחשת קלוניתא הייתה והייתה מאירה כשל זהב", אבל גם כשהוא לא היה בטוח, הוא לא התבייש לומר זאת: "לשכת העץ–אמר רבי אליעזר בן יעקוב, שכחתי מה הייתה משמשת" [מסכת מידות פרק ד משנה ח'].  מסכת מידות, המתארת את בית המקדש השני, מיוחסת לרבי אליעזר בן יעקב.

בגמרא מתוארת חכמתו של רבי אליעזר בן יעקב כמדוייקת ביותר – "תני שמעון בן עזאי אומר מצאתי מגלת יוחסין בירושלים וכתוב בה איש פלוני ממזר מאשת איש וכתוב בה משנת ר' אליעזר בן יעקב קב ונקי" יבמות – דף מ"ט עמ' ב']

במקורות לא מסופר הרבה על משפחתו רק ידוע לנו שאחי אימו היה לוי בבית המקדש – לפי המשנה במסכת מידות פרק א' משנה ב' – "רבי אליעזר בן יעקב אומר, פעם אחת מצאו את אחי אימא ישן, ושרפו את כסותו"