虢公在桑田得到晋军攻破下阳的消息，大吃一惊，急忙下令撤军。犬戎兵乘机追杀，将虢军击溃，虢公带残部逃到都城上阳，被随后赶到的晋军包围。上阳被晋军一围数月，城中粮草尽绝，士卒疲惫不堪，百姓更是哭成一片。晋军主将里克见时机已到，便命降将舟之侨写了一封劝降信，让人用箭射入城中。虢公读完信，说：“我国先君曾任周朝卿士，我决不能向诸侯投降。”于是便连夜率家眷逃向周朝京城。里克率军入城，安抚百姓，晋军军纪严明，秋毫无犯，上阳百姓很是欢心。里克将虢国的府库宝藏尽数装入车中，把其中十分之三连同所获美女乐师赠给了虞公，虞公见晋人言而有信，心中也自欢喜。虢国事毕，里克一面派人飞马报告献公，一面假托有病，将军队全部驻扎在上阳城下。一月之后，虞公在虞都忽然得到探马来报，说晋献公统兵已到都城郊外，虞公问其来意，探马说：“献公恐怕晋军伐虢失利，特地亲自前来接应。”虞公喜道：“我正想与晋君会晤，现在他亲自来到，正合我意。”连忙亲自出城迎接，两国君相见，彼此致意，献公随即约虞公一同赴箕山围猎。虞公正想向晋国夸耀，便将城中的兵车良马全部派出，自己则与献公并马射猎。围猎中途，忽有人报城中起火，虞公道：“这一定是百姓不小心失火，很快就会扑灭。”坚持要继续围猎，大夫百里奚一旁密奏道：“听说城中大乱，主公不可在此停留。”虞公便告辞献公急急回城，半路看到百姓纷纷逃离，并听人说：“都城已被晋军乘虚攻破。”虞公闻听大怒，急令驱车来到城下，只见城头站立一员大将，威风凛凛，向虞公喝道：“君侯昨日借道给我，今日又借城给我，多谢多谢！”虞公怒不可遏，下令攻城，结果被城上一阵箭雨射回，只得停止进攻，等待后援到来。正在此时，忽有士卒来报：“后军已被晋兵截住击溃，晋国大军即刻就到。”虞公见进退两难，长声叹道：“我真后悔没听从宫之奇的劝谏！”他看到百里奚在旁，便问道：“那时你为何不劝阻我？”百里奚说：“主公不能听从宫之奇的劝谏，又怎能听我的？”这时有虢国降将舟之侨单车来到，虞公见到他不由满面羞愧，舟之侨说：“君侯误听晋人之言，抛弃虢国，注定会有今日。现在事已至此，与其逃奔别国，还不如投降晋军。晋献公宽宏大量，一定会宽待于您。”虞公正在犹豫，献公已派人来请，虞公只得前去相见。献公见虞公来到，笑道：“我此来是为了要回玉璧宝马。”于是便将虞公留在军中宿夜，百里奚跟在虞公身后，寸步不离，有人劝他逃走，百里奚慨然说道：“我久食虞公俸禄，今日正是报还之时。”次日献公入城安抚百姓，荀息赶来迎接，他左手托着玉璧，右手牵着宝马，走到献公跟前说：“臣的计策已经实现，现在将璧马奉还主公。”献公大喜。髯翁有诗道：璧马区区虽至宝，请将社稷较何如？不夸荀息多奇计，还笑虞公真是蠢。
晋献公将虞公带回国，便想将他处死，荀息劝道：“这种笨蛋，活着又能有什么作为？”于是献公便以失国诸侯之礼将虞公留在晋国。虢国降将舟之侨被封为大夫，舟之侨又向献公举荐百里奚，献公听说百里奚贤能，便让舟之侨出面相请，百里奚拒绝说：“君子落难，连居住敌国都不情愿，怎么还能在敌国作官？我就是想做官，也不会做晋国的官。”舟之侨闻听此言，知他在影射自己，不由心中恼恨。
此时秦穆公任好即位已有六年，尚未有正宫夫人，于是他便派大夫公子絷向晋国求婚，想聘献公长女伯姬为夫人。献公命太史苏以蓍草占卜，得卦不吉，又派太卜郭偃以灵龟占卜，却得上上大吉之卦。太史太卜两人各执其卦，相持不下，献公说道：“古人常说，听从蓍草不如听从灵龟。我听说秦国受命于周天子，以后一定会强盛起来，这件婚事不能推脱。”于是便应允与秦国通婚。
公子絷回秦报告，路上偶遇一人，只见此人红光满面，虬髯高鼻，双手握锄耕地，铁锄入地数尺，公子絷感到惊奇，便命随从将铁锄拿来观看，但随从之中竟无一人能将铁锄搬动。公子絷问那人姓名，那人答道：“复姓公孙，名枝字子桑，是晋国国君的远亲。”公子絷又问：“以你的才干，为何屈身于陇亩田野之中？”公孙枝说：“苦于无人举荐。”公子絷问：“你肯随我到秦国做官吗？”公孙枝回答：“‘士为知己者死。’如能得您举荐，我自然愿往。”于是便和公子絷一同来到秦国，并被秦穆公封为大夫。穆公听说晋君已经许婚，便又命公子絷赴晋献送聘礼，准备迎亲。献公召集众臣，商议派谁做媵臣陪嫁，舟之侨怀恨百里奚，于是便趁机奏道：“百里奚不愿在晋国做官，心存异志，不如让他随同去秦。”献公当即准奏。
这百里奚本是虞国人，字井伯，年近三十时才娶杜氏为妻，生下一子。
百里奚家境贫寒，怀才不遇，几次想要出外游宦为官，却担心妻儿孤苦无依，因而恋恋不舍。杜氏劝道：“我听人说‘男儿志在四方’。你正当壮年，不出去游宦谋官，难道非要守着妻儿坐困此地吗？我们母子能照顾自己，你就别再担心了。”百里家只有一只老母鸡，杜氏将它宰杀为百里奚饯行，家中无柴烧火，杜氏便将门栓卸下烧了。百里奚饱餐一顿，然后与妻儿告别，临行之前，杜氏怀抱幼儿，紧紧拉住百里奚衣衫，泪流满面地说：“得到富贵后，别忘了我们母子。”百里奚离家后先到齐国，想在齐襄公那里谋取官职，却无人举荐。百里奚穷困潦倒，沿街乞讨到铚地，这时他已年过四十了。铚地有一个名叫蹇叔的人，见百里奚生具奇相，说道：“你本不该是沿街乞讨之人。”于是便请百里奚到家中用饭，和他谈论天下时势，百里奚对答如流，口若悬河。蹇叔叹道：“你有如此的才干，却这样贫困，这难道真是天命吗？”蹇叔将百里奚留在家中，两人结为兄弟。蹇叔家里也很贫穷，为了减轻蹇叔的负担，百里奚便在村中给人养牛。齐国公子无知杀死襄公，自立为国君，派人四处张榜招贤，百里奚闻讯便欲应招，蹇叔忙阻止住，说：“先君襄公有亲子在外地，无知弑君篡位，早晚必遭失败。”以后百里奚又听说周王之子颓喜爱牛，为他养牛的人都能得到优厚的俸禄，便向蹇叔辞别，准备赴周朝，临行前蹇叔再三叮嘱他说：“大丈夫不能轻易地委身侍奉他人，否则，做了人家的官半道离去就是不忠，不分情势地效忠于一个注定要失败的人就是不明智。兄弟此行可千万要小心从事。”百里奚赶到周朝，拜见了王子颓，并向他进献了自己养牛之技，王子颓大喜，便想收百里奚做家臣。正在此时蹇叔赶到，他拜见了王子颓后对百里奚说：“颓志大才疏，所接近的又都是谗佞谄谀之徒，因而早晚必会有谋乱犯上之事，兄弟不如早点离去。”百里奚因久别妻儿，心中惦念，正想返回虞国，蹇叔说：“虞国有个贤臣叫宫之奇，是我的朋友，我与他相别已久，正想前去拜访。兄弟若真想回虞国，我们可以一道同行。”于是两人便结伴来到虞国，百里奚先回家寻妻，但此时杜氏因贫困所迫已流落他乡，不知去向，百里奚因此感伤不已。蹇叔见到宫之奇，向宫之奇介绍了百里奚的才干品德，宫之奇把他举荐给虞公，百里奚被虞公封为中大夫。蹇叔访友完毕，便与百里奚道别，临别时说道：“我看虞公见识短浅而又刚愎自用，不是一个有作为的明君。”百里奚说：“小弟贫困已久，就像鱼在陆地，急需一勺水来救命。”蹇叔说：“兄弟因贫困而做官，我难以劝阻，日后若想见我，可到宋国的鸣鹿村去找。那个地方环境幽静雅致，我将去那里隐居。”说完便告辞离去，百里奚于是留在虞国做官。
到了虞公贪宝亡国，百里奚不愿弃主逃离，他说：“我既已有不智之举，岂能再做不忠之人。”至此，他便一直留在晋国与虞公为伴。这日百里奚听说晋国要把自己作为媵臣陪嫁秦国，长叹道：“想我百里奚怀济世之才，却不遇明主，难展大志，临老又被作为奴仆陪嫁他人，晋君辱我太甚啊！”于是便在赴秦途中逃脱。他本想逃奔宋国去访蹇叔，半途受阻，便逃到楚国。百里奚来到楚国宛城，正赶上当地野人出猎，野人们怀疑他是别国奸细，便将他绑了起来。百里奚连声叫冤，说：“我是虞国人，现在因亡国才逃难到此。”野人问他有何本事，百里奚道：“我最善长养牛。”野人为他松了绑，让他去养牛，百里奚将牛养得又肥又壮，野人非常高兴。百里奚善养牛的消息不久传到楚王那里，楚王将他召来，问他有何诀窍，百里奚回答说：“按时喂食，顾惜其力，心与牛合而为一。”楚王赞道：“妙极，你所说的不仅适合养牛，也适合于养马。”于是便命他作为马倌到南海牧马。
却说秦穆公见晋国陪嫁之人中有百里奚之名而不见其人，心中奇怪，公子絷连忙奏道：“此人本是虞国旧臣，现已逃亡。”秦穆公问公孙枝：“你在晋国，一定了解此人底细。他究竟是何等人？”公孙枝说：“贤能之人。
他知道虞公不可劝谏便住口不言是其智，虞公失国后他在晋国伴君不食晋国之禄是其忠。而且此人颇有济世之才。只是没遇上机会罢了。”穆公道：“我怎样才能得到他而加以重用呢？”公孙枝说：“臣听说他的妻儿流落楚国，想来他也一定是逃到楚国去了。”于是穆公派人去楚国察访，不久即得回报：“百里奚现在正在海滨为楚国国君牧马。”穆公大喜，说：“我用重礼去换，楚国能答应我吗？”公孙枝答道：“百里奚来不了了！”穆公问其原因。公孙枝答道：“楚国让百里奚牧马是因为不了解他的才能，现在主公用重礼去换，等于将百里奚的才能泄漏给楚国，楚国既知道他的才干，自会加以重用，又怎肯将他送给我们。主公不如以逃亡媵臣之名，用低价将他赎回，这正是昔日管仲从鲁国脱身所用的计谋。”于是穆公便派人将五张公羊皮送给楚王，说：“敝国有媵臣百里奚逃到贵国，我家主公想用五张公羊皮将他赎回加以严惩，以便儆示他人。”楚王担心失去秦国的欢心，急忙派人赴东海将百里奚拿回交付秦国。临行前，人们以为他定会被处死，纷纷拉住他大哭，百里奚笑道：“我听说秦君有称霸天下之志，他何必为我一个逃奴大费周折。他向楚国要我，是为了重用我。我马上就要富贵了，你们又何必为我哭泣呢？”百里奚坐着囚车刚到秦境，穆公就派公孙枝前来迎接，百里奚先被从囚车中请出，接着就受到穆公召见，穆公问：“你有多大年纪？”百里奚回答：“才七十岁。”穆公叹道：“可惜太老了！”百里奚说：“如果让我追逐飞鸟搏击猛兽，我是老了；如果让我坐在庙堂策划国事，我还算年轻。过去吕尚八十岁还在渭滨垂钓，后被周文王重用，拜为尚父，最终帮周一统天下。我现在与主公相遇，不是比吕尚还早十年吗？”穆公见他老当益壮，不由产生敬意，便问：“敝国位处戎狄两族之间，无法与中原诸侯结盟，先生有何良策可使敝国不落后于中原呢？”百里奚说：“君不以亡国之虏看臣，虚心下问，臣怎敢不尽心竭力。雍岐之地，本是周朝兴盛的根本，现在周室无法掌握，将它赠给秦国，这是上天在帮助秦国。秦介于戎狄蛮族之间，使其兵强马壮；无法与中原结盟，使之万众一心。现在西戎四分五裂，我们吞并其地可以耕种，征用其民可以作战，这是中原诸侯无法与君竞争的。君或可以用恩德安抚，或可以用武力征服，占有整个西部边疆，然后凭借山川之险，雄视中原，寻机挺进，如此王霸之业就可水到渠成。”穆公不觉起立赞道：“我有了百里奚，就如齐国有了管夷吾！”此后一连与百里奚交谈三日，君臣心心相印。
穆公于是封百里奚为上卿，并将朝政全权托付于他，从此秦国人便称百里奚为“五羖大夫”。髯翁有称赞道：脱囚拜相事真奇，仲后重闻百里奚。从此西秦名显赫，不亏身价五羊皮。
百里奚却辞去上卿之位，并向穆公举荐一人代替自己。