有此一番经过，司相如原以为可以安然无事。哪知又有人密告他贪污，说他使西夷时，受了对方的贿赂。这自然是诬告。西夷愿意内附，原在贪图赏赐，哪有财行贿？而司相如又唯恐西夷不内附，有求于人，只当行贿，不宜受贿。况且他正从岳家分得一大笔财产，何必又受西夷之贿？凡此皆是情理上说不通的事。

汉武帝的第一个皇后，是他的表姊妹，馆陶长公主的女儿。馆陶长公主尚堂邑侯陈午，生女小名“阿”当武帝已被封为胶东王，大约五、六岁时，馆陶长公主携女，探望胶东王的生母王夫人，把她的那个早慧的内侄抱在膝上，戏谑地问他将来愿意娶什么人作妻。指这个。他不要，指那个、他不要，最后指着她的女儿问：“阿好否？”

于是邛峡以东，大渡河以西，北起汉山，南迄云南边境，这一片约三万五千平方公里的长方形土地，从此归汉家的势力范围。西夷各落，正式成为汉朝的属国，司相如重新调整县区，整理通，并奏准设一个“属国都尉”的职官，加以理。

令人丧气的是，武帝虽赞赏他的功劳，但朝中颇有些大臣，与蜀的士绅，持着同样的观，认为通西南夷这件事，是无益的浪费。司相如怕引起争论，在皇帝召集“廷议”时，自己因为吃的缘故，辩不过别人，所以又了一篇文章，作先发制人的解释。

“冉囗’，就是当初卓王孙的祖父，由汉中到剑阁，说有大芋，不愁饿死的那个地方，在江山之下，即今四川茂县地。冉囗的族特别复杂，据《汉书》记载，汉山上有六夷、七羌、九蛮，各有落。这样一个由三族，二十二个政治单位所组成的落，居然也为“吃”的司相如所说服，亦非易事。

可能仍旧是吃了他吃的亏，对此事竟无法辩白，也可能他因为立功万里而横遭打击，心灰意懒，不作辩白。总之，在这件案上，他得到免职的分。

闲住了一年多，武帝又想起了他，复召为郎——那是他第三次这个官，但看破仕途，官兴已大不如前。同时也因为生了消渴疾——糖病，不耐劳苦，常请病假。好在文君有钱，生活优裕，不妨在家饮酒作文，享他的清福。偶而武帝巡幸离别苑，也召他侍从。一次在陕西囗囗县东南的长杨，因为武帝喜亲自猎熊与野猪之类的野兽，容易发生意外，特地作赋谏劝。他的几篇有名的赋，几乎都为武帝而作，其中有一篇例外，那就是《长门赋》。

胶东王笑着：“好”说是“若得阿作妇，当作金屋以贮”这就是大家耳熟能详的“金屋藏”的典故。但这一番戏谑，竟致改变了历史，因为假成真，馆陶长公主真个向景帝提议，中表联姻。景帝最听他姊姊的话，欣然同意，立阿为胶东王的妃。

这篇文章是假设他经营西夷，告一段落，回到成都时，有二十七个地方父老士绅去看他，提质询，他又如何解释必须要通西夷的理。这篇文章中有好些警句，说：“世必有非常之人，然后有非常之事。有非常之事。然后有非常之功。”常人对非常之人，非常之事，自然莫测，因为莫测，不免戒惧不安，所以他接下来说：“非常者，固常之所异也。故曰：非常之原，黎民惧焉。”接着引用《诗经》中“普天之下，莫非王士。率土之滨，莫非王臣”的话，大事发挥天下必须统一，教化必须普及的理论，以为他的开山架桥，扩大边关来促与西夷的通，是“创德之途，垂仁义之统”结论中又有警句：“夫王事，固未有不始于优勤而终于佚乐者也”指有耕耘必有收获，于是来质询的父老士绅为他说服，欣然表示，不论老百姓如何艰困，一定支持朝廷的决策。这样的文章，武帝自然欣赏，他下令把这个文件颁行蜀，让大家了解天的苦心。