这个成语来源于《左传.襄公十五年》，我以不贪为宝，尔以玉为宝，若以与我，皆丧宝也。
春秋时，宋国有个人在山上开凿石料的时候，发现了一块宝玉。他非常高兴，便兜着它回家，请一个玉工来加以鉴别，玉工仔细看了后，赞不绝口地说：“这块玉好极了，没有一点毛病，是个宝贝啊。不过你得小心，别在人家面前露眼，让人家把它偷了去！”
其实，这人请玉工来家，已经引起了邻居的注意。原来，平时极少有人上他家，这回玉工突然来，有人便不时进来张望。宋人心里不安，怕有个闪失空欢喜一场，便把宝玉秘密藏好。
尽管如此，他还是担心宝玉会被盗走。如果把它卖掉，又怕不知它的真正价值，给别人占了便宜。他考虑来考虑去，最后决定把它赠送给一个有身份的人，这样多少还能留下些人情。过了几天，他见没人发现，便带了宝玉悄悄地前往都城。
到了都城，他去见掌管工程的大臣子罕，献上了宝玉，子罕不解地问：“你把如此贵重的宝物送给我，大概是要我帮你办什么事吧？不过，我是从来不接受别人赠送的礼物的。”
宋人慌忙摇头说：“我没什么事要您帮我办。据玉工鉴定，这块宝玉是稀有之物，所以我要献给您。”
子罕再次拒绝说：“我决不能收下这宝玉。因为如果收下了，你和我都丧失了宝。”
宋人听不懂子罕这话的意思，只是呆呆地望着他。只听子罕继续说道：“我以不贪为宝，而你以玉为宝。你把玉给了我，当然丧失了宝，但我收下了你的玉，也就丧失了不贪这个宝。这样，双方都丧失了宝。”
宋人见子罕说了这通不收宝玉的道理，也无可奈何，只得实告道：“小民留下宝玉不得安宁，所以特地到都城来献给您。”
子罕沉思了一会儿，叫宋人暂时留下。接着，命一位玉工为这块宝玉雕琢，把它送到市场上去卖掉，把钱交给宋人，然后派人护送他回家。
