从前，有个人带着一把宝剑坐船。船才开出来，突然听见“扑通”一声，他的剑落到水里去了。
怎么办呢？他想了半天，终于想到了一个办法，他用小刀在船上刻了一个印记，便悠然自得的在船上坐着。
划船的人很着急，对他说：“让我把船停下来，你快跳下去把剑捞起来吧！”
可那个人却指着船说：“到了对岸再说吧，反正我在船上划了一条线，剑是从这儿落下去的，到时候从这里下去找就行啦！”
划船的人说：“你的剑掉进了水里，剑又不会跟着船走，怎么还能在对岸找到呢？”
那个人不听船夫的话，于是，船夫把船划到了对岸。
这时，那个人脱掉衣服，从他划的那条线那里跳了下去，可他捞了很久什么也没捞到。
剑掉进了河里，现在船走了这么远，他是不能从船上的线找到剑的。
刻舟求剑就是从这个故事来的。“舟”是“船”，“求”是“寻找”。有的人办事不管时间地点的变化，始终不肯改变原来的主意，我们就可以说他是刻舟求剑。
