滥竽充数的故事主要讲了春秋战国时期，齐宣王在位时，就特别喜欢听吹竽，为他吹竽的队伍高达三百多人，而且齐宣王喜欢群奏，所以在演出时，经常是美女和乐队共同上阵。有个南郭先生，整天游手好闲，没有什么本事，这天刚好就听到了这个消息，所以他自告奋勇地要求参加到齐宣王的吹竽队伍中去。
南郭先生有了这个美差事后，就再也没有生计的烦恼了，领着高额的俸禄，跟在队伍中有吃有喝，那叫一个快活。
不过后来好景不长，齐宣王的年纪大了，身体上的毛病也越来越多，为此，还多次请了宫中最好的太医为他看病，但终究是敌不过病魔的反抗，齐宣王在弥留之际，将王位传给了自己的儿子齐湣王。
不过齐湣王和他的父亲宣王不同，他在听奏乐时，不喜欢群奏，喜欢独奏，他认为每个人吹的声音都是不同的，所以就让他们轮流来奏乐。
南郭先生得知了这一消息后，发现事情要藏不住了，所以找了一个时机，灰溜溜地从宫中逃走了。后来这个故事演变至今，就形成了这个成语。