那时的人因李世贵能左右考试，所以说：“中不中，问阿贵”，可是对于有真材实学的人，李世贵亦不能完全左右，所以人们便称赞这些人：“唔使问阿贵”，意思即是说肯定可以中式。
　　流传下来，广府人要表示肯定、有把握，便亦说“唔使问阿贵”了。
　　那时广州没有警察，臹北是八旗子弟聚居之地，治安由八旗兵自己负责；城内分南海县正堂及番禺县正堂，将一个广州分开两半，由两县负责治安；然而两县之上，却还有广州府，知府亦有巡捕，地位比两县的捕快为高；府之上还有巡抚，领有“抚标”；巡抚之上则有总督，领有“督标”，这两标军队则驻扎西关与南关；此外还有将军，领“绿营”，则驻军于东郊沙河一带。[Page]
　　李世贵是西关守备，属于“督标”；跟属于“抚标”的西关把总，是广州武官的两个肥缺，因为城西多富商，又有荔枝湾一带的风月场所，所以守备虽然只是五品官，把总更是七品官，芝麻绿豆却实荷包肿胀。
　　像广州有一件谋人妻子杀人夫的大案，主角沙三少，杀死女佣银姐的丈夫，这个沙三少虽然有钱有面，在风月场所一掷千金，出入前呼后拥，实际上却还未够资格称为“高干子弟”，因为他的爸爸，无非只是七品芝麻官西关把总而已。不过因为窝娼聚赌卖鸦片，便居然成为一股恶势力了。
　　先祖国威公倒够资格做高干子弟，先曾祖广楠公官居一品，国威公自己又在将军麾下做事，官居四品，只是家道却并非富裕，以广楠公为官一向清正之故也。
　　广楠公清廉到甚么地步呢？每个月照例有一次全城文武官聚集，拜皇帝的长生禄位，向着那禄位山呼万岁，俗语称为“拜万寿”。
　　“拜万寿”并非全体官员一齐拜，依着品级，一批批来拜，拜完还要等，等全部官员拜齐，才按着品级上轿打道回衙。所以这个仪式，由寅时开始，至已牌时份才结束，一共八个小时。全城文武官员，以两广总督为最大，驻防将军的官阶虽跟总督平衡，但亦要让总督一步，所以“拜万寿”，便在总督衙门举行。这便做成总督衙门下人的一笔大收入。为甚么呢？因为他们知道百官必定肚饿，拜万寿又不能携带下人在身边，他们便乘机出售猪肉包，一两银子一个，加上一杯清茶，便是二两白银。