На обывательской тройке… – То есть на лошадях, нанятых у «обывателей», местных жителей.
«А подать сюда Тяпкина-Ляпкина!» – Цитата из комедии Н.В. Гоголя «Ревизор» (д. 1, явл. I); у Гоголя – Ляпкина-Тяпкина.
На то он здесь и поставлен, чтоб его все знали. – Очевидный намек на то, что Посудин – губернатор. В цензурных условиях прямо говорить об этом было невозможно.
…и на машину... – то есть на железную дорогу.