是不是只有午夜十二点才算是深夜呢？

首先先纠正你一个小错误，十二点不能叫午夜，按照过去的古人计法，是以地支来计时的，子丑寅卯……，所以晚上12 点是子时，而不是午时。按五更天算，那么晚间的12点是三更天，所谓有三更半夜一说。
过去古人日出而做，日落而息，那么12点子时，算是深夜了。过了12点，就是凌晨了，但从气温上来讲，最冷的时候是出现在凌晨4点左右，而天色也是这时候最黑暗。