如何excel中两个工作表中查找相同的名字

感觉你的公式=if(countif(sheet2!b1:b5123,b3),1,0)是对的。
看看两表的单位名称列中单位名称前后是否有不可见的字符，比如空格等，或者括号有的是半角，有的是全角。