威胁他们一家的人是20多岁的男子潘某，因为潘某的家人在小区附近开茶馆，所以认识了死者的女儿小唐。潘某想和小唐交往，但遭到了拒绝。国庆过后，小唐跟自己生父去了外地工作。潘某找不到小唐，于是常常跑到龙先生家里大闹，还通过发短信等方式威胁他们，说要把他们一家全部杀死。