Не по венгерскому паспорту, а как гражданин Венгрии, как я понимаю.
Или у него фальшивый венгерский паспорт без венгерского гражданства?
У вас биометрический украинский загранпаспорт, или внутренний украинский паспорт? Для выездов за пределы Украины вам нужен заграничный паспорт и соответствующая виза при необходимости.
Для воссоединения с мужем вам нужно обратиться в Посольство Германии в Украине и подать документы на получение национальной визы D по параграфу воссоединение семьи. Так как вы воссоединяетесь с гражданином ЕС, то сертификат немецкого вам не нужен.
Список необходимых документов можно найти сайте Посольства Германии в Украине.
Webseite des Auswärtigen Amts
kiew.diplo.de
P.S. Немецкий все же рекомендую начать учить, если ещё нет. Очень пригодится.