Může zaměstnavatel vyžadovat dokončení úkolů?

Dobrý den,
Se zaměstnavatelem jsem ukončil běžnou pracovní smlouvu a dohodli jsme se na výpomoci pomocí dohody o provedení práce (tu jsme nepodepsali).

Takto jsem pracoval tři týdny. Ale nyní již nechci vůbec pokračovat a tak jsem to zaměstnavateli oznámil.

Nyní zvažuje žalobu ve vysoké výši, pokud nedodělám nějaké úkoly (které by mi zabrali přes 40 hodin). Peníze od něj za doposavaď odvedenou práci nepožaduji.

Také se ohání „Poškozením dobrého jména firmi v očích zákazníků za nedodržení termínů“.

Jsem mu nějak nadále zodpovědný plnit práci, kterou již plnit nechci? Co vše další může na mě použít?

Děkuji,

M.

Doplňuji:
Mé důvody jsou, že to prostě nestíhám. Není to, že bych mu chtěl ublížit.
Původní domluva zněla, že to zkusím u současného zaměstnání, pokud to nepůjde, tak to prostě nepůjde. Již nechci spát jen 4 hodiny denně a bát se, že to bude příčinnou rozvodu.