மார்க்கண்டேயனின் ஆயுளை முடிக்கச் சென்ற எமன், ஆணவத்தால் சிவலிங்கத்தின் மீது பாசக்கயிற்றை வீசினான். இதனால் எமனின் பதவியை பறித்ததோடு பூலோகத்தில் மனிதனாக திரிய சாபமிட்டார். விமோசனம் பெறுவதற்காக சிவபூஜை செய்ய விரும்பினான். அதற்காக ஓரிடத்தில் தோண்டவே நுரை பொங்கியது.

மணலையும், நுரையையும் சேர்த்து சிவலிங்கம் செய்து பிரதிஷ்டை செய்தான். அவனுக்கு காட்சியளித்த சிவன் மீண்டும் பதவியை கொடுத்தார். காலனுக்கு (எமன்) பதவி அளித்தவர் என்பதால் சுவாமி 'காலகாலேஸ்வரர்' எனப்பட்டார்.

கோயில்பாளையம் என்னும் இத்தலம் கோயம்புத்துார் - சத்தியமங்கலம் சாலையில் 20 கி.மீ., துாரத்தில் உள்ளது. ஆயுள் நீடிக்கவும், இழந்த பணியைப் பெறவும் இங்கு வழிபடுகின்றனர். மணல் லிங்கம் என்பதால் சுவாமிக்கு அபிஷேகம் கிடையாது. இங்குள்ள வில்வ மரத்தில் காய்க்கும் காய்கள் உருண்டையாக இல்லாமல் லிங்க வடிவில் இருக்கும்.