हयग्रीव म्हणजे घोड्याचे मस्तक. नृसिंहावतारात भगवंतांनी हिरण्यकश्यपूचा नाश केला, अशी कथा आहे. हयग्रीवावताराची ही कथा वैशंपायन ऋषींनी राजा जनमेजयाला सांगितली ती अशी -
भगवंतानी नुकतीच सृष्टी निर्माण केली होती. त्यानंतर लगेचच अगस्ती ऋषींना एक मोठा यज्ञ करावा असे वाटू लागले. त्यांनी सर्व ऋषींना एकत्र बोलावले. सर्वांनी मिळून यज्ञासाठी लागणारे हत्ती, उंट वगैरे प्राणी तसेच इतर सामग्री गोळा केली. पूर्णाहुती देण्यासाठी त्यांनी घोड्याचे मस्तक कापून बाजूला ठेवले. यज्ञाचे दुष्ट शक्तींपासून रक्षण करण्यासाठी ऋषींनी भगवंताकडे मदतीची याचना केली. ऋषींच्या विनंतीला मान देऊन भगवंत धनुष्यबाण घेऊन आले व यज्ञमंडपाच्या दाराशी उभे राहून रक्षण करू लागले. तेव्हा त्यांच्या मनात विचार आले, "आज माझ्यामुळे ऋषी निश्चिंतपणे यज्ञ करू शकतात. त्यांच्या तीर्थयात्रा, व्रत, तप, इतर कर्मकांडे माझ्या इच्छेनुसार चालतात. एवढेच नव्हे तर सृष्टीची निर्मिती, सर्व प्राणिमात्रांची निर्मिती माझ्यामुळे झाली.'' अशा विचारांनी भगवंत स्वतःलाच धन्य मानू लागले. पण या अहंकारी विचारांच्या तंद्रीत त्यांच्या धनुष्याच्या दोरीचा झटका लागून भगवंताचे शिर तुटले व ते आकाशात उडू लागले. त्यापासूनच नभोमंडळात सूर्याची निर्मिती झाली.
ऋषींचे जेव्हा भगवंताकडे लक्ष गेले तेव्हा त्यांचे मस्तक धडावेगळे झाल्याचे पाहून ते आश्चर्यचकित व दुःखी झाले. कोणा दुष्ट राक्षसाने हे काम केले असावे असे त्यांना वाटले. यज्ञाच्या पूर्णाहुतीसाठी बाजूला काढून ठेवलेले घोड्याचे मस्तक त्यांनी भगवंतांच्या शरीरावर बसवले. अशा प्रकारे हयग्रीवावतार झाला. भगवंत ऋषींना म्हणाले, "गर्व हा नेहमीच नाशक असतो. माझ्या मनात गर्व उत्पन्न झाल्यामुळे त्या आदिशक्तीने मला ही शिक्षा दिली. आता माझ्याच शिरापासून आकाशात सूर्य निर्माण झाला आहे. तो अत्यंत तेजस्वी असून त्याला माझा म्हणजे नारायणाचा अंश समजून तुम्ही त्याची भक्ती करा.''