خیام اگر ز باده مستی خوش باش		با ماهرخی اگر نشستی خوش باش
چون عاقبت کار جهان نیستی است		انگار که نیستی چو هستی خوش باش

پیش از کشف رساله خیام در جبر، شهرت او در مشرق‌زمین به واسطه اصلاحات سال و ماه ایرانی و در غرب به واسطه ترجمه رباعیاتش بوده است و تقریباً تا حدود قرن ۱۹ میلادی از تحقیقات جبری او اطلاعی در دست نبود.  به همین دلیل کوشش‌ها و تحقیقات خیام در علم جبر تأثیر چندانی در بسط این علم نداشته است و در آن زمان اروپائیان در جبر به مرحله‌ای رسیده بودند که آشنایی با رساله‌های خیام تنها از جنبه تاریخی برای آنها با اهمیت بوده است.  قدیمی‌ترین کتابی که از خیام اسمی به میان آورده و نویسندهٔ آن هم عصر خیام بوده، نظامی عروضی مؤلف «چهار مقاله» است. ولی او خیام را در ردیف منجمین ذکر می‌کند و اسمی از رباعیات او نمی‌آورد با این وجود جورج سارتن با نام بردن از خیام به عنوان یکی از بزرگ‌ترین ریاضیدانان قرون وسطی چنین می‌نویسد:

خیام اول کسی است که به تحقیق منظم علمی در معادلات درجات اول و دوم و سوم پرداخته، و طبقه‌بندی تحسین‌آوری از این معادلات آورده است، و در حل تمام صور معادلات درجه سوم منظماً تحقیق کرده، و به حل (در اغلب موارد ناقص) هندسی آنها توفیق یافته، و رساله وی در علم جبر، که مشتمل بر این تحقیقات است، معرف یک فکر منظم علمی است؛ و این رساله یکی از برجسته‌ترین آثار قرون وسطائی و احتمالاً برجسته‌ترین آنها در این علم است.

خیام در مقام ریاضی‌دان و ستاره‌شناس تحقیقات و تالیفات مهمی دارد. از جمله آنها رسالة فی البراهین علی مسائل ‌الجبر و المقابله است که در آن از جبر عمدتاً هندسی خود برای حل معادلات درجه سوم استفاده می‌کند. او معادلات درجه دوم را از روش‌های هندسی اصول اقلیدس حل می‌کند و سپس نشان می‌دهد که معادلات درجه سوم با قطع دادن مخروط‌ها با هم قابل حل هستند.  برگن معتقد است که «هر کس که ترجمهٔ انگلیسی [جبر خیام] به توسط کثیر  را بخواند استدلالات خیام را بس روشن خواهد یافت و، نیز، از نکات متعدد جالب توجهی در تاریخ انواع مختلف معادلات مطلع خواهد شد.»مسلم است که خیام در رساله‌هایش از وجود جوابهای منفی و موهومی در معادلات آگاهی نداشته است و جواب صفر را نیز در نظر نمی‌گرفته است

یکی دیگر از آثار ریاضی خیام رسالة فی شرح ما اشکل من مصادرات اقلیدس است. او در این کتاب اصل موضوعهٔ پنجم اقلیدس را دربارهٔ قضیهٔ خطوط متوازی که شالودهٔ هندسهٔ اقلیدسی است، مورد مطالعه قرار داد و اصل پنجم را اثبات کرد.به نظر می‌رسد که تنها نسخه کامل باقیمانده از این کتاب در کتابخانه لیدن در هلند قرار دارد.

درکتاب دیگری از خیام که اهمیت ویژه‌ای در تاریخ ریاضیات دارد رسالهٔ مشکلات الحساب (مسائلی در حساب) هرچند این رساله هرگز پیدا نشد اما خیام خود به این کتاب اشاره کرده است و ادعا می‌کند قواعدی برای بسط دوجمله‌ای (a + b)ⁿ کشف کرده و اثبات ادعایش به روش جبری در این کتاب است.

، به هر حال قواعد این بسط تا n = 12 توسط طوسی (که بیشترین تأثیر را از خیام گرفته) در کتاب «جوامع الحساب» آورده شده است.روش خیام در به دست آوردن ضرایب منجر به نام گذاری مثلث حسابی این ضرایب به نام مثلث خیام شد، انگلیسی زبان‌ها آن را به نام مثلث پاسکال می‌شناسند که البته خدشه‌ای بر پیشگامی خیام در کشف روشی جبری برای این ضرایب نیست.

خیام به تحلیل ریاضی موسیقی نیز پرداخته است و در القول علی اجناس التی بالاربعاء مسالهٔ تقسیم یک چهارم را به سه فاصله مربوط به مایه‌های بی‌نیم‌پرده، با نیم‌پردهٔ بالارونده، و یک چهارم پرده را شرح می‌دهد.

 مهم‌ترین دست‌آوردها

• ابداع نظریه‌ای دربارهٔ نسبت‌ها هم‌ارز با نظریهٔ اقلیدس.
• «در مورد جبر، کار خیام در ابداع نظریهٔ هندسی معادلات درجهٔ سوم موفقترین کاری است که دانشمندی مسلمان انجام داده است.»
• او نخستین کسی بود که نشان داد معادلهٔ درجهٔ سوم ممکن است دارای بیش از یک جواب باشد و یا این که اصلاً جوابی نداشته باشند.«آنچه که در هر حالت مفروض اتفاق می‌افتد بستگی به این دارد که مقاطع مخروطی‌ای که وی از آنها استفاده می‌کند در هیچ نقطه یکدیگر را قطع نکنند، یا در یک یا دو نقطه یکدیگر را قطع کنند.»
• «نخستین کسی بود که گفت معادلهٔ درجهٔ سوم را نمی‌توان عموماً با تبدیل به معادله‌های درجهٔ دوم حل کرد، اما می‌توان با بکار بردن مقاطع مخروطی به حل آن دست یافت.»
• «در نیمهٔ اول سدهٔ هیجدهم، ساکری اساس نظریهٔ خود را دربارهٔ خطوط موازی بر مطالعهٔ همان چهارضلعی دوقائمهٔ متساوی‌الساقین که خیام فرض کرده بود قرار می‌دهد و کوشش می‌کند که فرضهای حاده و منفرجه‌بودن دو زاویهٔ دیگر را رد کند.»