از مورخان او را ولیعهد و جانشین بلاواسطه طغرل دانستهاند و برخی دیگر از مورخان بر این باورند که آلپ ارسلان پس از یک درگیری محدود خانوادگی جانشین طغرل شد. از جمله حمدالله مستوفی بر این رأی است و میگوید پس از طغرل، سلیمان بن چغری بیک، برادر آلپ ارسلان بر تخت نشست که در ری بود. قتلمش پسر اسماعیل و عموزاده طغرل چون این خبر شنید، به انگیزه این که جایگاه پادشاهی را از آن خود میدانست، با کمک گروهی از ترکمانان به جنگ سلیمان آمد و بر وی پیروز شد. آلپ ارسلان نیز پس از آگاهی از این رویداد، از خراسان رهسپار ری شد و در دامغان قتلمش را شکست داد و وی به هنگام فرار از اسب افتاد و در دم جان سپرد و پادشاهی سلجوقیان از آن آلپ ارسلان شد. در زمان آلپ ارسلان، وزیر طغرل، عمیدالملک کندری، به بدگویی و سخنچینی خواجه نظامالملک طوسی و به دستور پادشاه در ۴۵۶ ق / ۱۰۶۴ م به قتل رسید و مقام وزارت به نظامالملک سپرده شد. آلپ ارسلان سال بعد، رهسپار گرجستان و ارمنستان شد و شهرهای آنی و دربند خزر را گرفت و با پادشاه گرجستان، بقراط پسر گریگور، به جنگ پرداخت و او را شکست داد. گریگور به سلطان با سازش نشست و گروهی از بزرگان و امیران گرجی به اسارت درآمدند که تعدادی از آنها نیز اسلام آوردند. بقراط بن گریگور، دختر خود را به ازدواج آلپ ارسلان درآورد و سلطان نیز حکومت گرجستان را دوباره به بقراط پسر گریگور داد. پس از چندی، آلپ ارسلان، شاهزاده خانم گرجی را طلاق داد و او را به عقد خواجه نظامالملک درآورد که یکی از پسران خواجه به نام احمد، از این زن است.
آلپ ارسلان در ۴۵۸ قمری(۱۰۶۶ میلادی)، فارس را تسخیر کرد و در سال ۴۵۹ قمری(۱۰۶۷ میلادی)، برادر خود قاورد را از کرمان به جنگ فضلویه، پادشاه شبانکاره فرستاد. با پیروزی قاورد، تمامی کرانه فارس به قلمرو آلسلجوق افزوده شد. قاورد پس از این پیروزی، در برابر آلپ ارسلان سرکشی آغاز کرد و نافرمان شد. سلطان آلپ ارسلان هم با سپاهی گران به فارس لشکر کشید و قاورد که تاب مقاومت در برابر سپاه آلپ ارسلان را نداشت، از برادر امان خواست و پادشاه او را به حکومت کرمان فرستاد. در ۴۶۳ ق / اگوست ۱۰۷۱ م، سلطان سلجوقی در ملازگرد واقع در ارمنستان، در پیکار با امپراتوری روم، لشکر بیزانس را مغلوب نمود و رومانوس چهارم، قیصر بیزانس را اسیر کرد. او دو سال بعد با ۲۰۰ هزار سوار به جنگ با شمس التکین، پسر طمغاج، پادشاه ماوراءالنهر، به خراسان رهسپار شد و از رود جیحون گذشت و دژ برزم را محاصره و پس از چندی آن را گشود. در این گیر و دار، یوسف برزمی مسئول دژ را به نزد سلطان آوردند. سلطان دربارهٔ شمار سپاهیان خان ماوراءالنهر از وی پرسشهایی کرد ولی یوسف به درشتی به سلطان پاسخ گفت. آلپ ارسلان که سخت خشمگین شده بود، دستور داد او را بیرون برده به قتل رسانند، ولی یوسف خود را از چنگ غلامان رهایی داد و با خنجری که از آستین خویش بیرون آورد، به سوی سلطان شتافت. غلامان از این کار جلوگیری کردند، اما آلپ ارسلان که به تیراندازی خود مطمئن بود، دستور داد تا او را رها کنند و از کمان تیری به سوی او رها کرد، از قضا، تیر به یوسف اصابت نکرد و در این میان، یوسف خود را به سلطان رساند و با خنجر زخمی کاری بر او زد. آلب ارسلان از این زخم در ربیعالاول ۴۶۵ ق / نوامبر ۱۰۷۲ م درگذشت. مورخان میگویند هنگام بروز این واقعه، دو هزار غلام مسلح در خدمت سلطان بودند و از شگفتزدگی به اندیشه دستگیری قاتل نبودند ولی جامع نیشابوری سرکرده فراشان دربار، با میخکوبی که در دست داشت بر سر یوسف کوفت و او را از پای درآورد. سپس