SAFE public projects git trees. - safe/jmp/linux-2.6/blob - arch/x86/kernel/relocate_kernel_32.S

   1 /*
   2  * relocate_kernel.S - put the kernel image in place to boot
   3  * Copyright (C) 2002-2004 Eric Biederman  <ebiederm@xmission.com>
   4  *
   5  * This source code is licensed under the GNU General Public License,
   6  * Version 2.  See the file COPYING for more details.
   7  */
   8
   9 #include <linux/linkage.h>
  10 #include <asm/page.h>
  11 #include <asm/kexec.h>
  12 #include <asm/processor-flags.h>
  13
  14 /*
  15  * Must be relocatable PIC code callable as a C function
  16  */
  17
  18 #define PTR(x) (x << 2)
  19 #define PAGE_ATTR 0x63 /* _PAGE_PRESENT|_PAGE_RW|_PAGE_ACCESSED|_PAGE_DIRTY */
  20 #define PAE_PGD_ATTR 0x01 /* _PAGE_PRESENT */
  21
  22         .text
  23         .align PAGE_SIZE
  24         .globl relocate_kernel
  25 relocate_kernel:
  26         movl    8(%esp), %ebp /* list of pages */
  27
  28 #ifdef CONFIG_X86_PAE
  29         /* map the control page at its virtual address */
  30
  31         movl    PTR(VA_PGD)(%ebp), %edi
  32         movl    PTR(VA_CONTROL_PAGE)(%ebp), %eax
  33         andl    $0xc0000000, %eax
  34         shrl    $27, %eax
  35         addl    %edi, %eax
  36
  37         movl    PTR(PA_PMD_0)(%ebp), %edx
  38         orl     $PAE_PGD_ATTR, %edx
  39         movl    %edx, (%eax)
  40
  41         movl    PTR(VA_PMD_0)(%ebp), %edi
  42         movl    PTR(VA_CONTROL_PAGE)(%ebp), %eax
  43         andl    $0x3fe00000, %eax
  44         shrl    $18, %eax
  45         addl    %edi, %eax
  46
  47         movl    PTR(PA_PTE_0)(%ebp), %edx
  48         orl     $PAGE_ATTR, %edx
  49         movl    %edx, (%eax)
  50
  51         movl    PTR(VA_PTE_0)(%ebp), %edi
  52         movl    PTR(VA_CONTROL_PAGE)(%ebp), %eax
  53         andl    $0x001ff000, %eax
  54         shrl    $9, %eax
  55         addl    %edi, %eax
  56
  57         movl    PTR(PA_CONTROL_PAGE)(%ebp), %edx
  58         orl     $PAGE_ATTR, %edx
  59         movl    %edx, (%eax)
  60
  61         /* identity map the control page at its physical address */
  62
  63         movl    PTR(VA_PGD)(%ebp), %edi
  64         movl    PTR(PA_CONTROL_PAGE)(%ebp), %eax
  65         andl    $0xc0000000, %eax
  66         shrl    $27, %eax
  67         addl    %edi, %eax
  68
  69         movl    PTR(PA_PMD_1)(%ebp), %edx
  70         orl     $PAE_PGD_ATTR, %edx
  71         movl    %edx, (%eax)
  72
  73         movl    PTR(VA_PMD_1)(%ebp), %edi
  74         movl    PTR(PA_CONTROL_PAGE)(%ebp), %eax
  75         andl    $0x3fe00000, %eax
  76         shrl    $18, %eax
  77         addl    %edi, %eax
  78
  79         movl    PTR(PA_PTE_1)(%ebp), %edx
  80         orl     $PAGE_ATTR, %edx
  81         movl    %edx, (%eax)
  82
  83         movl    PTR(VA_PTE_1)(%ebp), %edi
  84         movl    PTR(PA_CONTROL_PAGE)(%ebp), %eax
  85         andl    $0x001ff000, %eax
  86         shrl    $9, %eax
  87         addl    %edi, %eax
  88
  89         movl    PTR(PA_CONTROL_PAGE)(%ebp), %edx
  90         orl     $PAGE_ATTR, %edx
  91         movl    %edx, (%eax)
  92 #else
  93         /* map the control page at its virtual address */
  94
  95         movl    PTR(VA_PGD)(%ebp), %edi
  96         movl    PTR(VA_CONTROL_PAGE)(%ebp), %eax
  97         andl    $0xffc00000, %eax
  98         shrl    $20, %eax
  99         addl    %edi, %eax
 100
 101         movl    PTR(PA_PTE_0)(%ebp), %edx
 102         orl     $PAGE_ATTR, %edx
 103         movl    %edx, (%eax)
 104
 105         movl    PTR(VA_PTE_0)(%ebp), %edi
 106         movl    PTR(VA_CONTROL_PAGE)(%ebp), %eax
 107         andl    $0x003ff000, %eax
 108         shrl    $10, %eax
 109         addl    %edi, %eax
 110
 111         movl    PTR(PA_CONTROL_PAGE)(%ebp), %edx
 112         orl     $PAGE_ATTR, %edx
 113         movl    %edx, (%eax)
 114
 115         /* identity map the control page at its physical address */
 116
 117         movl    PTR(VA_PGD)(%ebp), %edi
 118         movl    PTR(PA_CONTROL_PAGE)(%ebp), %eax
 119         andl    $0xffc00000, %eax
 120         shrl    $20, %eax
 121         addl    %edi, %eax
 122
 123         movl    PTR(PA_PTE_1)(%ebp), %edx
 124         orl     $PAGE_ATTR, %edx
 125         movl    %edx, (%eax)
 126
 127         movl    PTR(VA_PTE_1)(%ebp), %edi
 128         movl    PTR(PA_CONTROL_PAGE)(%ebp), %eax
 129         andl    $0x003ff000, %eax
 130         shrl    $10, %eax
 131         addl    %edi, %eax
 132
 133         movl    PTR(PA_CONTROL_PAGE)(%ebp), %edx
 134         orl     $PAGE_ATTR, %edx
 135         movl    %edx, (%eax)
 136 #endif
 137
 138 relocate_new_kernel:
 139         /* read the arguments and say goodbye to the stack */
 140         movl  4(%esp), %ebx /* page_list */
 141         movl  8(%esp), %ebp /* list of pages */
 142         movl  12(%esp), %edx /* start address */
 143         movl  16(%esp), %ecx /* cpu_has_pae */
 144
 145         /* zero out flags, and disable interrupts */
 146         pushl $0
 147         popfl
 148
 149         /* get physical address of control page now */
 150         /* this is impossible after page table switch */
 151         movl    PTR(PA_CONTROL_PAGE)(%ebp), %edi
 152
 153         /* switch to new set of page tables */
 154         movl    PTR(PA_PGD)(%ebp), %eax
 155         movl    %eax, %cr3
 156
 157         /* setup a new stack at the end of the physical control page */
 158         lea     PAGE_SIZE(%edi), %esp
 159
 160         /* jump to identity mapped page */
 161         movl    %edi, %eax
 162         addl    $(identity_mapped - relocate_kernel), %eax
 163         pushl   %eax
 164         ret
 165
 166 identity_mapped:
 167         /* store the start address on the stack */
 168         pushl   %edx
 169
 170         /* Set cr0 to a known state:
 171          *  - Paging disabled
 172          *  - Alignment check disabled
 173          *  - Write protect disabled
 174          *  - No task switch
 175          *  - Don't do FP software emulation.
 176          *  - Proctected mode enabled
 177          */
 178         movl    %cr0, %eax
 179         andl    $~(X86_CR0_PG | X86_CR0_AM | X86_CR0_WP | X86_CR0_TS | X86_CR0_EM), %eax
 180         orl     $(X86_CR0_PE), %eax
 181         movl    %eax, %cr0
 182
 183         /* clear cr4 if applicable */
 184         testl   %ecx, %ecx
 185         jz      1f
 186         /* Set cr4 to a known state:
 187          * Setting everything to zero seems safe.
 188          */
 189         xorl    %eax, %eax
 190         movl    %eax, %cr4
 191
 192         jmp 1f
 193 1:
 194
 195         /* Flush the TLB (needed?) */
 196         xorl    %eax, %eax
 197         movl    %eax, %cr3
 198
 199         /* Do the copies */
 200         movl    %ebx, %ecx
 201         jmp     1f
 202
 203 0:      /* top, read another word from the indirection page */
 204         movl    (%ebx), %ecx
 205         addl    $4, %ebx
 206 1:
 207         testl   $0x1,   %ecx  /* is it a destination page */
 208         jz      2f
 209         movl    %ecx,   %edi
 210         andl    $0xfffff000, %edi
 211         jmp     0b
 212 2:
 213         testl   $0x2,   %ecx  /* is it an indirection page */
 214         jz      2f
 215         movl    %ecx,   %ebx
 216         andl    $0xfffff000, %ebx
 217         jmp     0b
 218 2:
 219         testl   $0x4,   %ecx /* is it the done indicator */
 220         jz      2f
 221         jmp     3f
 222 2:
 223         testl   $0x8,   %ecx /* is it the source indicator */
 224         jz      0b           /* Ignore it otherwise */
 225         movl    %ecx,   %esi /* For every source page do a copy */
 226         andl    $0xfffff000, %esi
 227
 228         movl    $1024, %ecx
 229         rep ; movsl
 230         jmp     0b
 231
 232 3:
 233
 234         /* To be certain of avoiding problems with self-modifying code
 235          * I need to execute a serializing instruction here.
 236          * So I flush the TLB, it's handy, and not processor dependent.
 237          */
 238         xorl    %eax, %eax
 239         movl    %eax, %cr3
 240
 241         /* set all of the registers to known values */
 242         /* leave %esp alone */
 243
 244         xorl    %eax, %eax
 245         xorl    %ebx, %ebx
 246         xorl    %ecx, %ecx
 247         xorl    %edx, %edx
 248         xorl    %esi, %esi
 249         xorl    %edi, %edi
 250         xorl    %ebp, %ebp
 251         ret