SAFE public projects git trees. - safe/jmp/linux-2.6/blob - arch/powerpc/platforms/ps3/interrupt.c

   1 /*
   2  *  PS3 interrupt routines.
   3  *
   4  *  Copyright (C) 2006 Sony Computer Entertainment Inc.
   5  *  Copyright 2006 Sony Corp.
   6  *
   7  *  This program is free software; you can redistribute it and/or modify
   8  *  it under the terms of the GNU General Public License as published by
   9  *  the Free Software Foundation; version 2 of the License.
  10  *
  11  *  This program is distributed in the hope that it will be useful,
  12  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  *  GNU General Public License for more details.
  15  *
  16  *  You should have received a copy of the GNU General Public License
  17  *  along with this program; if not, write to the Free Software
  18  *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19  */
  20
  21 #include <linux/kernel.h>
  22 #include <linux/module.h>
  23 #include <linux/irq.h>
  24
  25 #include <asm/machdep.h>
  26 #include <asm/udbg.h>
  27 #include <asm/lv1call.h>
  28 #include <asm/smp.h>
  29
  30 #include "platform.h"
  31
  32 #if defined(DEBUG)
  33 #define DBG udbg_printf
  34 #else
  35 #define DBG pr_debug
  36 #endif
  37
  38 /**
  39  * struct ps3_bmp - a per cpu irq status and mask bitmap structure
  40  * @status: 256 bit status bitmap indexed by plug
  41  * @unused_1:
  42  * @mask: 256 bit mask bitmap indexed by plug
  43  * @unused_2:
  44  * @lock:
  45  * @ipi_debug_brk_mask:
  46  *
  47  * The HV mantains per SMT thread mappings of HV outlet to HV plug on
  48  * behalf of the guest.  These mappings are implemented as 256 bit guest
  49  * supplied bitmaps indexed by plug number.  The addresses of the bitmaps
  50  * are registered with the HV through lv1_configure_irq_state_bitmap().
  51  * The HV requires that the 512 bits of status + mask not cross a page
  52  * boundary.  PS3_BMP_MINALIGN is used to define this minimal 64 byte
  53  * alignment.
  54  *
  55  * The HV supports 256 plugs per thread, assigned as {0..255}, for a total
  56  * of 512 plugs supported on a processor.  To simplify the logic this
  57  * implementation equates HV plug value to Linux virq value, constrains each
  58  * interrupt to have a system wide unique plug number, and limits the range
  59  * of the plug values to map into the first dword of the bitmaps.  This
  60  * gives a usable range of plug values of  {NUM_ISA_INTERRUPTS..63}.  Note
  61  * that there is no constraint on how many in this set an individual thread
  62  * can acquire.
  63  */
  64
  65 #define PS3_BMP_MINALIGN 64
  66
  67 struct ps3_bmp {
  68         struct {
  69                 u64 status;
  70                 u64 unused_1[3];
  71                 u64 mask;
  72                 u64 unused_2[3];
  73         };
  74         u64 ipi_debug_brk_mask;
  75         spinlock_t lock;
  76 };
  77
  78 /**
  79  * struct ps3_private - a per cpu data structure
  80  * @bmp: ps3_bmp structure
  81  * @node: HV logical_ppe_id
  82  * @cpu: HV thread_id
  83  */
  84
  85 struct ps3_private {
  86         struct ps3_bmp bmp __attribute__ ((aligned (PS3_BMP_MINALIGN)));
  87         u64 node;
  88         unsigned int cpu;
  89 };
  90
  91 static DEFINE_PER_CPU(struct ps3_private, ps3_private);
  92
  93 /**
  94  * ps3_chip_mask - Set an interrupt mask bit in ps3_bmp.
  95  * @virq: The assigned Linux virq.
  96  *
  97  * Sets ps3_bmp.mask and calls lv1_did_update_interrupt_mask().
  98  */
  99
 100 static void ps3_chip_mask(unsigned int virq)
 101 {
 102         struct ps3_private *pd = get_irq_chip_data(virq);
 103         u64 bit = 0x8000000000000000UL >> virq;
 104         u64 *p = &pd->bmp.mask;
 105         u64 old;
 106         unsigned long flags;
 107
 108         pr_debug("%s:%d: cpu %u, virq %d\n", __func__, __LINE__, pd->cpu, virq);
 109
 110         local_irq_save(flags);
 111         asm volatile(
 112                      "1:        ldarx %0,0,%3\n"
 113                      "andc      %0,%0,%2\n"
 114                      "stdcx.    %0,0,%3\n"
 115                      "bne-      1b"
 116                      : "=&r" (old), "+m" (*p)
 117                      : "r" (bit), "r" (p)
 118                      : "cc" );
 119
 120         lv1_did_update_interrupt_mask(pd->node, pd->cpu);
 121         local_irq_restore(flags);
 122 }
 123
 124 /**
 125  * ps3_chip_unmask - Clear an interrupt mask bit in ps3_bmp.
 126  * @virq: The assigned Linux virq.
 127  *
 128  * Clears ps3_bmp.mask and calls lv1_did_update_interrupt_mask().
 129  */
 130
 131 static void ps3_chip_unmask(unsigned int virq)
 132 {
 133         struct ps3_private *pd = get_irq_chip_data(virq);
 134         u64 bit = 0x8000000000000000UL >> virq;
 135         u64 *p = &pd->bmp.mask;
 136         u64 old;
 137         unsigned long flags;
 138
 139         pr_debug("%s:%d: cpu %u, virq %d\n", __func__, __LINE__, pd->cpu, virq);
 140
 141         local_irq_save(flags);
 142         asm volatile(
 143                      "1:        ldarx %0,0,%3\n"
 144                      "or        %0,%0,%2\n"
 145                      "stdcx.    %0,0,%3\n"
 146                      "bne-      1b"
 147                      : "=&r" (old), "+m" (*p)
 148                      : "r" (bit), "r" (p)
 149                      : "cc" );
 150
 151         lv1_did_update_interrupt_mask(pd->node, pd->cpu);
 152         local_irq_restore(flags);
 153 }
 154
 155 /**
 156  * ps3_chip_eoi - HV end-of-interrupt.
 157  * @virq: The assigned Linux virq.
 158  *
 159  * Calls lv1_end_of_interrupt_ext().
 160  */
 161
 162 static void ps3_chip_eoi(unsigned int virq)
 163 {
 164         const struct ps3_private *pd = get_irq_chip_data(virq);
 165         lv1_end_of_interrupt_ext(pd->node, pd->cpu, virq);
 166 }
 167
 168 /**
 169  * ps3_irq_chip - Represents the ps3_bmp as a Linux struct irq_chip.
 170  */
 171
 172 static struct irq_chip ps3_irq_chip = {
 173         .typename = "ps3",
 174         .mask = ps3_chip_mask,
 175         .unmask = ps3_chip_unmask,
 176         .eoi = ps3_chip_eoi,
 177 };
 178
 179 /**
 180  * ps3_virq_setup - virq related setup.
 181  * @cpu: enum ps3_cpu_binding indicating the cpu the interrupt should be
 182  * serviced on.
 183  * @outlet: The HV outlet from the various create outlet routines.
 184  * @virq: The assigned Linux virq.
 185  *
 186  * Calls irq_create_mapping() to get a virq and sets the chip data to
 187  * ps3_private data.
 188  */
 189
 190 int ps3_virq_setup(enum ps3_cpu_binding cpu, unsigned long outlet,
 191         unsigned int *virq)
 192 {
 193         int result;
 194         struct ps3_private *pd;
 195
 196         /* This defines the default interrupt distribution policy. */
 197
 198         if (cpu == PS3_BINDING_CPU_ANY)
 199                 cpu = 0;
 200
 201         pd = &per_cpu(ps3_private, cpu);
 202
 203         *virq = irq_create_mapping(NULL, outlet);
 204
 205         if (*virq == NO_IRQ) {
 206                 pr_debug("%s:%d: irq_create_mapping failed: outlet %lu\n",
 207                         __func__, __LINE__, outlet);
 208                 result = -ENOMEM;
 209                 goto fail_create;
 210         }
 211
 212         pr_debug("%s:%d: outlet %lu => cpu %u, virq %u\n", __func__, __LINE__,
 213                 outlet, cpu, *virq);
 214
 215         result = set_irq_chip_data(*virq, pd);
 216
 217         if (result) {
 218                 pr_debug("%s:%d: set_irq_chip_data failed\n",
 219                         __func__, __LINE__);
 220                 goto fail_set;
 221         }
 222
 223         ps3_chip_mask(*virq);
 224
 225         return result;
 226
 227 fail_set:
 228         irq_dispose_mapping(*virq);
 229 fail_create:
 230         return result;
 231 }
 232
 233 /**
 234  * ps3_virq_destroy - virq related teardown.
 235  * @virq: The assigned Linux virq.
 236  *
 237  * Clears chip data and calls irq_dispose_mapping() for the virq.
 238  */
 239
 240 int ps3_virq_destroy(unsigned int virq)
 241 {
 242         const struct ps3_private *pd = get_irq_chip_data(virq);
 243
 244         pr_debug("%s:%d: node %lu, cpu %d, virq %u\n", __func__, __LINE__,
 245                 pd->node, pd->cpu, virq);
 246
 247         set_irq_chip_data(virq, NULL);
 248         irq_dispose_mapping(virq);
 249
 250         pr_debug("%s:%d <-\n", __func__, __LINE__);
 251         return 0;
 252 }
 253
 254 /**
 255  * ps3_irq_plug_setup - Generic outlet and virq related setup.
 256  * @cpu: enum ps3_cpu_binding indicating the cpu the interrupt should be
 257  * serviced on.
 258  * @outlet: The HV outlet from the various create outlet routines.
 259  * @virq: The assigned Linux virq.
 260  *
 261  * Sets up virq and connects the irq plug.
 262  */
 263
 264 int ps3_irq_plug_setup(enum ps3_cpu_binding cpu, unsigned long outlet,
 265         unsigned int *virq)
 266 {
 267         int result;
 268         struct ps3_private *pd;
 269
 270         result = ps3_virq_setup(cpu, outlet, virq);
 271
 272         if (result) {
 273                 pr_debug("%s:%d: ps3_virq_setup failed\n", __func__, __LINE__);
 274                 goto fail_setup;
 275         }
 276
 277         pd = get_irq_chip_data(*virq);
 278
 279         /* Binds outlet to cpu + virq. */
 280
 281         result = lv1_connect_irq_plug_ext(pd->node, pd->cpu, *virq, outlet, 0);
 282
 283         if (result) {
 284                 pr_info("%s:%d: lv1_connect_irq_plug_ext failed: %s\n",
 285                 __func__, __LINE__, ps3_result(result));
 286                 result = -EPERM;
 287                 goto fail_connect;
 288         }
 289
 290         return result;
 291
 292 fail_connect:
 293         ps3_virq_destroy(*virq);
 294 fail_setup:
 295         return result;
 296 }
 297 EXPORT_SYMBOL_GPL(ps3_irq_plug_setup);
 298
 299 /**
 300  * ps3_irq_plug_destroy - Generic outlet and virq related teardown.
 301  * @virq: The assigned Linux virq.
 302  *
 303  * Disconnects the irq plug and tears down virq.
 304  * Do not call for system bus event interrupts setup with
 305  * ps3_sb_event_receive_port_setup().
 306  */
 307
 308 int ps3_irq_plug_destroy(unsigned int virq)
 309 {
 310         int result;
 311         const struct ps3_private *pd = get_irq_chip_data(virq);
 312
 313         pr_debug("%s:%d: node %lu, cpu %d, virq %u\n", __func__, __LINE__,
 314                 pd->node, pd->cpu, virq);
 315
 316         ps3_chip_mask(virq);
 317
 318         result = lv1_disconnect_irq_plug_ext(pd->node, pd->cpu, virq);
 319
 320         if (result)
 321                 pr_info("%s:%d: lv1_disconnect_irq_plug_ext failed: %s\n",
 322                 __func__, __LINE__, ps3_result(result));
 323
 324         ps3_virq_destroy(virq);
 325
 326         return result;
 327 }
 328 EXPORT_SYMBOL_GPL(ps3_irq_plug_destroy);
 329
 330 /**
 331  * ps3_event_receive_port_setup - Setup an event receive port.
 332  * @cpu: enum ps3_cpu_binding indicating the cpu the interrupt should be
 333  * serviced on.
 334  * @virq: The assigned Linux virq.
 335  *
 336  * The virq can be used with lv1_connect_interrupt_event_receive_port() to
 337  * arrange to receive interrupts from system-bus devices, or with
 338  * ps3_send_event_locally() to signal events.
 339  */
 340
 341 int ps3_event_receive_port_setup(enum ps3_cpu_binding cpu, unsigned int *virq)
 342 {
 343         int result;
 344         unsigned long outlet;
 345
 346         result = lv1_construct_event_receive_port(&outlet);
 347
 348         if (result) {
 349                 pr_debug("%s:%d: lv1_construct_event_receive_port failed: %s\n",
 350                         __func__, __LINE__, ps3_result(result));
 351                 *virq = NO_IRQ;
 352                 return result;
 353         }
 354
 355         result = ps3_irq_plug_setup(cpu, outlet, virq);
 356         BUG_ON(result);
 357
 358         return result;
 359 }
 360 EXPORT_SYMBOL_GPL(ps3_event_receive_port_setup);
 361
 362 /**
 363  * ps3_event_receive_port_destroy - Destroy an event receive port.
 364  * @virq: The assigned Linux virq.
 365  *
 366  * Since ps3_event_receive_port_destroy destroys the receive port outlet,
 367  * SB devices need to call disconnect_interrupt_event_receive_port() before
 368  * this.
 369  */
 370
 371 int ps3_event_receive_port_destroy(unsigned int virq)
 372 {
 373         int result;
 374
 375         pr_debug(" -> %s:%d virq %u\n", __func__, __LINE__, virq);
 376
 377         ps3_chip_mask(virq);
 378
 379         result = lv1_destruct_event_receive_port(virq_to_hw(virq));
 380
 381         if (result)
 382                 pr_debug("%s:%d: lv1_destruct_event_receive_port failed: %s\n",
 383                         __func__, __LINE__, ps3_result(result));
 384
 385         /*
 386          * Don't call ps3_virq_destroy() here since ps3_smp_cleanup_cpu()
 387          * calls from interrupt context (smp_call_function) when kexecing.
 388          */
 389
 390         pr_debug(" <- %s:%d\n", __func__, __LINE__);
 391         return result;
 392 }
 393
 394 int ps3_send_event_locally(unsigned int virq)
 395 {
 396         return lv1_send_event_locally(virq_to_hw(virq));
 397 }
 398
 399 /**
 400  * ps3_sb_event_receive_port_setup - Setup a system bus event receive port.
 401  * @cpu: enum ps3_cpu_binding indicating the cpu the interrupt should be
 402  * serviced on.
 403  * @did: The HV device identifier read from the system repository.
 404  * @interrupt_id: The device interrupt id read from the system repository.
 405  * @virq: The assigned Linux virq.
 406  *
 407  * An event irq represents a virtual device interrupt.  The interrupt_id
 408  * coresponds to the software interrupt number.
 409  */
 410
 411 int ps3_sb_event_receive_port_setup(enum ps3_cpu_binding cpu,
 412         const struct ps3_device_id *did, unsigned int interrupt_id,
 413         unsigned int *virq)
 414 {
 415         /* this should go in system-bus.c */
 416
 417         int result;
 418
 419         result = ps3_event_receive_port_setup(cpu, virq);
 420
 421         if (result)
 422                 return result;
 423
 424         result = lv1_connect_interrupt_event_receive_port(did->bus_id,
 425                 did->dev_id, virq_to_hw(*virq), interrupt_id);
 426
 427         if (result) {
 428                 pr_debug("%s:%d: lv1_connect_interrupt_event_receive_port"
 429                         " failed: %s\n", __func__, __LINE__,
 430                         ps3_result(result));
 431                 ps3_event_receive_port_destroy(*virq);
 432                 *virq = NO_IRQ;
 433                 return result;
 434         }
 435
 436         pr_debug("%s:%d: interrupt_id %u, virq %u\n", __func__, __LINE__,
 437                 interrupt_id, *virq);
 438
 439         return 0;
 440 }
 441 EXPORT_SYMBOL(ps3_sb_event_receive_port_setup);
 442
 443 int ps3_sb_event_receive_port_destroy(const struct ps3_device_id *did,
 444         unsigned int interrupt_id, unsigned int virq)
 445 {
 446         /* this should go in system-bus.c */
 447
 448         int result;
 449
 450         pr_debug(" -> %s:%d: interrupt_id %u, virq %u\n", __func__, __LINE__,
 451                 interrupt_id, virq);
 452
 453         result = lv1_disconnect_interrupt_event_receive_port(did->bus_id,
 454                 did->dev_id, virq_to_hw(virq), interrupt_id);
 455
 456         if (result)
 457                 pr_debug("%s:%d: lv1_disconnect_interrupt_event_receive_port"
 458                         " failed: %s\n", __func__, __LINE__,
 459                         ps3_result(result));
 460
 461         result = ps3_event_receive_port_destroy(virq);
 462         BUG_ON(result);
 463
 464         /*
 465          * ps3_event_receive_port_destroy() destroys the IRQ plug,
 466          * so don't call ps3_irq_plug_destroy() here.
 467          */
 468
 469         result = ps3_virq_destroy(virq);
 470         BUG_ON(result);
 471
 472         pr_debug(" <- %s:%d\n", __func__, __LINE__);
 473         return result;
 474 }
 475 EXPORT_SYMBOL(ps3_sb_event_receive_port_destroy);
 476
 477 /**
 478  * ps3_io_irq_setup - Setup a system bus io irq.
 479  * @cpu: enum ps3_cpu_binding indicating the cpu the interrupt should be
 480  * serviced on.
 481  * @interrupt_id: The device interrupt id read from the system repository.
 482  * @virq: The assigned Linux virq.
 483  *
 484  * An io irq represents a non-virtualized device interrupt.  interrupt_id
 485  * coresponds to the interrupt number of the interrupt controller.
 486  */
 487
 488 int ps3_io_irq_setup(enum ps3_cpu_binding cpu, unsigned int interrupt_id,
 489         unsigned int *virq)
 490 {
 491         int result;
 492         unsigned long outlet;
 493
 494         result = lv1_construct_io_irq_outlet(interrupt_id, &outlet);
 495
 496         if (result) {
 497                 pr_debug("%s:%d: lv1_construct_io_irq_outlet failed: %s\n",
 498                         __func__, __LINE__, ps3_result(result));
 499                 return result;
 500         }
 501
 502         result = ps3_irq_plug_setup(cpu, outlet, virq);
 503         BUG_ON(result);
 504
 505         return result;
 506 }
 507 EXPORT_SYMBOL_GPL(ps3_io_irq_setup);
 508
 509 int ps3_io_irq_destroy(unsigned int virq)
 510 {
 511         int result;
 512         unsigned long outlet = virq_to_hw(virq);
 513
 514         ps3_chip_mask(virq);
 515
 516         /*
 517          * lv1_destruct_io_irq_outlet() will destroy the IRQ plug,
 518          * so call ps3_irq_plug_destroy() first.
 519          */
 520
 521         result = ps3_irq_plug_destroy(virq);
 522         BUG_ON(result);
 523
 524         result = lv1_destruct_io_irq_outlet(outlet);
 525
 526         if (result)
 527                 pr_debug("%s:%d: lv1_destruct_io_irq_outlet failed: %s\n",
 528                         __func__, __LINE__, ps3_result(result));
 529
 530         return result;
 531 }
 532 EXPORT_SYMBOL_GPL(ps3_io_irq_destroy);
 533
 534 /**
 535  * ps3_vuart_irq_setup - Setup the system virtual uart virq.
 536  * @cpu: enum ps3_cpu_binding indicating the cpu the interrupt should be
 537  * serviced on.
 538  * @virt_addr_bmp: The caller supplied virtual uart interrupt bitmap.
 539  * @virq: The assigned Linux virq.
 540  *
 541  * The system supports only a single virtual uart, so multiple calls without
 542  * freeing the interrupt will return a wrong state error.
 543  */
 544
 545 int ps3_vuart_irq_setup(enum ps3_cpu_binding cpu, void* virt_addr_bmp,
 546         unsigned int *virq)
 547 {
 548         int result;
 549         unsigned long outlet;
 550         u64 lpar_addr;
 551
 552         BUG_ON(!is_kernel_addr((u64)virt_addr_bmp));
 553
 554         lpar_addr = ps3_mm_phys_to_lpar(__pa(virt_addr_bmp));
 555
 556         result = lv1_configure_virtual_uart_irq(lpar_addr, &outlet);
 557
 558         if (result) {
 559                 pr_debug("%s:%d: lv1_configure_virtual_uart_irq failed: %s\n",
 560                         __func__, __LINE__, ps3_result(result));
 561                 return result;
 562         }
 563
 564         result = ps3_irq_plug_setup(cpu, outlet, virq);
 565         BUG_ON(result);
 566
 567         return result;
 568 }
 569
 570 int ps3_vuart_irq_destroy(unsigned int virq)
 571 {
 572         int result;
 573
 574         ps3_chip_mask(virq);
 575         result = lv1_deconfigure_virtual_uart_irq();
 576
 577         if (result) {
 578                 pr_debug("%s:%d: lv1_configure_virtual_uart_irq failed: %s\n",
 579                         __func__, __LINE__, ps3_result(result));
 580                 return result;
 581         }
 582
 583         result = ps3_irq_plug_destroy(virq);
 584         BUG_ON(result);
 585
 586         return result;
 587 }
 588
 589 /**
 590  * ps3_spe_irq_setup - Setup an spe virq.
 591  * @cpu: enum ps3_cpu_binding indicating the cpu the interrupt should be
 592  * serviced on.
 593  * @spe_id: The spe_id returned from lv1_construct_logical_spe().
 594  * @class: The spe interrupt class {0,1,2}.
 595  * @virq: The assigned Linux virq.
 596  *
 597  */
 598
 599 int ps3_spe_irq_setup(enum ps3_cpu_binding cpu, unsigned long spe_id,
 600         unsigned int class, unsigned int *virq)
 601 {
 602         int result;
 603         unsigned long outlet;
 604
 605         BUG_ON(class > 2);
 606
 607         result = lv1_get_spe_irq_outlet(spe_id, class, &outlet);
 608
 609         if (result) {
 610                 pr_debug("%s:%d: lv1_get_spe_irq_outlet failed: %s\n",
 611                         __func__, __LINE__, ps3_result(result));
 612                 return result;
 613         }
 614
 615         result = ps3_irq_plug_setup(cpu, outlet, virq);
 616         BUG_ON(result);
 617
 618         return result;
 619 }
 620
 621 int ps3_spe_irq_destroy(unsigned int virq)
 622 {
 623         int result;
 624
 625         ps3_chip_mask(virq);
 626
 627         result = ps3_irq_plug_destroy(virq);
 628         BUG_ON(result);
 629
 630         return result;
 631 }
 632
 633
 634 #define PS3_INVALID_OUTLET ((irq_hw_number_t)-1)
 635 #define PS3_PLUG_MAX 63
 636
 637 #if defined(DEBUG)
 638 static void _dump_64_bmp(const char *header, const u64 *p, unsigned cpu,
 639         const char* func, int line)
 640 {
 641         pr_debug("%s:%d: %s %u {%04lx_%04lx_%04lx_%04lx}\n",
 642                 func, line, header, cpu,
 643                 *p >> 48, (*p >> 32) & 0xffff, (*p >> 16) & 0xffff,
 644                 *p & 0xffff);
 645 }
 646
 647 static void __maybe_unused _dump_256_bmp(const char *header,
 648         const u64 *p, unsigned cpu, const char* func, int line)
 649 {
 650         pr_debug("%s:%d: %s %u {%016lx:%016lx:%016lx:%016lx}\n",
 651                 func, line, header, cpu, p[0], p[1], p[2], p[3]);
 652 }
 653
 654 #define dump_bmp(_x) _dump_bmp(_x, __func__, __LINE__)
 655 static void _dump_bmp(struct ps3_private* pd, const char* func, int line)
 656 {
 657         unsigned long flags;
 658
 659         spin_lock_irqsave(&pd->bmp.lock, flags);
 660         _dump_64_bmp("stat", &pd->bmp.status, pd->cpu, func, line);
 661         _dump_64_bmp("mask", &pd->bmp.mask, pd->cpu, func, line);
 662         spin_unlock_irqrestore(&pd->bmp.lock, flags);
 663 }
 664
 665 #define dump_mask(_x) _dump_mask(_x, __func__, __LINE__)
 666 static void __maybe_unused _dump_mask(struct ps3_private *pd,
 667         const char* func, int line)
 668 {
 669         unsigned long flags;
 670
 671         spin_lock_irqsave(&pd->bmp.lock, flags);
 672         _dump_64_bmp("mask", &pd->bmp.mask, pd->cpu, func, line);
 673         spin_unlock_irqrestore(&pd->bmp.lock, flags);
 674 }
 675 #else
 676 static void dump_bmp(struct ps3_private* pd) {};
 677 #endif /* defined(DEBUG) */
 678
 679 static void ps3_host_unmap(struct irq_host *h, unsigned int virq)
 680 {
 681         set_irq_chip_data(virq, NULL);
 682 }
 683
 684 static int ps3_host_map(struct irq_host *h, unsigned int virq,
 685         irq_hw_number_t hwirq)
 686 {
 687         pr_debug("%s:%d: hwirq %lu, virq %u\n", __func__, __LINE__, hwirq,
 688                 virq);
 689
 690         set_irq_chip_and_handler(virq, &ps3_irq_chip, handle_fasteoi_irq);
 691
 692         return 0;
 693 }
 694
 695 static struct irq_host_ops ps3_host_ops = {
 696         .map = ps3_host_map,
 697         .unmap = ps3_host_unmap,
 698 };
 699
 700 void __init ps3_register_ipi_debug_brk(unsigned int cpu, unsigned int virq)
 701 {
 702         struct ps3_private *pd = &per_cpu(ps3_private, cpu);
 703
 704         pd->bmp.ipi_debug_brk_mask = 0x8000000000000000UL >> virq;
 705
 706         pr_debug("%s:%d: cpu %u, virq %u, mask %lxh\n", __func__, __LINE__,
 707                 cpu, virq, pd->bmp.ipi_debug_brk_mask);
 708 }
 709
 710 static unsigned int ps3_get_irq(void)
 711 {
 712         struct ps3_private *pd = &__get_cpu_var(ps3_private);
 713         u64 x = (pd->bmp.status & pd->bmp.mask);
 714         unsigned int plug;
 715
 716         /* check for ipi break first to stop this cpu ASAP */
 717
 718         if (x & pd->bmp.ipi_debug_brk_mask)
 719                 x &= pd->bmp.ipi_debug_brk_mask;
 720
 721         asm volatile("cntlzd %0,%1" : "=r" (plug) : "r" (x));
 722         plug &= 0x3f;
 723
 724         if (unlikely(plug) == NO_IRQ) {
 725                 pr_debug("%s:%d: no plug found: cpu %u\n", __func__, __LINE__,
 726                         pd->cpu);
 727                 dump_bmp(&per_cpu(ps3_private, 0));
 728                 dump_bmp(&per_cpu(ps3_private, 1));
 729                 return NO_IRQ;
 730         }
 731
 732 #if defined(DEBUG)
 733         if (unlikely(plug < NUM_ISA_INTERRUPTS || plug > PS3_PLUG_MAX)) {
 734                 dump_bmp(&per_cpu(ps3_private, 0));
 735                 dump_bmp(&per_cpu(ps3_private, 1));
 736                 BUG();
 737         }
 738 #endif
 739         return plug;
 740 }
 741
 742 void __init ps3_init_IRQ(void)
 743 {
 744         int result;
 745         unsigned cpu;
 746         struct irq_host *host;
 747
 748         host = irq_alloc_host(IRQ_HOST_MAP_NOMAP, 0, &ps3_host_ops,
 749                 PS3_INVALID_OUTLET);
 750         irq_set_default_host(host);
 751         irq_set_virq_count(PS3_PLUG_MAX + 1);
 752
 753         for_each_possible_cpu(cpu) {
 754                 struct ps3_private *pd = &per_cpu(ps3_private, cpu);
 755
 756                 lv1_get_logical_ppe_id(&pd->node);
 757                 pd->cpu = get_hard_smp_processor_id(cpu);
 758                 spin_lock_init(&pd->bmp.lock);
 759
 760                 pr_debug("%s:%d: node %lu, cpu %d, bmp %lxh\n", __func__,
 761                         __LINE__, pd->node, pd->cpu,
 762                         ps3_mm_phys_to_lpar(__pa(&pd->bmp)));
 763
 764                 result = lv1_configure_irq_state_bitmap(pd->node, pd->cpu,
 765                         ps3_mm_phys_to_lpar(__pa(&pd->bmp)));
 766
 767                 if (result)
 768                         pr_debug("%s:%d: lv1_configure_irq_state_bitmap failed:"
 769                                 " %s\n", __func__, __LINE__,
 770                                 ps3_result(result));
 771         }
 772
 773         ppc_md.get_irq = ps3_get_irq;
 774 }
 775
 776 void ps3_shutdown_IRQ(int cpu)
 777 {
 778         int result;
 779         u64 ppe_id;
 780         u64 thread_id = get_hard_smp_processor_id(cpu);
 781
 782         lv1_get_logical_ppe_id(&ppe_id);
 783         result = lv1_configure_irq_state_bitmap(ppe_id, thread_id, 0);
 784
 785         DBG("%s:%d: lv1_configure_irq_state_bitmap (%lu:%lu/%d) %s\n", __func__,
 786                 __LINE__, ppe_id, thread_id, cpu, ps3_result(result));
 787 }