time: ntp: micro-optimize ntp_update_offset()
[safe/jmp/linux-2.6] / kernel / time / ntp.c
1 /*
2  * NTP state machine interfaces and logic.
3  *
4  * This code was mainly moved from kernel/timer.c and kernel/time.c
5  * Please see those files for relevant copyright info and historical
6  * changelogs.
7  */
8 #include <linux/capability.h>
9 #include <linux/clocksource.h>
10 #include <linux/workqueue.h>
11 #include <linux/hrtimer.h>
12 #include <linux/jiffies.h>
13 #include <linux/math64.h>
14 #include <linux/timex.h>
15 #include <linux/time.h>
16 #include <linux/mm.h>
17
18 /*
19  * NTP timekeeping variables:
20  */
21
22 /* USER_HZ period (usecs): */
23 unsigned long                   tick_usec = TICK_USEC;
24
25 /* ACTHZ period (nsecs): */
26 unsigned long                   tick_nsec;
27
28 u64                             tick_length;
29 static u64                      tick_length_base;
30
31 static struct hrtimer           leap_timer;
32
33 #define MAX_TICKADJ             500LL           /* usecs */
34 #define MAX_TICKADJ_SCALED \
35         (((MAX_TICKADJ * NSEC_PER_USEC) << NTP_SCALE_SHIFT) / NTP_INTERVAL_FREQ)
36
37 /*
38  * phase-lock loop variables
39  */
40
41 /*
42  * clock synchronization status
43  *
44  * (TIME_ERROR prevents overwriting the CMOS clock)
45  */
46 static int                      time_state = TIME_OK;
47
48 /* clock status bits:                                                   */
49 int                             time_status = STA_UNSYNC;
50
51 /* TAI offset (secs):                                                   */
52 static long                     time_tai;
53
54 /* time adjustment (nsecs):                                             */
55 static s64                      time_offset;
56
57 /* pll time constant:                                                   */
58 static long                     time_constant = 2;
59
60 /* maximum error (usecs):                                               */
61 long                            time_maxerror = NTP_PHASE_LIMIT;
62
63 /* estimated error (usecs):                                             */
64 long                            time_esterror = NTP_PHASE_LIMIT;
65
66 /* frequency offset (scaled nsecs/secs):                                */
67 static s64                      time_freq;
68
69 /* time at last adjustment (secs):                                      */
70 static long                     time_reftime;
71
72 long                            time_adjust;
73
74 static long                     ntp_tick_adj;
75
76 /*
77  * NTP methods:
78  */
79
80 /*
81  * Update (tick_length, tick_length_base, tick_nsec), based
82  * on (tick_usec, ntp_tick_adj, time_freq):
83  */
84 static void ntp_update_frequency(void)
85 {
86         u64 second_length;
87         u64 new_base;
88
89         second_length            = (u64)(tick_usec * NSEC_PER_USEC * USER_HZ)
90                                                 << NTP_SCALE_SHIFT;
91
92         second_length           += (s64)ntp_tick_adj << NTP_SCALE_SHIFT;
93         second_length           += time_freq;
94
95         tick_nsec                = div_u64(second_length, HZ) >> NTP_SCALE_SHIFT;
96         new_base                 = div_u64(second_length, NTP_INTERVAL_FREQ);
97
98         /*
99          * Don't wait for the next second_overflow, apply
100          * the change to the tick length immediately:
101          */
102         tick_length             += new_base - tick_length_base;
103         tick_length_base         = new_base;
104 }
105
106 static inline s64 ntp_update_offset_fll(s64 offset64, long secs)
107 {
108         time_status &= ~STA_MODE;
109
110         if (secs < MINSEC)
111                 return 0;
112
113         if (!(time_status & STA_FLL) && (secs <= MAXSEC))
114                 return 0;
115
116         time_status |= STA_MODE;
117
118         return div_s64(offset64 << (NTP_SCALE_SHIFT - SHIFT_FLL), secs);
119 }
120
121 static void ntp_update_offset(long offset)
122 {
123         s64 freq_adj;
124         s64 offset64;
125         long secs;
126
127         if (!(time_status & STA_PLL))
128                 return;
129
130         if (!(time_status & STA_NANO))
131                 offset *= NSEC_PER_USEC;
132
133         /*
134          * Scale the phase adjustment and
135          * clamp to the operating range.
136          */
137         offset = min(offset, MAXPHASE);
138         offset = max(offset, -MAXPHASE);
139
140         /*
141          * Select how the frequency is to be controlled
142          * and in which mode (PLL or FLL).
143          */
144         secs = xtime.tv_sec - time_reftime;
145         if (unlikely(time_status & STA_FREQHOLD || time_reftime == 0))
146                 secs = 0;
147
148         time_reftime = xtime.tv_sec;
149
150         offset64    = offset;
151         freq_adj    = (offset64 * secs) <<
152                         (NTP_SCALE_SHIFT - 2 * (SHIFT_PLL + 2 + time_constant));
153
154         freq_adj    += ntp_update_offset_fll(offset64, secs);
155
156         freq_adj    = min(freq_adj + time_freq, MAXFREQ_SCALED);
157
158         time_freq   = max(freq_adj, -MAXFREQ_SCALED);
159
160         time_offset = div_s64(offset64 << NTP_SCALE_SHIFT, NTP_INTERVAL_FREQ);
161 }
162
163 /**
164  * ntp_clear - Clears the NTP state variables
165  *
166  * Must be called while holding a write on the xtime_lock
167  */
168 void ntp_clear(void)
169 {
170         time_adjust     = 0;            /* stop active adjtime() */
171         time_status     |= STA_UNSYNC;
172         time_maxerror   = NTP_PHASE_LIMIT;
173         time_esterror   = NTP_PHASE_LIMIT;
174
175         ntp_update_frequency();
176
177         tick_length     = tick_length_base;
178         time_offset     = 0;
179 }
180
181 /*
182  * Leap second processing. If in leap-insert state at the end of the
183  * day, the system clock is set back one second; if in leap-delete
184  * state, the system clock is set ahead one second.
185  */
186 static enum hrtimer_restart ntp_leap_second(struct hrtimer *timer)
187 {
188         enum hrtimer_restart res = HRTIMER_NORESTART;
189
190         write_seqlock(&xtime_lock);
191
192         switch (time_state) {
193         case TIME_OK:
194                 break;
195         case TIME_INS:
196                 xtime.tv_sec--;
197                 wall_to_monotonic.tv_sec++;
198                 time_state = TIME_OOP;
199                 printk(KERN_NOTICE
200                         "Clock: inserting leap second 23:59:60 UTC\n");
201                 hrtimer_add_expires_ns(&leap_timer, NSEC_PER_SEC);
202                 res = HRTIMER_RESTART;
203                 break;
204         case TIME_DEL:
205                 xtime.tv_sec++;
206                 time_tai--;
207                 wall_to_monotonic.tv_sec--;
208                 time_state = TIME_WAIT;
209                 printk(KERN_NOTICE
210                         "Clock: deleting leap second 23:59:59 UTC\n");
211                 break;
212         case TIME_OOP:
213                 time_tai++;
214                 time_state = TIME_WAIT;
215                 /* fall through */
216         case TIME_WAIT:
217                 if (!(time_status & (STA_INS | STA_DEL)))
218                         time_state = TIME_OK;
219                 break;
220         }
221         update_vsyscall(&xtime, clock);
222
223         write_sequnlock(&xtime_lock);
224
225         return res;
226 }
227
228 /*
229  * this routine handles the overflow of the microsecond field
230  *
231  * The tricky bits of code to handle the accurate clock support
232  * were provided by Dave Mills (Mills@UDEL.EDU) of NTP fame.
233  * They were originally developed for SUN and DEC kernels.
234  * All the kudos should go to Dave for this stuff.
235  */
236 void second_overflow(void)
237 {
238         s64 time_adj;
239
240         /* Bump the maxerror field */
241         time_maxerror += MAXFREQ / NSEC_PER_USEC;
242         if (time_maxerror > NTP_PHASE_LIMIT) {
243                 time_maxerror = NTP_PHASE_LIMIT;
244                 time_status |= STA_UNSYNC;
245         }
246
247         /*
248          * Compute the phase adjustment for the next second. The offset is
249          * reduced by a fixed factor times the time constant.
250          */
251         tick_length     = tick_length_base;
252         time_adj        = shift_right(time_offset, SHIFT_PLL + time_constant);
253         time_offset     -= time_adj;
254         tick_length     += time_adj;
255
256         if (!time_adjust)
257                 return;
258
259         if (time_adjust > MAX_TICKADJ) {
260                 time_adjust -= MAX_TICKADJ;
261                 tick_length += MAX_TICKADJ_SCALED;
262                 return;
263         }
264
265         if (time_adjust < -MAX_TICKADJ) {
266                 time_adjust += MAX_TICKADJ;
267                 tick_length -= MAX_TICKADJ_SCALED;
268                 return;
269         }
270
271         tick_length += (s64)(time_adjust * NSEC_PER_USEC / NTP_INTERVAL_FREQ)
272                                                          << NTP_SCALE_SHIFT;
273         time_adjust = 0;
274 }
275
276 #ifdef CONFIG_GENERIC_CMOS_UPDATE
277
278 /* Disable the cmos update - used by virtualization and embedded */
279 int no_sync_cmos_clock  __read_mostly;
280
281 static void sync_cmos_clock(struct work_struct *work);
282
283 static DECLARE_DELAYED_WORK(sync_cmos_work, sync_cmos_clock);
284
285 static void sync_cmos_clock(struct work_struct *work)
286 {
287         struct timespec now, next;
288         int fail = 1;
289
290         /*
291          * If we have an externally synchronized Linux clock, then update
292          * CMOS clock accordingly every ~11 minutes. Set_rtc_mmss() has to be
293          * called as close as possible to 500 ms before the new second starts.
294          * This code is run on a timer.  If the clock is set, that timer
295          * may not expire at the correct time.  Thus, we adjust...
296          */
297         if (!ntp_synced()) {
298                 /*
299                  * Not synced, exit, do not restart a timer (if one is
300                  * running, let it run out).
301                  */
302                 return;
303         }
304
305         getnstimeofday(&now);
306         if (abs(now.tv_nsec - (NSEC_PER_SEC / 2)) <= tick_nsec / 2)
307                 fail = update_persistent_clock(now);
308
309         next.tv_nsec = (NSEC_PER_SEC / 2) - now.tv_nsec - (TICK_NSEC / 2);
310         if (next.tv_nsec <= 0)
311                 next.tv_nsec += NSEC_PER_SEC;
312
313         if (!fail)
314                 next.tv_sec = 659;
315         else
316                 next.tv_sec = 0;
317
318         if (next.tv_nsec >= NSEC_PER_SEC) {
319                 next.tv_sec++;
320                 next.tv_nsec -= NSEC_PER_SEC;
321         }
322         schedule_delayed_work(&sync_cmos_work, timespec_to_jiffies(&next));
323 }
324
325 static void notify_cmos_timer(void)
326 {
327         if (!no_sync_cmos_clock)
328                 schedule_delayed_work(&sync_cmos_work, 0);
329 }
330
331 #else
332 static inline void notify_cmos_timer(void) { }
333 #endif
334
335 /*
336  * adjtimex mainly allows reading (and writing, if superuser) of
337  * kernel time-keeping variables. used by xntpd.
338  */
339 int do_adjtimex(struct timex *txc)
340 {
341         struct timespec ts;
342         int result;
343
344         /* Validate the data before disabling interrupts */
345         if (txc->modes & ADJ_ADJTIME) {
346                 /* singleshot must not be used with any other mode bits */
347                 if (!(txc->modes & ADJ_OFFSET_SINGLESHOT))
348                         return -EINVAL;
349                 if (!(txc->modes & ADJ_OFFSET_READONLY) &&
350                     !capable(CAP_SYS_TIME))
351                         return -EPERM;
352         } else {
353                 /* In order to modify anything, you gotta be super-user! */
354                  if (txc->modes && !capable(CAP_SYS_TIME))
355                         return -EPERM;
356
357                 /*
358                  * if the quartz is off by more than 10% then
359                  * something is VERY wrong!
360                  */
361                 if (txc->modes & ADJ_TICK &&
362                     (txc->tick <  900000/USER_HZ ||
363                      txc->tick > 1100000/USER_HZ))
364                                 return -EINVAL;
365
366                 if (txc->modes & ADJ_STATUS && time_state != TIME_OK)
367                         hrtimer_cancel(&leap_timer);
368         }
369
370         getnstimeofday(&ts);
371
372         write_seqlock_irq(&xtime_lock);
373
374         /* If there are input parameters, then process them */
375         if (txc->modes & ADJ_ADJTIME) {
376                 long save_adjust = time_adjust;
377
378                 if (!(txc->modes & ADJ_OFFSET_READONLY)) {
379                         /* adjtime() is independent from ntp_adjtime() */
380                         time_adjust = txc->offset;
381                         ntp_update_frequency();
382                 }
383                 txc->offset = save_adjust;
384                 goto adj_done;
385         }
386         if (txc->modes) {
387                 long sec;
388
389                 if (txc->modes & ADJ_STATUS) {
390                         if ((time_status & STA_PLL) &&
391                             !(txc->status & STA_PLL)) {
392                                 time_state = TIME_OK;
393                                 time_status = STA_UNSYNC;
394                         }
395                         /* only set allowed bits */
396                         time_status &= STA_RONLY;
397                         time_status |= txc->status & ~STA_RONLY;
398
399                         switch (time_state) {
400                         case TIME_OK:
401                         start_timer:
402                                 sec = ts.tv_sec;
403                                 if (time_status & STA_INS) {
404                                         time_state = TIME_INS;
405                                         sec += 86400 - sec % 86400;
406                                         hrtimer_start(&leap_timer, ktime_set(sec, 0), HRTIMER_MODE_ABS);
407                                 } else if (time_status & STA_DEL) {
408                                         time_state = TIME_DEL;
409                                         sec += 86400 - (sec + 1) % 86400;
410                                         hrtimer_start(&leap_timer, ktime_set(sec, 0), HRTIMER_MODE_ABS);
411                                 }
412                                 break;
413                         case TIME_INS:
414                         case TIME_DEL:
415                                 time_state = TIME_OK;
416                                 goto start_timer;
417                                 break;
418                         case TIME_WAIT:
419                                 if (!(time_status & (STA_INS | STA_DEL)))
420                                         time_state = TIME_OK;
421                                 break;
422                         case TIME_OOP:
423                                 hrtimer_restart(&leap_timer);
424                                 break;
425                         }
426                 }
427
428                 if (txc->modes & ADJ_NANO)
429                         time_status |= STA_NANO;
430                 if (txc->modes & ADJ_MICRO)
431                         time_status &= ~STA_NANO;
432
433                 if (txc->modes & ADJ_FREQUENCY) {
434                         time_freq = (s64)txc->freq * PPM_SCALE;
435                         time_freq = min(time_freq, MAXFREQ_SCALED);
436                         time_freq = max(time_freq, -MAXFREQ_SCALED);
437                 }
438
439                 if (txc->modes & ADJ_MAXERROR)
440                         time_maxerror = txc->maxerror;
441                 if (txc->modes & ADJ_ESTERROR)
442                         time_esterror = txc->esterror;
443
444                 if (txc->modes & ADJ_TIMECONST) {
445                         time_constant = txc->constant;
446                         if (!(time_status & STA_NANO))
447                                 time_constant += 4;
448                         time_constant = min(time_constant, (long)MAXTC);
449                         time_constant = max(time_constant, 0l);
450                 }
451
452                 if (txc->modes & ADJ_TAI && txc->constant > 0)
453                         time_tai = txc->constant;
454
455                 if (txc->modes & ADJ_OFFSET)
456                         ntp_update_offset(txc->offset);
457                 if (txc->modes & ADJ_TICK)
458                         tick_usec = txc->tick;
459
460                 if (txc->modes & (ADJ_TICK|ADJ_FREQUENCY|ADJ_OFFSET))
461                         ntp_update_frequency();
462         }
463
464         txc->offset = shift_right(time_offset * NTP_INTERVAL_FREQ,
465                                   NTP_SCALE_SHIFT);
466         if (!(time_status & STA_NANO))
467                 txc->offset /= NSEC_PER_USEC;
468
469 adj_done:
470         result = time_state;    /* mostly `TIME_OK' */
471         if (time_status & (STA_UNSYNC|STA_CLOCKERR))
472                 result = TIME_ERROR;
473
474         txc->freq          = shift_right((time_freq >> PPM_SCALE_INV_SHIFT) *
475                                          (s64)PPM_SCALE_INV, NTP_SCALE_SHIFT);
476         txc->maxerror      = time_maxerror;
477         txc->esterror      = time_esterror;
478         txc->status        = time_status;
479         txc->constant      = time_constant;
480         txc->precision     = 1;
481         txc->tolerance     = MAXFREQ_SCALED / PPM_SCALE;
482         txc->tick          = tick_usec;
483         txc->tai           = time_tai;
484
485         /* PPS is not implemented, so these are zero */
486         txc->ppsfreq       = 0;
487         txc->jitter        = 0;
488         txc->shift         = 0;
489         txc->stabil        = 0;
490         txc->jitcnt        = 0;
491         txc->calcnt        = 0;
492         txc->errcnt        = 0;
493         txc->stbcnt        = 0;
494         write_sequnlock_irq(&xtime_lock);
495
496         txc->time.tv_sec = ts.tv_sec;
497         txc->time.tv_usec = ts.tv_nsec;
498         if (!(time_status & STA_NANO))
499                 txc->time.tv_usec /= NSEC_PER_USEC;
500
501         notify_cmos_timer();
502
503         return result;
504 }
505
506 static int __init ntp_tick_adj_setup(char *str)
507 {
508         ntp_tick_adj = simple_strtol(str, NULL, 0);
509         return 1;
510 }
511
512 __setup("ntp_tick_adj=", ntp_tick_adj_setup);
513
514 void __init ntp_init(void)
515 {
516         ntp_clear();
517         hrtimer_init(&leap_timer, CLOCK_REALTIME, HRTIMER_MODE_ABS);
518         leap_timer.function = ntp_leap_second;
519 }