23 #define gtod (&VVAR(vsyscall_gtod_data))  macro
124 	last = gtod->cycle_last;  in vread_pvclock()
179 	u64 last = gtod->cycle_last;  in vread_tsc()
201 	if (gtod->vclock_mode == VCLOCK_TSC)  in vgetsns()
204 	else if (gtod->vclock_mode == VCLOCK_HPET)  in vgetsns()
208 	else if (gtod->vclock_mode == VCLOCK_PVCLOCK)  in vgetsns()
213 	v = (cycles - gtod->cycle_last) & gtod->mask;  in vgetsns()
214 	return v * gtod->mult;  in vgetsns()
225 		seq = gtod_read_begin(gtod);  in do_realtime()
226 		mode = gtod->vclock_mode;  in do_realtime()
227 		ts->tv_sec = gtod->wall_time_sec;  in do_realtime()
228 		ns = gtod->wall_time_snsec;  in do_realtime()
230 		ns >>= gtod->shift;  in do_realtime()
231 	} while (unlikely(gtod_read_retry(gtod, seq)));  in do_realtime()
246 		seq = gtod_read_begin(gtod);  in do_monotonic()
247 		mode = gtod->vclock_mode;  in do_monotonic()
248 		ts->tv_sec = gtod->monotonic_time_sec;  in do_monotonic()
249 		ns = gtod->monotonic_time_snsec;  in do_monotonic()
251 		ns >>= gtod->shift;  in do_monotonic()
252 	} while (unlikely(gtod_read_retry(gtod, seq)));  in do_monotonic()
264 		seq = gtod_read_begin(gtod);  in do_realtime_coarse()
265 		ts->tv_sec = gtod->wall_time_coarse_sec;  in do_realtime_coarse()
266 		ts->tv_nsec = gtod->wall_time_coarse_nsec;  in do_realtime_coarse()
267 	} while (unlikely(gtod_read_retry(gtod, seq)));  in do_realtime_coarse()
274 		seq = gtod_read_begin(gtod);  in do_monotonic_coarse()
275 		ts->tv_sec = gtod->monotonic_time_coarse_sec;  in do_monotonic_coarse()
276 		ts->tv_nsec = gtod->monotonic_time_coarse_nsec;  in do_monotonic_coarse()
277 	} while (unlikely(gtod_read_retry(gtod, seq)));  in do_monotonic_coarse()
316 		tz->tz_minuteswest = gtod->tz_minuteswest;  in __vdso_gettimeofday()
317 		tz->tz_dsttime = gtod->tz_dsttime;  in __vdso_gettimeofday()
332 	time_t result = ACCESS_ONCE(gtod->wall_time_sec);  in __vdso_time()