媒体时间戳默认改为相对时间戳，通过时间戳矫正器解决跳跃和回退问题 (#2523)

通过用户反馈发现，遇到较多直播源时间戳混乱问题，包括rtsp流之rtcp ntp时间戳混乱，国标流时间戳混乱问题。
之前默认采用源流绝对时间戳，但是由于时间戳混乱会导致hls切片异常或视频播放不了等问题。
故默认改成相对时间戳(modify_stamp=2)，通过时间戳矫正器过滤了时间戳跳跃以及回退问题(强制加1ms)，
同时保留了对之前时间戳覆盖(modify_stamp=1)的兼容。
该修改同时兼容点播流，在点播流开启时间戳覆盖时，不起实质作用(采用原始绝对时间戳)。

conf/config.ini

@@ -32,7 +32,10 @@ restart_sec=0
 #转协议相关开关；如果addStreamProxy api和on_publish hook回复未指定转协议参数，则采用这些配置项
 [protocol]
 #转协议时，是否开启帧级时间戳覆盖
-modify_stamp=0
+# 0:采用源视频流绝对时间戳，不做任何改变
+# 1:采用zlmediakit接收数据时的系统时间戳(有平滑处理)
+# 2:采用源视频流时间戳相对时间戳(增长量)，有做时间戳跳跃和回退矫正
+modify_stamp=2
 #转协议是否开启音频
 enable_audio=1
 #添加acc静音音频，在关闭音频时，此开关无效

postman/ZLMediaKit.postman_collection.json

@@ -582,7 +582,7 @@
 						{
 							"key": "modify_stamp",
 							"value": null,
-							"description": "是否重新计算时间戳",
+							"description": "是否修改原始时间戳，默认值2；取值范围：0.采用源视频流绝对时间戳，不做任何改变;1.采用zlmediakit接收数据时的系统时间戳(有平滑处理);2.采用源视频流时间戳相对时间戳(增长量)，有做时间戳跳跃和回退矫正",
 							"disabled": true
 						}
 					]

src/Common/MediaSource.cpp

@@ -53,7 +53,7 @@ string getOriginTypeString(MediaOriginType type){
 //////////////////////////////////////////////////////////////////////////////////////////////////////////////
 
 ProtocolOption::ProtocolOption() {
-    GET_CONFIG(bool, s_modify_stamp, Protocol::kModifyStamp);
+    GET_CONFIG(int, s_modify_stamp, Protocol::kModifyStamp);
     GET_CONFIG(bool, s_enabel_audio, Protocol::kEnableAudio);
     GET_CONFIG(bool, s_add_mute_audio, Protocol::kAddMuteAudio);
     GET_CONFIG(uint32_t, s_continue_push_ms, Protocol::kContinuePushMS);

src/Common/MediaSource.h

@@ -136,8 +136,14 @@ class ProtocolOption {
 public:
     ProtocolOption();
 
-    //时间戳修复这一路流标志位
-    bool modify_stamp;
+    enum {
+        kModifyStampOff = 0, // 采用源视频流绝对时间戳，不做任何改变
+        kModifyStampSystem = 1, // 采用zlmediakit接收数据时的系统时间戳(有平滑处理)
+        kModifyStampRelative = 2 // 采用源视频流时间戳相对时间戳(增长量)，有做时间戳跳跃和回退矫正
+    };
+    // 时间戳类型
+    int modify_stamp;
+
     //转协议是否开启音频
     bool enable_audio;
     //添加静音音频，在关闭音频时，此开关无效

src/Common/MultiMediaSourceMuxer.cpp

@@ -94,6 +94,11 @@ MultiMediaSourceMuxer::MultiMediaSourceMuxer(const MediaTuple& tuple, float dur_
     _poller = EventPollerPool::Instance().getPoller();
     _create_in_poller = _poller->isCurrentThread();
     _option = option;
+    if (dur_sec > 0.01) {
+        // 点播
+        _stamp[TrackVideo].setPlayBack();
+        _stamp[TrackAudio].setPlayBack();
+    }
 
     if (option.enable_rtmp) {
         _rtmp = std::make_shared<RtmpMediaSourceMuxer>(_tuple, option, std::make_shared<TitleMeta>(dur_sec));
@@ -378,6 +383,11 @@ void MultiMediaSourceMuxer::onAllTrackReady() {
         createGopCacheIfNeed();
     }
 #endif
+    auto tracks = getTracks(false);
+    if (tracks.size() >= 2) {
+        // 音频时间戳同步于视频，因为音频时间戳被修改后不影响播放
+        _stamp[TrackAudio].syncTo(_stamp[TrackVideo]);
+    }
     InfoL << "stream: " << shortUrl() << " , codec info: " << getTrackInfoStr(this);
 }
 
@@ -429,9 +439,9 @@ void MultiMediaSourceMuxer::resetTracks() {
 
 bool MultiMediaSourceMuxer::onTrackFrame(const Frame::Ptr &frame_in) {
     auto frame = frame_in;
-   if (_option.modify_stamp) {
-        //开启了时间戳覆盖
-        frame = std::make_shared<FrameStamp>(frame, _stamp[frame->getTrackType()],true);
+    if (_option.modify_stamp != ProtocolOption::kModifyStampOff) {
+        // 时间戳不采用原始的绝对时间戳
+        frame = std::make_shared<FrameStamp>(frame, _stamp[frame->getTrackType()], _option.modify_stamp);
     }
 
     bool ret = false;

src/Common/Stamp.cpp

@@ -42,14 +42,14 @@ int64_t DeltaStamp::deltaStamp(int64_t stamp) {
     if (ret >= 0) {
         // 时间戳增量为正，返回之
         _last_stamp = stamp;
-        //在直播情况下，时间戳增量不得大于MAX_DELTA_STAMP
-        return  ret < MAX_DELTA_STAMP ? ret : 0;
+        // 在直播情况下，时间戳增量不得大于MAX_DELTA_STAMP，否则强制相对时间戳加1
+        return ret < MAX_DELTA_STAMP ? ret : 1;
     }
 
     // 时间戳增量为负，说明时间戳回环了或回退了
     _last_stamp = stamp;
-    //如果时间戳回退不多，那么返回负值
-    return -ret < MAX_CTS ? ret : 0;
+    // 时间戳回退了，强制相对时间戳加1
+    return 1;
 }
 
 void Stamp::setPlayBack(bool playback) {

src/Common/config.cpp

@@ -9,6 +9,7 @@
  */
 
 #include "Common/config.h"
+#include "MediaSource.h"
 #include "Util/NoticeCenter.h"
 #include "Util/logger.h"
 #include "Util/onceToken.h"
@@ -120,7 +121,7 @@ const string kTSDemand = PROTOCOL_FIELD "ts_demand";
 const string kFMP4Demand = PROTOCOL_FIELD "fmp4_demand";
 
 static onceToken token([]() {
-    mINI::Instance()[kModifyStamp] = 0;
+    mINI::Instance()[kModifyStamp] = (int)ProtocolOption::kModifyStampRelative;
     mINI::Instance()[kEnableAudio] = 1;
     mINI::Instance()[kAddMuteAudio] = 1;
     mINI::Instance()[kContinuePushMS] = 15000;

src/Extension/Frame.cpp

@@ -13,6 +13,7 @@
 #include "H265.h"
 #include "Common/Parser.h"
 #include "Common/Stamp.h"
+#include "Common/MediaSource.h"
 
 using namespace std;
 using namespace toolkit;
@@ -31,11 +32,11 @@ Frame::Ptr Frame::getCacheAbleFrame(const Frame::Ptr &frame){
     return std::make_shared<FrameCacheAble>(frame);
 }
 
-FrameStamp::FrameStamp(Frame::Ptr frame, Stamp &stamp, bool modify_stamp)
+FrameStamp::FrameStamp(Frame::Ptr frame, Stamp &stamp, int modify_stamp)
 {
     _frame = std::move(frame);
-    //覆盖时间戳
-    stamp.revise(_frame->dts(), _frame->pts(), _dts, _pts, modify_stamp);
+    // kModifyStampSystem时采用系统时间戳，kModifyStampRelative采用相对时间戳
+    stamp.revise(_frame->dts(), _frame->pts(), _dts, _pts, modify_stamp == ProtocolOption::kModifyStampSystem);
 }
 
 TrackType getTrackType(CodecId codecId) {

src/Extension/Frame.h

@@ -492,7 +492,7 @@ private:
 class FrameStamp : public Frame {
 public:
     using Ptr = std::shared_ptr<FrameStamp>;
-    FrameStamp(Frame::Ptr frame, Stamp &stamp, bool modify_stamp);
+    FrameStamp(Frame::Ptr frame, Stamp &stamp, int modify_stamp);
     ~FrameStamp() override {}
 
     uint64_t dts() const override { return (uint64_t)_dts; }