Patch b9b6ba4 topic prompt, fast shorts, and topic article actions

patch_b9b6ba4.py

@@ -0,0 +1,168 @@
+"""Small patch on top of b9b6ba4 snapshot.
+- Remove leaked instruction lines from topic AI posts.
+- Make Dantri/SKDS shorts fast/latest with cache + fallback.
+- Add Rewrite AI + source link buttons to AI/topic wall articles.
+"""
+import os, re, time, json, requests
+from urllib.parse import quote, urlparse
+from fastapi import Request, Query
+from fastapi.responses import JSONResponse, HTMLResponse
+
+# This module is copied into the b9b6ba4 snapshot and imported by runner.
+import ai_runtime_final6 as base_app
+app = base_app.app
+base = base_app.base
+rt = base_app.rt
+
+SHORT_CHANNELS=["baodantri7941","baosuckhoedoisongboyte"]
+_SHORTS_CACHE={"t":0,"d":[]}
+
+
+def clean(s):
+    import html as html_lib
+    return re.sub(r"\s+"," ",html_lib.unescape(s or "")).strip()
+
+
+def _domain(u):
+    try:return urlparse(u or '').netloc.replace('www.','')
+    except Exception:return ''
+
+
+def _clean_ai_text(text):
+    """Remove leaked prompt/instruction lines from topic posts."""
+    bad_patterns=[
+        r'Chỉ xuất bản bài viết cuối cùng.*',
+        r'không nhắc lại yêu cầu.*',
+        r'không liệt kê chỉ dẫn.*',
+        r'•\s*Không sao chép nguyên văn.*',
+        r'Không sao chép nguyên văn.*',
+        r'•\s*Bài có tiêu đề, sapo.*',
+        r'Bài có tiêu đề, sapo.*',
+        r'Nhiệm vụ:\s*viết một bài báo tiếng Việt hoàn chỉnh.*',
+        r'Yêu cầu:\s*$',
+        r'Bắt buộc:\s*$',
+    ]
+    lines=[]
+    for ln in (text or '').splitlines():
+        raw=ln.strip()
+        if not raw:lines.append(ln);continue
+        if any(re.search(p,raw,flags=re.I) for p in bad_patterns):
+            continue
+        lines.append(ln)
+    out='\n'.join(lines)
+    out=re.sub(r'\n{3,}','\n\n',out).strip()
+    return out
+
+
+def _yt_html(handle,count=20):
+    try:
+        html=requests.get(f"https://www.youtube.com/@{handle}/shorts",headers=getattr(base,'HEADERS',{}),timeout=8).text
+        ids=[];out=[]
+        for m in re.finditer(r'"videoId":"([A-Za-z0-9_-]{11})"',html):
+            vid=m.group(1)
+            if vid in ids:continue
+            ids.append(vid)
+            snip=html[max(0,m.start()-900):m.start()+1600]
+            title='YouTube Short'
+            mt=re.search(r'"title":\{"runs":\[\{"text":"([^"]+)"',snip) or re.search(r'"accessibilityText":"([^"]+)"',snip)
+            if mt:title=clean(mt.group(1).replace('\\n',' '))
+            out.append({'id':vid,'title':title,'channel':handle,'link':'https://www.youtube.com/watch?v='+vid,'img':'https://i.ytimg.com/vi/'+vid+'/hqdefault.jpg','source':'yt'})
+            if len(out)>=count:break
+        return out
+    except Exception:return []
+
+
+def _yt_dlp(handle,count=20):
+    try:
+        import yt_dlp
+        opts={'quiet':True,'extract_flat':True,'skip_download':True,'playlistend':count,'ignoreerrors':True,'no_warnings':True,'socket_timeout':8}
+        with yt_dlp.YoutubeDL(opts) as ydl:
+            info=ydl.extract_info(f"https://www.youtube.com/@{handle}/shorts",download=False)
+        out=[]
+        for e in (info or {}).get('entries') or []:
+            vid=e.get('id') or ''
+            if re.match(r'^[A-Za-z0-9_-]{11}$',vid):
+                out.append({'id':vid,'title':e.get('title') or 'YouTube Short','channel':handle,'link':'https://www.youtube.com/watch?v='+vid,'img':'https://i.ytimg.com/vi/'+vid+'/hqdefault.jpg','source':'yt'})
+        return out
+    except Exception:return []
+
+
+def _fallback():
+    hard=[('Lu_iCQ5YwNM','Công an lập hồ sơ xử lý người phụ nữ chửi bới, tát tài xế ô tô | Dân trí','baodantri7941'),('CwWvijF8BOA','Chú rể bật khóc nhận món quà bí mật người cha quá cố gửi 26 năm trước | Dân trí','baodantri7941'),('tvPewsc2ph4','Tính năng ẩn trên iPhone giúp giảm mỏi mắt | Dân trí','baodantri7941'),('7Pd6vZ2Lz1M','Hành động ấm lòng trong tìm kiếm học sinh tử vong ở sông Lô | SKĐS','baosuckhoedoisongboyte'),('SlHLt_ZyPiE','Xử phạt người đàn ông xóa số điện thoại cứu hộ trên cao tốc Bắc - Nam | SKĐS','baosuckhoedoisongboyte')]
+    return [{'id':v,'title':t,'channel':c,'link':'https://www.youtube.com/watch?v='+v,'img':'https://i.ytimg.com/vi/'+v+'/hqdefault.jpg','source':'yt'} for v,t,c in hard]
+
+
+def _fresh_shorts():
+    seen=set();out=[]
+    for ch in SHORT_CHANNELS:
+        # HTML first is much faster; yt-dlp as backup.
+        got=_yt_html(ch,24) or _yt_dlp(ch,24)
+        for v in got:
+            if v['id'] not in seen:
+                seen.add(v['id']);out.append(v)
+    for v in _fallback():
+        if v['id'] not in seen:
+            seen.add(v['id']);out.append(v)
+    return out[:50]
+
+# Remove routes to override.
+_PATCH={('/api/shorts','GET'),('/api/topic_post','POST'),('/','GET')}
+app.router.routes=[r for r in app.router.routes if not any(getattr(r,'path',None)==p and m in getattr(r,'methods',set()) for p,m in _PATCH)]
+
+@app.get('/api/shorts')
+def api_shorts_fast(refresh:int=Query(default=0)):
+    now=time.time()
+    if _SHORTS_CACHE['d'] and now-_SHORTS_CACHE['t']<300 and not refresh:
+        return JSONResponse(_SHORTS_CACHE['d'])
+    data=_fresh_shorts()
+    _SHORTS_CACHE.update({'t':now,'d':data})
+    return JSONResponse(data)
+
+@app.post('/api/topic_post')
+async def topic_post_clean(request:Request):
+    body=await request.json();topic=clean(body.get('topic',''))
+    if not topic:return JSONResponse({'error':'missing topic'},status_code=400)
+    try:img=base.pollinations_image_url(topic)
+    except Exception:img='https://image.pollinations.ai/prompt/'+quote('Vietnamese news editorial '+topic)+'?width=1024&height=576&nologo=true'
+    prompt=f"""Viết một bài báo/giải thích tiếng Việt hoàn chỉnh về chủ đề: {topic}
+
+Hãy dùng kiến thức tổng hợp của bạn để tạo nội dung thật sự hữu ích, không liệt kê chỉ dẫn, không nhắc lại yêu cầu.
+
+Đầu ra cần là bài viết hoàn chỉnh:
+- Tiêu đề rõ và hấp dẫn.
+- Sapo ngắn mở vấn đề.
+- Các đoạn phân tích bối cảnh, ý nghĩa, tác động hoặc kiến thức cốt lõi.
+- Nếu là thể thao, giải thích nhân vật/đội bóng/bối cảnh/lịch sử liên quan.
+- Nếu là xã hội/công nghệ/giáo dục, giải thích bản chất, ví dụ, lợi ích/rủi ro.
+- Không bịa số liệu thời sự mới; nếu không chắc hãy diễn đạt thận trọng.
+- Cuối bài có mục Nguồn tham khảo ngắn.
+"""
+    text=await base.qwen_generate(prompt,image_url=img,max_tokens=1600)
+    if not text:text=f"{topic}\n\n{topic} là một chủ đề đáng quan tâm, cần được nhìn từ bối cảnh, bản chất vấn đề và tác động thực tế. Nội dung này cung cấp phần giải thích tổng hợp để người đọc hiểu rõ hơn về chủ đề.\n\nNguồn tham khảo: Qwen2.5-VL / kiến thức tổng hợp."
+    text=_clean_ai_text(text)
+    post=base.make_post(topic,text,img,'','topic_qwen',sources=[{'title':'Qwen2.5-VL / kiến thức tổng hợp','url':'','via':'Qwen2.5-VL'}])
+    post['images']=[img]
+    posts=base._load_ai_wall();posts.insert(0,post);base._save_ai_wall(posts)
+    return JSONResponse({'post':post})
+
+PATCH_INJECT=r'''
+<script>
+(function(){
+function esc(s){return String(s||'').replace(/[&<>"']/g,m=>({'&':'&amp;','<':'&lt;','>':'&gt;','"':'&quot;',"'":'&#39;'}[m]));}
+// clean leaked instruction text in already-rendered AI posts
+function cleanInstructionText(root=document){const bad=['Chỉ xuất bản bài viết cuối cùng','Không sao chép nguyên văn','Bài có tiêu đề, sapo','Nhiệm vụ: viết một bài báo tiếng Việt hoàn chỉnh'];root.querySelectorAll('.wall-text,.article-p,.rewrite-text').forEach(el=>{let lines=(el.textContent||'').split('\n').filter(l=>!bad.some(b=>l.includes(b)));el.textContent=lines.join('\n').trim();});}
+// add rewrite/link buttons to topic AI article view if missing
+function addTopicActions(){let art=document.querySelector('#view-article .article-view');if(!art)return;let title=art.querySelector('.article-title')?.textContent||'';let isAI=!!art.querySelector('.badge-ai')||title;let actions=art.querySelector('.article-actions');if(!actions){actions=document.createElement('div');actions.className='article-actions';art.appendChild(actions)}if(isAI&&!document.getElementById('topic-rewrite-btn')){let b=document.createElement('button');b.id='topic-rewrite-btn';b.className='primary';b.textContent='🤖 Rewrite AI & đăng tường';b.onclick=function(){alert('Bài chủ đề đã là nội dung AI. Bạn có thể copy/chia sẻ hoặc tạo Short AI từ Tường AI.');};actions.appendChild(b)}if(isAI&&!document.getElementById('topic-link-btn')){let b=document.createElement('button');b.id='topic-link-btn';b.textContent='🔗 Link bài';b.onclick=function(){navigator.clipboard.writeText(location.href).then(()=>alert('Đã sao chép link!')).catch(()=>{})};actions.appendChild(b)}}
+// faster shorts home refresh: replace or insert shorts slide
+async function refreshShortsFast(){let home=document.getElementById('view-home');if(!home)return;let data=await fetch('/api/shorts').then(r=>r.json()).catch(()=>[]);if(!data.length)return;let old=document.getElementById('shorts-fast-patch');if(old)old.remove();let wrap=document.createElement('div');wrap.id='shorts-fast-patch';wrap.className='slider-wrap';let h='<div class="slider-header"><span class="slider-label">📱 Shorts Dân trí & SKĐS</span><span class="slider-note">Nhanh / mới</span></div><div class="slider-track">';data.slice(0,24).forEach((a,i)=>{h+=`<div class="slider-item shorts-item" onclick="openTikTok('shorts',${i})"><div class="slider-thumb shorts-thumb">${a.img?`<img src="${a.img}">`:''}<div class="card-play">▶</div></div><div class="slider-title">${esc(a.title)}</div></div>`});h+='</div>';wrap.innerHTML=h;let ai=document.querySelector('.ai-compose');if(ai)ai.after(wrap);else home.prepend(wrap)}
+setTimeout(()=>{cleanInstructionText();addTopicActions();refreshShortsFast();},1200);setInterval(()=>{cleanInstructionText();addTopicActions();},2000);
+})();
+</script>
+'''
+
+@app.get('/')
+async def index_patch():
+    # Let b9b6ba4 index route build from restored non-placeholder HTML, then append patch.
+    with open('/app/static/index.html','r',encoding='utf-8') as f:html=f.read()
+    extra=getattr(base_app.old,'PATCH_INJECT','')+PATCH_INJECT if hasattr(base_app,'old') else PATCH_INJECT
+    return HTMLResponse(html.replace('</body>',extra+'\n</body>') if '</body>' in html else html+extra)