Fix AI URL input persistence and improve internet-sourced topic posts

ai_ext.py

@@ -1,9 +1,9 @@
 import os, re, json, time, random, html as html_lib
-from urllib.parse import quote_plus
+from urllib.parse import quote_plus, urlparse
 from typing import Optional
 import requests
 from bs4 import BeautifulSoup
-from fastapi import Query, Request
+from fastapi import Request
 from fastapi.responses import HTMLResponse, JSONResponse
 
 from main import app
@@ -18,6 +18,7 @@ QWEN_VL_MODEL = os.getenv("QWEN_VL_MODEL", "Qwen/Qwen2.5-VL-7B-Instruct")
 WALL_FILE = "/data/ai_wall_posts.json" if os.path.isdir("/data") else "/app/ai_wall_posts.json"
 HEADERS = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36","Accept-Language":"vi-VN,vi;q=0.9,en;q=0.8"}
 
+
 def _load_ai_wall():
     try:
         if os.path.exists(WALL_FILE):
@@ -27,6 +28,7 @@ def _load_ai_wall():
         pass
     return []
 
+
 def _save_ai_wall(posts):
     try:
         os.makedirs(os.path.dirname(WALL_FILE), exist_ok=True)
@@ -37,10 +39,12 @@ def _save_ai_wall(posts):
     except Exception:
         pass
 
+
 def _clean_text(s: str) -> str:
     s = html_lib.unescape(s or "")
     return re.sub(r"\s+", " ", s).strip()
 
+
 def _best_content_block(soup):
     best, best_score = None, 0
     for el in soup.find_all(["article", "main", "section", "div"]):
@@ -54,6 +58,7 @@ def _best_content_block(soup):
             best, best_score = el, score
     return best
 
+
 def scrape_any_url(url: str):
     r = requests.get(url, headers=HEADERS, timeout=18)
     r.encoding = "utf-8"
@@ -92,24 +97,61 @@ def scrape_any_url(url: str):
         image = images[0]
     return {"url": url, "title": _clean_text(title), "summary": _clean_text(summary), "text": "\n".join(paras), "image": image, "images": images}
 
+
 def pollinations_image_url(topic: str, width=1024, height=576):
     prompt = f"editorial illustration, topic: {topic}, modern clean cinematic news image, high quality, no text, no watermark"
     return f"https://image.pollinations.ai/prompt/{quote_plus(prompt)}?width={width}&height={height}&seed={random.randint(1,999999)}&nologo=true&private=true"
 
+
+def _domain(u):
+    try:
+        return urlparse(u).netloc.replace("www.", "")
+    except Exception:
+        return ""
+
+
 def web_context(topic: str, limit=6):
+    """Search web and fetch short excerpts from result pages so topic posts are grounded, not generic."""
+    results = []
     try:
-        url = "https://duckduckgo.com/html/?q=" + quote_plus(topic + " tin tức kiến thức bối cảnh")
-        r = requests.get(url, headers=HEADERS, timeout=10)
+        search_url = "https://duckduckgo.com/html/?q=" + quote_plus(topic + " tin tức phân tích bối cảnh")
+        r = requests.get(search_url, headers=HEADERS, timeout=12)
         soup = BeautifulSoup(r.text, "lxml")
-        snippets = []
-        for res in soup.select(".result")[:limit]:
-            title = _clean_text(res.select_one(".result__title").get_text(" ", strip=True) if res.select_one(".result__title") else "")
-            body = _clean_text(res.select_one(".result__snippet").get_text(" ", strip=True) if res.select_one(".result__snippet") else "")
-            if title or body:
-                snippets.append(f"- {title}: {body}")
-        return "\n".join(snippets)
+        for res in soup.select(".result")[:limit * 2]:
+            a = res.select_one(".result__a") or res.select_one("a.result__url") or res.find("a", href=True)
+            href = a.get("href", "") if a else ""
+            title = _clean_text(a.get_text(" ", strip=True) if a else "")
+            sn = res.select_one(".result__snippet")
+            snippet = _clean_text(sn.get_text(" ", strip=True) if sn else "")
+            if href.startswith("//duckduckgo.com/l/?"):
+                # DDG redirect URLs often include uddg=<encoded>; keep as fallback if parsing fails.
+                import urllib.parse as up
+                q = up.urlparse("https:" + href).query
+                href = up.parse_qs(q).get("uddg", [href])[0]
+            if href.startswith("http") and (title or snippet):
+                results.append({"title": title, "url": href, "snippet": snippet})
+            if len(results) >= limit:
+                break
     except Exception:
-        return ""
+        pass
+    # Fetch excerpts from top pages; this makes output much less generic.
+    enriched = []
+    for item in results[:4]:
+        excerpt = item.get("snippet", "")
+        try:
+            page = scrape_any_url(item["url"])
+            text = page.get("summary") or page.get("text", "")
+            text = _clean_text(text)[:650]
+            if text:
+                excerpt = text
+        except Exception:
+            pass
+        enriched.append({**item, "excerpt": excerpt})
+    if not enriched and results:
+        enriched = [{**x, "excerpt": x.get("snippet", "")} for x in results]
+    context = "\n".join([f"- {x.get('title') or _domain(x.get('url',''))} ({_domain(x.get('url',''))}): {x.get('excerpt','')}" for x in enriched if x.get("excerpt") or x.get("title")])
+    return context, enriched
+
 
 async def qwen_generate(prompt: str, image_url: Optional[str] = None, max_tokens: int = 1700):
     if not (HF_TOKEN and AsyncInferenceClient):
@@ -130,6 +172,7 @@ async def qwen_generate(prompt: str, image_url: Optional[str] = None, max_tokens
         print("[qwen fallback]", type(e).__name__, str(e)[:200])
         return None
 
+
 def fallback_rewrite(title, raw_text):
     text = _clean_text(raw_text)
     chunks = []
@@ -142,42 +185,48 @@ def fallback_rewrite(title, raw_text):
         text = text[len(part):].strip()
     return f"{title}\n\n" + "\n\n".join(chunks)
 
-def make_post(title, text, image, source_url, kind):
-    return {"id": str(int(time.time()*1000)) + str(random.randint(100,999)), "title": title, "text": text, "img": image, "url": source_url, "kind": kind, "ts": int(time.time())}
+
+def make_post(title, text, image, source_url, kind, sources=None):
+    return {"id": str(int(time.time()*1000)) + str(random.randint(100,999)), "title": title, "text": text, "img": image, "url": source_url, "kind": kind, "sources": sources or [], "ts": int(time.time())}
+
 
 @app.get("/api/ai_wall")
 def api_ai_wall():
     return JSONResponse({"posts": _load_ai_wall()[:80]})
 
+
 @app.post("/api/ai/topic")
 async def api_ai_topic(request: Request):
     body = await request.json()
     topic = _clean_text(body.get("topic", ""))
     if not topic:
         return JSONResponse({"error":"missing topic"}, status_code=400)
-    ctx = web_context(topic)
+    ctx, sources = web_context(topic)
     image = pollinations_image_url(topic)
     prompt = f"""
 Hãy viết một dàn ý bài viết tiếng Việt tự nhiên cho chủ đề: {topic}
 
 Yêu cầu:
-- Dựa trên kiến thức thực tế và bối cảnh internet dưới đây nếu có.
+- Phải dựa trên các nguồn/bối cảnh internet bên dưới; nếu nguồn không đủ, nói rõ góc nhìn là tổng quan.
 - Có tiêu đề hấp dẫn nhưng không giật tít.
-- 1 đoạn mở bài ngắn.
-- 5-7 luận điểm chính, mỗi luận điểm có 1-2 câu giải thích.
+- 1 đoạn mở bài ngắn nêu bối cảnh thực tế.
+- 5-7 luận điểm chính, mỗi luận điểm có 1-2 câu giải thích cụ thể.
 - 1 đoạn kết luận gợi ý góc nhìn cho độc giả.
+- Cuối bài thêm mục "Nguồn tham khảo" liệt kê 2-4 nguồn theo tên website.
 - Văn phong tự nhiên, dễ đọc.
 
-Bối cảnh tìm được trên internet:
-{ctx or 'Không có snippet đáng tin cậy; hãy viết theo kiến thức nền phổ quát, tránh khẳng định số liệu cụ thể.'}
+Bối cảnh/nguồn tìm được trên internet:
+{ctx or 'Không lấy được nguồn cụ thể; hãy viết tổng quan, tránh khẳng định số liệu hoặc sự kiện cụ thể.'}
 """
-    text = await qwen_generate(prompt, image_url=image, max_tokens=1400)
+    text = await qwen_generate(prompt, image_url=image, max_tokens=1500)
     if not text:
-        text = f"{topic}\n\nMở bài: Chủ đề này đang nhận được sự quan tâm vì liên quan trực tiếp tới đời sống, công nghệ và cách con người ra quyết định.\n\nDàn ý:\n• Bối cảnh chung của chủ đề.\n• Vì sao chủ đề này đáng chú ý ở hiện tại.\n• Các tác động chính tới người dùng hoặc xã hội.\n• Những lợi ích tiềm năng nếu được triển khai đúng cách.\n• Các rủi ro hoặc hiểu lầm cần tránh.\n• Gợi ý hướng tiếp cận cân bằng.\n\nKết luận: Nên nhìn chủ đề này như một xu hướng cần theo dõi liên tục, thay vì một hiện tượng nhất thời."
-    post = make_post(topic, text, image, "", "topic")
+        source_lines = "\n".join([f"• {s.get('title') or _domain(s.get('url',''))} ({_domain(s.get('url',''))})" for s in sources[:4]])
+        text = f"{topic}\n\nMở bài: Chủ đề này có nhiều khía cạnh cần xem xét trong bối cảnh hiện nay.\n\nDàn ý:\n• Bối cảnh chung: {sources[0]['excerpt'][:220] if sources else 'Cần nhìn chủ đề trong mối liên hệ với đời sống, công nghệ và xã hội.'}\n• Vì sao đáng chú ý: chủ đề có thể tác động tới cách người dùng tiếp nhận thông tin hoặc ra quyết định.\n• Các tác động chính: cần xem xét cả lợi ích, rủi ro và nhóm đối tượng chịu ảnh hưởng.\n• Góc nhìn thực tiễn: nên đối chiếu nhiều nguồn thay vì dựa vào một nhận định đơn lẻ.\n• Hướng khai thác bài viết: đặt câu hỏi điều gì đang thay đổi, ai được lợi, ai gặp rủi ro.\n\nKết luận: Đây là chủ đề nên được trình bày cân bằng, có dẫn nguồn và tránh khẳng định quá mức.\n\nNguồn tham khảo:\n{source_lines}"
+    post = make_post(topic, text, image, "", "topic", sources=sources[:5])
     posts = _load_ai_wall(); posts.insert(0, post); _save_ai_wall(posts)
     return JSONResponse({"post": post})
 
+
 @app.post("/api/ai/url")
 async def api_ai_url(request: Request):
     body = await request.json()
@@ -189,6 +238,8 @@ async def api_ai_url(request: Request):
     except Exception:
         return JSONResponse({"error":"Không scrape được URL"}, status_code=422)
     raw = (data.get("summary", "") + "\n" + data.get("text", "")).strip()
+    if len(raw) < 80:
+        return JSONResponse({"error":"URL không có đủ nội dung để tóm tắt"}, status_code=422)
     prompt = f"""
 Hãy đọc nội dung scrape dưới đây và viết lại thành một bài ngắn gọn đưa lên Tường AI VNEWS.
 
@@ -206,10 +257,11 @@ Nội dung gốc:
     text = await qwen_generate(prompt, image_url=data.get("image") or None, max_tokens=1700)
     if not text:
         text = fallback_rewrite(data.get("title", "Bài viết"), raw)
-    post = make_post(data.get("title") or "Bài viết", text, data.get("image") or "", url, "url")
+    post = make_post(data.get("title") or "Bài viết", text, data.get("image") or "", url, "url", sources=[{"title": data.get("title"), "url": url, "excerpt": raw[:500]}])
     posts = _load_ai_wall(); posts.insert(0, post); _save_ai_wall(posts)
     return JSONResponse({"post": post})
 
+
 @app.post("/api/rewrite_share")
 async def api_rewrite_share(request: Request):
     body = await request.json()
@@ -229,6 +281,7 @@ async def api_rewrite_share(request: Request):
     posts = _load_ai_wall(); posts.insert(0, post); _save_ai_wall(posts)
     return JSONResponse({"post": post})
 
+
 # Override index route to inject AI composer/wall without modifying large index.html.
 app.router.routes = [r for r in app.router.routes if not (getattr(r, 'path', None) == '/' and 'GET' in getattr(r, 'methods', set()))]
 
@@ -239,13 +292,14 @@ AI_INJECT = r'''
 (function(){
 function esc(s){return String(s||'').replace(/[&<>"']/g,m=>({'&':'&amp;','<':'&lt;','>':'&gt;','"':'&quot;',"'":'&#39;'}[m]));}
 let aiWall=[];
-async function refreshAiWall(){try{const r=await fetch('/api/ai_wall');const j=await r.json();aiWall=j.posts||[];renderAiPanel();}catch(e){}}
-function renderAiPanel(){const home=document.getElementById('view-home');if(!home)return;let old=document.getElementById('ai-compose-block');if(old)old.remove();let oldw=document.getElementById('ai-wall-block');if(oldw)oldw.remove();let box=document.createElement('div');box.id='ai-compose-block';box.className='ai-compose';box.innerHTML='<div class="ai-compose-title">🤖 Tạo bài AI</div><div class="ai-row"><input id="ai-topic-input" placeholder="Nhập gợi ý chủ đề bài viết..."><button onclick="aiCreateTopic()">Tạo dàn ý</button></div><div class="ai-row"><input id="ai-url-input" placeholder="Dán URL để AI scrape và tóm tắt lên tường..."><button class="secondary" onclick="aiCreateUrl()">Chèn URL</button></div><div id="ai-compose-status" style="font-size:11px;color:#888"></div>';home.prepend(box);if(aiWall.length){let wrap=document.createElement('div');wrap.id='ai-wall-block';wrap.className='ai-wall-extra';let h='<div class="slider-header"><span class="slider-label">🧱 Tường AI</span></div><div class="slider-track">';aiWall.slice(0,20).forEach((p,i)=>{h+=`<div class="ai-wall-card"><div class="ai-wall-img">${p.img?`<img src="${p.img}">`:''}</div><div class="ai-wall-title">${esc(p.title)}</div><div class="ai-wall-text">${esc(p.text)}</div><button onclick="aiReadWall(${i})">Xem đầy đủ</button></div>`});h+='</div>';wrap.innerHTML=h;box.after(wrap);}}
-window.aiReadWall=function(i){const p=aiWall[i];if(!p)return;showView('view-article');let h=`<button class="back-btn" onclick="switchCat('home')">← Quay lại</button><div class="article-view"><span class="badge badge-ai">AI</span><h1 class="article-title">${esc(p.title)}</h1>${p.img?`<img class="article-img" src="${p.img}">`:''}<p class="article-p" style="white-space:pre-wrap">${esc(p.text)}</p><div class="article-actions">${p.url?`<button onclick="window.open('${p.url}','_blank')">🔗 Nguồn</button>`:''}</div></div>`;document.getElementById('view-article').innerHTML=h;window.scrollTo(0,0)};
+function currentInputs(){return {topic:document.getElementById('ai-topic-input')?.value||'',url:document.getElementById('ai-url-input')?.value||''};}
+async function refreshAiWall(){try{const keep=currentInputs();const r=await fetch('/api/ai_wall');const j=await r.json();aiWall=j.posts||[];renderAiPanel(keep);}catch(e){}}
+function renderAiPanel(keep={topic:'',url:''}){const home=document.getElementById('view-home');if(!home)return;let old=document.getElementById('ai-compose-block');if(old){const k=currentInputs();keep.topic=keep.topic||k.topic;keep.url=keep.url||k.url;old.remove();}let oldw=document.getElementById('ai-wall-block');if(oldw)oldw.remove();let box=document.createElement('div');box.id='ai-compose-block';box.className='ai-compose';box.innerHTML='<div class="ai-compose-title">🤖 Tạo bài AI</div><div class="ai-row"><input id="ai-topic-input" placeholder="Nhập gợi ý chủ đề bài viết..."><button onclick="aiCreateTopic()">Tạo dàn ý</button></div><div class="ai-row"><input id="ai-url-input" placeholder="Dán URL để AI scrape và tóm tắt lên tường..."><button class="secondary" onclick="aiCreateUrl()">Chèn URL</button></div><div id="ai-compose-status" style="font-size:11px;color:#888"></div>';home.prepend(box);document.getElementById('ai-topic-input').value=keep.topic||'';document.getElementById('ai-url-input').value=keep.url||'';if(aiWall.length){let wrap=document.createElement('div');wrap.id='ai-wall-block';wrap.className='ai-wall-extra';let h='<div class="slider-header"><span class="slider-label">🧱 Tường AI</span></div><div class="slider-track">';aiWall.slice(0,30).forEach((p,i)=>{h+=`<div class="ai-wall-card"><div class="ai-wall-img">${p.img?`<img src="${p.img}">`:''}</div><div class="ai-wall-title">${esc(p.title)}</div><div class="ai-wall-text">${esc(p.text)}</div><button onclick="aiReadWall(${i})">Xem đầy đủ</button></div>`});h+='</div>';wrap.innerHTML=h;box.after(wrap);}}
+window.aiReadWall=function(i){const p=aiWall[i];if(!p)return;showView('view-article');let sources='';if(p.sources&&p.sources.length){sources='<div class="article-summary"><b>Nguồn tham khảo:</b><br>'+p.sources.slice(0,5).map(s=>`• ${esc(s.title||s.url||'Nguồn')} ${s.url?`(${esc(new URL(s.url).hostname.replace('www.',''))})`:''}`).join('<br>')+'</div>'}let h=`<button class="back-btn" onclick="switchCat('home')">← Quay lại</button><div class="article-view"><span class="badge badge-ai">AI</span><h1 class="article-title">${esc(p.title)}</h1>${p.img?`<img class="article-img" src="${p.img}">`:''}${sources}<p class="article-p" style="white-space:pre-wrap">${esc(p.text)}</p><div class="article-actions">${p.url?`<button onclick="window.open('${p.url}','_blank')">🔗 Nguồn</button>`:''}</div></div>`;document.getElementById('view-article').innerHTML=h;window.scrollTo(0,0)};
 async function postJson(url,data){const st=document.getElementById('ai-compose-status');if(st)st.textContent='AI đang xử lý...';const r=await fetch(url,{method:'POST',headers:{'Content-Type':'application/json'},body:JSON.stringify(data)});const j=await r.json();if(!r.ok||j.error)throw new Error(j.error||'Lỗi');if(st)st.textContent='Đã đăng lên Tường AI';await refreshAiWall();return j;}
-window.aiCreateTopic=function(){const v=document.getElementById('ai-topic-input')?.value.trim();if(!v)return alert('Nhập chủ đề');postJson('/api/ai/topic',{topic:v}).catch(e=>alert(e.message));};
-window.aiCreateUrl=function(){const v=document.getElementById('ai-url-input')?.value.trim();if(!v)return alert('Dán URL');postJson('/api/ai/url',{url:v}).catch(e=>alert(e.message));};
-const oldLoad=window.loadHome;if(typeof oldLoad==='function'){window.loadHome=async function(){await oldLoad.apply(this,arguments);setTimeout(refreshAiWall,50);};}
+window.aiCreateTopic=function(){const v=(document.getElementById('ai-topic-input')?.value||'').trim();if(!v)return alert('Nhập chủ đề');postJson('/api/ai/topic',{topic:v}).catch(e=>alert(e.message));};
+window.aiCreateUrl=function(){const input=document.getElementById('ai-url-input');const v=(input?.value||'').trim();if(!v)return alert('Dán URL trước');if(!/^https?:\/\//i.test(v))return alert('URL cần bắt đầu bằng http:// hoặc https://');postJson('/api/ai/url',{url:v}).catch(e=>alert(e.message));};
+const oldLoad=window.loadHome;if(typeof oldLoad==='function'){window.loadHome=async function(){const keep=currentInputs();await oldLoad.apply(this,arguments);setTimeout(()=>refreshAiWall(),50);};}
 setTimeout(refreshAiWall,1200);
 })();
 </script>