Commit: dc4c829ca4a9caf6d049130634e7d5c7335d0438 - newsfour (git)

news4 - RSS aggrigation system

Commit MetaInfo

• Revision: dc4c829ca4a9caf6d049130634e7d5c7335d0438 (tree)
• Zeit: 2012-11-06 20:30:32
• Autor: hylom <hylom@user...>
• Commiter: hylom

Log Message

Merge remote branch 'remotes/origin/live' into live

Ändern Zusammenfassung

• modified: README
• modified: config.py.sample
• modified: css/gnews.css
• modified: fetcher.py
• modified: gnews.py
• add: plugins/hatebu_counter.py
• modified: renderer.py
• modified: templates/index.tmpl.html

Diff

--- a/README
+++ b/README
@@ -14,9 +14,12 @@
 　gnewsでサイトを生成するために、下記の設定ファイルが必要です。
 
 === config.py ===
-　HTMLの生成先やサイト名、RSSの取得先などを設定するファイルです。PythonのDictionaryおよびArray形式で記述されています。
+　HTMLの生成先やサイト名などを設定するファイルです。PythonのDictionaryおよびArray形式で記述されています。
 　config.py.sampleをコピーしてconfig.pyを作成し、編集します。
 
+=== sources.ini ===
+　RSSの取得先を設定するファイルです。ini形式で記述されています。セクション名が表示されるサイト名、urlパラメータがサイトのURL、sourcesパラメータがRSSの取得先、filtersが使用するフィルタ一覧（カンマ区切り）となります。
+
 === install.conf ===
 　関連ファイルのコピー先を指定するファイルです。
 　install.conf.sampleをコピーしてintall.confを作成し、編集します。

--- a/config.py.sample
+++ b/config.py.sample
@@ -35,81 +35,3 @@ config = {
         ],
 }
 
-target_rss = [
-    {
-        'name': 'SourceForge.JP Magazine',
-        'url': 'http://rss.rssad.jp/rss/sourceforge/magazine/rss',
-        'source_url': 'http://sourceforge.jp/magazine/',
-     },
-    {
-        'name': 'Slashdot Japan',
-        'url': 'http://rss.rssad.jp/rss/slashdot/slashdot.rss',
-        'source_url': 'http://slashdot.jp/',
-		'filter': ['slashdotjp',],
-     },
-    {
-        'name': 'ITmedia',
-        'url': 'http://rss.rssad.jp/rss/itmtop/2.0/itmedia_all.xml',
-        'source_url': 'http://www.itmedia.co.jp/',
-        'filter': ['tagging', 'itmedia'],
-     },
-    {
-        'name': 'So-netセキュリティ通信',
-        'url': 'http://security-t.blog.so-net.ne.jp/index.rdf',
-        'source_url': 'http://security-t.blog.so-net.ne.jp/',
-        'filter': ['tagging',],
-     },
-    {
-        'name': 'Engadget Japanese',
-        'url': 'http://japanese.engadget.com/rss.xml',
-        'source_url': 'http://japanese.engadget.com/',
-        'filter': ['tagging',],
-     },
-    {
-        'name': 'ギズモード・ジャパン',
-        'url': 'http://feeds.gizmodo.jp/rss/gizmodo/index.xml',
-        'source_url': 'http://www.gizmodo.jp/',
-        'filter': ['tagging',],
-     },
-    {
-        'name': 'TechCrunch Japan',
-        'url': 'http://jp.techcrunch.com/feed/',
-        'source_url': 'http://jp.techcrunch.com/',
-        'filter': ['tagging',],
-     },
-    {
-        'name': 'Impress Watch',
-        'url': 'http://rss.rssad.jp/rss/headline/headline.rdf',
-        'source_url': 'http://www.watch.impress.co.jp/',
-        'filter': ['tagging',],
-     },
-    {
-        'name': 'WIRED.jp',
-        'url': 'ihttp://rss.rssad.jp/rss/h/wired/feed.rdf',
-        'source_url': 'http://wired.jp/',
-        'filter': ['tagging',],
-     },
-    {
-        'name': 'CNET Japan',
-        'url': 'http://feeds.japan.cnet.com/rss/cnet/all.rdf',
-        'source_url': 'http://japan.cnet.com/',
-        'filter': ['tagging',],
-     },
-    {
-        'name': 'japan.internet.com',
-        'url': 'http://rss.internetcom.jp/rss/japaninternetcom/index.rdf',
-        'source_url': 'http://japan.internet.com/',
-        'filter': ['tagging',],
-     },
-
-    ]
-
-
-"""Template:
-    {
-        'name': '',
-        'url': '',
-        'source_url': '',
-        'filter': ['tagging',],
-     },
-"""

--- a/css/gnews.css
+++ b/css/gnews.css
@@ -22,17 +22,21 @@ a {
   margin-bottom: 1em;
 }
 .entry-footer{
-  color: gray;
+  color: #888;
 }
 
 #site-header {
-  border-bottom: 1px solid gray;
+  border-bottom: 1px solid #888;
   margin-bottom: 10px;
 }
 
+#site-header .last-update {
+  color: #888;
+}
+
 #site-footer {
   margin-top: 10px;
-  color: gray;
+  color: #888;
   text-align: center;
 }
 

--- a/fetcher.py
+++ b/fetcher.py
@@ -21,7 +21,7 @@ class FeedFetcher(object):
             entry = {
 #                'title': e.title.decode('utf8') if isinstance(e.title, str) else e.title,
                 'title': e.title,
-                'link': e.link,
+                'url': e.link,
                 'body': e.description,
                 'date': dateutil.parser.parse(e.updated),
                 'feed': self._feed,

--- a/gnews.py
+++ b/gnews.py
@@ -15,7 +15,6 @@ def main():
     "gnews's main function"
 # TODO: argv check
 
-
     # fetch RSS feed
     entries = []
     for feed in sources:
@@ -49,8 +48,14 @@ def main():
     for e in entries:
         log(e["date"])
 
+    call_plugin('pre_render', entries)
+
     # do rendering
-    params = {'tags':tags, 'page':{}, 'sorted_tags':sorted_tags}
+    params = {
+        'tags':tags,
+        'page':{},
+        'sorted_tags':sorted_tags
+        }
 
     # render index page
     do_rendering('index', 'index%s.html', entries, params)
@@ -61,6 +66,38 @@ def main():
         do_rendering('tags', tag + '%s.html', subentries, params)
 
 
+def call_plugin(function_name, entries):
+    "call plugin"
+    for plugin in config['plugins']:
+        mod = _get_plugin(plugin)
+        f = mod.__getattribute__(function_name)
+        f(entries)
+
+class PluginError(Exception):
+    def __init__(self, value):
+        self.value = value
+    def __str__(self):
+        return 'plugin "' + self.value + '" is not found.'
+
+def _get_plugin(plugin_name):
+    'load plugin by config settings'
+
+    # fallback when filter isn't defined
+    if plugin_name is None:
+        return lambda x:x
+        
+    # import module
+    mods = __import__(config['plugin_directory'], 
+                      globals(),
+                      locals(),
+                      [plugin_name,])
+    try:
+        mod = mods.__getattribute__(plugin_name)
+    except AttributeError:
+        raise PluginError(plugin_name)
+
+    return mod
+
 
 def do_rendering(page_type, filename, entries, params):
     "rendering page"

--- /dev/null
+++ b/plugins/hatebu_counter.py
@@ -0,0 +1,40 @@
+#!/usr/bin/python
+# -*- coding: utf-8
+'plugin for hatena bookmark counter'
+
+#from __future__ import with_statement
+
+import xmlrpclib
+import datetime
+import time
+import sys
+
+# see http://d.hatena.ne.jp/keyword/%a4%cf%a4%c6%a4%ca%a5%d6%a5%c3%a5%af%a5%de%a1%bc%a5%af%b7%ef%bf%f4%bc%e8%c6%c0API?kid=146686
+
+urls = []
+counts = {}
+
+def pre_fetch():
+    pass
+
+def pre_tag_aggregate(entries):
+    pass
+
+def pre_render(entries):
+    counts = []
+    for i in range(0, len(entries), 50):
+        urls = [x['url'] for x in entries[i:i+50]]
+        c = _get_count(urls)
+        for j in range(0, len(c)):
+            entries[i+j]['url'] = c[j]
+
+def pre_quit(entries):
+    pass
+
+def _get_count(urls):    
+    # urls can have max 50 items
+    uri = "http://b.hatena.ne.jp/xmlrpc"
+    server = xmlrpclib.ServerProxy(uri)
+    t = server.bookmark.getCount(*urls)
+    return t
+

--- a/renderer.py
+++ b/renderer.py
@@ -12,7 +12,6 @@ from propertizer import propertize
 from logger import log
 
 def date_format(date):
-    #dt = dateutil.parser.parse(date)
     return date.strftime('%Y/%m/%d %H:%M')
 
 class Renderer(object):
@@ -41,6 +40,7 @@ class Renderer(object):
             'site': config['site_parameter'],
             'sources': self._sources,
             }
+        kwargs['site']['last_update'] = datetime.datetime.utcnow()
         for key in kwargs:
             d = propertize(kwargs[key])
             kwargs[key] = d

--- a/templates/index.tmpl.html
+++ b/templates/index.tmpl.html
@@ -25,14 +25,17 @@ s.parentNode.insertBefore(ga, s);
     <div class="container">
 
       <!-- タイトル -->
-      <div class="row">
-        <div class="span12">
-          <header id="site-header">
+      <div class="row" id="site-header">
+        <div class="span9">
+          <header>
             <a href="${site.root}">
               <img id="sitelogo" src="${site.img_directory}/themesjp.png" alt="Themes.JP"> α
             </a>
           </header>
         </div>
+        <div  class="span3 last-update">
+          last update: ${date_format(site.last_update)}
+        </div>
       </div>
 
       <!-- コンテンツ本体 -->
@@ -63,7 +66,7 @@ s.parentNode.insertBefore(ga, s);
               <img class="thumbnail" src="${entry.images[0]}">
               % endif
               <h3>
-                <a href='${entry.link}'  target="_blank_">${entry.title}</a>
+                <a href='${entry.url}'  target="_blank_">${entry.title}</a>
               </h3>
             </div>
 
@@ -76,7 +79,7 @@ s.parentNode.insertBefore(ga, s);
             <!-- フッタ -->
             <div class="entry-footer">
               <div class="entry-continue">
-                <a href='${entry.link}'>［続きを読む］</a>
+                <a href='${entry.url}'>［続きを読む］</a>
               </div>
               <div class="information">
                 <span>情報元：<a href='${entry.feed.url}'>${entry.feed.name}</a></span>