• #maker+t=market
  • COSPLAY 3D 建模
  • 3D列印服務
  • 1
  • 2
  • 3

Maker + T = Market 造訪社團 » 用戶發文

原文網址 Charlie Ting
2020-02-09 15:10:18

[爬蟲心得分享]

這幾天一直在努力開發爬蟲程式,準備把一些社團內容爬回來作分析、匯整,但是過程中遇到不少問題。

1. 效率
以臉書這類瀑布式的內容輸出方式來說,網頁內容會越來越大,所以在處理之後,必須把相關內容刪除,才能提升內容篩選的效率。

2. 穩定性
原本是選擇用 Chrome 來捉內容,但每到佔用 2G 記憶體之後就會造成瀏覽器跳錯,讓程序停擺。所以最後改用 Firefox 來捉內容,目前看來是沒有記憶體的限制問題。

3. 資源控管
爬蟲因為是以操控瀏覽器的方式運作的,所以整個資源除了 Python, Selenium 之外還有瀏覽器都需要資源,其中瀏覽器是佔最多的。所以要把瀏覽器的資源分配方式調整成最適合爬蟲的狀態,並且取消不必要的內容載入,像是照片、影片、GPU使用狀況等。

4. 即時記錄
整個爬蟲的程序是很容易出錯的,所以捉到什麼內容時,最好直接寫入資料庫,以免整個內容佔用太多資源,也無法在最後成功輸出。

等資料都爬完之後,就可以開始大量分析了。

大家保重!

李穆
2020-02-09 18:23:36

直接逆向網頁中的js,模擬js對server投封包,可以只拿到部份source回來分析,速度比較快資源也比較省

Bless Ma
2020-02-09 20:24:12

FB有API可以用


原文網址 Charlie Ting
2020-02-04 22:02:08

[防疫閉關廣徵意見]

最近大家都好嗎?

為了防疫,最近沒事都不出門了,所以多了些時間寫程式,這次會先作一個平台。先概略說明一下,然後想聽聽大家有什麼想法,作為後續的功能調整。

這個平台基本上算是一個外掛,只是無法在臉書上寫自己的外掛,只好靠捉資料方式處理。

它的概念就是:
1. 針對特定主題的社團進行內容爬文、索引建檔

2. 透過關鍵字系統建構一個非常方便的索引方式(暫時還是會作成網頁介面,但會規劃作為平台操作,未來希望可以像關鍵報告那些操作,甚至結合AR)

3. 會內建爬文筆記系統,很多人每天都在網路上爬文,但過程如何記錄下來,那些內容有參考價值,要作功課很費事。

4. 多媒體型態展示,就是把各種不同型態的資訊用更方便建構清晰邏輯思路的方式展示調閱。

5. 支援廣告系統。臉書社團裡往往有很多大神,但社團的掌握權通常不公開,社群的交流不易,對很多樂於分享的人來說,貢獻度不容易有對等代價。

它的目的是什麼:

1. 順應潮流,現在的內容都是眾人貢獻才會豐富精彩,所以只能思考讓平台的功能更方便,而不是專斷內容。

2. 減輕負擔。現在的資料量爆炸,爬文得爬得要死,內容又很分散,要有專人整理也不容易。(出現1的專斷問題)所以要有更方便找資料的方式,重點是建檔要很容易。

3. 清晰脈絡。不論在那個領域,了解整個發展或討論趨勢和內容轉變,絕對有助於了解這個領域的發展。但是,這個過程在社團上很難形成,而且也沒效率。所以這部份需要技術來輔助。

4. 供應鏈整合。每個領域都有它的生態系,那麼如何讓付出較多的人得到更多回報,絕對有助於生態發展。

5. 斜槓人生。期待透過這個平台,可以把各個專業領域的內容作快速的梳爬整理,轉變成非常容易進入的領域,讓所有人都可以快速學習和進入新的領域,並作出貢獻,讓各領域都越來越精彩。

NEED HELP!!

所以,在這裡會需要大家回饋一下,如果你在參加各個社團的時候,有發現什麼不方便、不滿意的地方,歡迎在這邊分享,我會思考看看如何避免或改善這樣的問題。

PS. 有興趣的可以私訊我,可以給你看我之前作的機制,不過那是十二年前作的。現在要弄的東西,概念和核心技術相同,但操作手法和理念不太一樣。

謝謝!!


原文網址 Charlie Ting
2020-02-02 19:59:50

作一台來作攝影棚造景用~~


原文網址 Charlie Ting
2020-01-27 23:42:47

作為 maker, 這時候是要發揮創意了~~~

大家是不是應該要發揮一下想像力, 看有沒有什麼好方法可以因應 SARI 的挑戰呢?

Johnson Peng
2020-01-28 08:43:43

太悶了,加風扇 +1


原文網址 Charlie Ting
2020-01-25 16:57:09

[運籌帷幄,決戰千里]

大家新年好~~~

前幾天在整理辦公室時,想到了這句話,但卻不是要作什麼大事情,相反的,是很多細微的小事,甚至只是意識之戰。

引發這想法的脈絡源自這幾年已經採購了非常多的資源,已把整個辦公室塞滿。而小小的辦公室中,用來作事的工作空間和設備很多,至少有超過十個以上。如果套用電腦CPU的概念,大概就是12核~16核之間的狀態。

那麼,該如何讓這套電腦系統的運作效率極大化呢?幾個關鍵就在於盡可能維持各核心處於空閒狀態;再者當需要啟用該核心時,所有資訊的載入效率最高;運算完後復原的速度最快。

對照到辦公室的運作效率,就是各工作站點的空間沒有被佔用的狀況;相關的物資、工具、材料都在鄰近處收納妥當;工作完畢後的清潔復原有快速或自動清潔的模式。

而這一切的優化,關鍵只在於個人的觀念和習慣能否盡早確認並養成。成熟之後,要執行各項任務或計劃,才有辦法用最精實有效的方式,逐步完成。如此一來,才能達到運籌帷幄,決戰千里~~~

一點小心得,與大家分享!


原文網址 Charlie Ting
2020-01-24 08:27:04

可以來改一下~~


原文網址 Charlie Ting
2020-01-23 15:12:27

原文網址 Charlie Ting
2020-01-06 00:56:36

Cool!

那個彎線機也蠻有趣的!

楊朝鈞
2020-01-06 01:10:07

戴士偉
2020-01-06 01:31:39

還以為會變成BB8 ?


原文網址 Charlie Ting
2020-01-04 02:45:24

[台灣大未來]

最近台灣發生了嚴重的軍用直升機的傷亡意外,對此先表示深切的遺憾與不捨。

但是,接下來要回到現實面,不是看選舉,而是看台灣的大未來。

台灣因為地理位置關係,成為西方民主世界制約中共共產政權的支點,因此台灣的發展從來不只是台灣自己的事。

所以現在台灣的狀況和未來完全取決於美中貿易戰爭來決定。

那麼,在兩強交戰之中,台灣會怎麼發展,人們該如何選擇?會決定台灣的未來,以及你的未來。

不知道大家有沒有注意到前一陣子,TOP GUN 開始打宣傳了,準備在今年推出續集。為什麼一部30年前的電影現在才推續集?其實,好萊塢的影片從來就是美國的行銷工具(英雄故事行銷),但這不是結束,而是一連串動作的開端。所以 TOP GUN 續集代表的是什麼,就是美台武力進一步交流的訊號。(當然也包括其他世界上較弱小的民主國家)

而近來許多美國公司來台徵才投資,甚至通過反滲透法,這些訊息在告訴台灣的精英階級,你可以選擇繼續過民主的生活,不用受限台灣的薪資,不用羨慕大陸的市場,可以在自己家裡領美國的薪資,意思就是要你選邊站。關於這點,除非是對自己的外語能力完全沒自信,不然絕大多數人會選擇民主+美金,而非獨裁+人民幣。

而這又代表什麼訊息?就是台灣在未來很快的時間裡,會開始出現越來越多的美國人,越來越多的外商而非陸資,這表示未來的活動型態會有所轉變,會變得越來越活潑、熱情、有西方元素。

在這樣的發展趨勢下,在台灣謀生要掌握更多機會的關鍵,就會是外語能力、態度和活躍度。但是同時又得具備民主、理性、客觀、科學的作事習慣。

在這個大趨勢之下,未來的各行各業其實有很多需要因應的作為要盡快完成。例如,活動圈的妹子們是否有充份的外語能力和相關記錄;媒體界是否能有效從訊息傳播中得到社會趨勢並且精準掌握假訊息的傳遞予以打擊;創客業是否能充分展現創造力、願景,再藉助於世界的資源來改變社會。

試想,當美國正式將台灣的全球戰略地位定調之後,他會採取的動作、投入的資源、影響的時間,很有可能是台灣在過去台灣錢淹腳目的日子之後,再一次的翻身機會......

而這個機會如果你錯過了,那就只能期待20年後又是一條好漢了。

期許每個人都能看懂這個大趨勢的到來,然後積極衝它個三年五年,肯定會有很大的成就。

各位~~~加油了!

吳水豚
2020-01-04 02:47:29

其實台灣在空轉下去,就會由能自己決定是不是獨立,轉變成不管多努力被併吞是遲早的模式

Vincent LM Yeh
2020-01-04 10:29:23

分析的好精準啊!


原文網址 Charlie Ting
2020-01-01 22:32:12

[PCB 技法]

這招好像蠻有趣的,不過他用的是指甲用的去光水嗎?

https://www.youtube.com/watch?v=cVhSCEPINpM&t=158

許阿瑋
2020-01-01 22:51:36

主要成分應該是丙酮~

楊朝鈞
2020-01-02 03:05:01

指甲用的去光水是丙酮油性溶劑,可以溶解碳粉反轉印到銅板上.
氯化鐵本身水性,所以不會和碳粉起作用,但沒有碳粉覆蓋的銅會被氯化鐵洗掉......
印刷電路本基本都是玩油性覆蓋層對抗水性氯化鐵......


 

討論主題

全不選 常用關鍵字