特斯拉新款電動汽車比Model 3便宜1萬美金

2020-03-102020-03-10 admin

今年4月1日，特斯拉正式發佈旗下第四款純電動汽車——Model 3，此舉引爆了全球的電動汽車愛好者。不過，特斯拉似乎並沒打算將Model 3設定為自己的“國民車”，據悉，其未來的生產規劃中還有一款更“國民化”的車型。
有知情人士透露，特斯拉的“國民車”是一款A級車，售價將比Model 3還低1萬美元，僅2.5萬美元，約合人民幣16.65萬元。不過雖然價格有所下降，但因電池技術不斷提高，成本不斷下降，該款車型的續航里程將仍在300km以上。該人士還介紹，此款“國民車”應該在2018年左右向全球公佈，2020年交付。屆時，特斯拉將在中國完成國產化，所以中國消費者未來購買該款車型可享受與美國相同的售價。文章來源：EV世紀

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

一、從零開始搭建自己的靜態博客 — 基礎篇

2020-03-092020-03-09 admin

前幾天心血來潮，想要在GitHub Pages上搭建一個靜態博客；之前，我也曾基於Django開發過自己的博客，並買了雲主機部署，但是訪問量感人，慢慢自己也不打理了，就把雲主機退訂了（去吃噸好的~~~）；

雖然搭建靜態博客很簡單，但是也想記錄一下，如果恰好能對你有所幫助或啟發，那我也覺的很開心了。

搭建靜態博客的工具多種多樣，即有流行的，也有GitHub Pages官方推薦的；其實，選用哪種工具不重要，關鍵是一步步的理解它，遇到問題、解決問題的思路和過程；

因為我本人對Python比較熟悉，所以我選用基於Python開發的，它基本滿足我的需求：

支持markdown的格式；
提供自動化構建；
足夠的主題庫和插件庫，並且支持定製化；
…

本文主要涉及pelican的基本使用方法，最終在本地搭建一個簡陋的博客網站；

1. 準備環境

選定工作目錄，並使用創建一個虛擬環境：

λ mkdir pelican-blog
λ cd pelican-blog

# 創建基於 Python 3 的虛擬環境 
λ pipenv install --three

# 查看虛擬環境中的 Python 版本
λ pipenv run python --version
Python 3.7.3

在虛擬環境中安裝必要的包：

λ pipenv install Markdown pelican

# 查看包之間的依賴關係
λ pipenv graph
Markdown==3.1.1
  - setuptools [required: >=36, installed: 41.6.0]
pelican==4.2.0
  - blinker [required: Any, installed: 1.4]
  - docutils [required: Any, installed: 0.15.2]
  - feedgenerator [required: >=1.9, installed: 1.9]
    - pytz [required: >=0a, installed: 2019.3]
    - six [required: Any, installed: 1.13.0]
  - jinja2 [required: >=2.7, installed: 2.10.3]
    - MarkupSafe [required: >=0.23, installed: 1.1.1]
  - pygments [required: Any, installed: 2.4.2]
  - python-dateutil [required: Any, installed: 2.8.1]
    - six [required: >=1.5, installed: 1.13.0]
  - pytz [required: >=0a, installed: 2019.3]
  - six [required: >=1.4, installed: 1.13.0]
  - unidecode [required: Any, installed: 1.1.1]

2. 新建項目

pelican提供了一個命令行工具：pelican-quickstart，能夠讓我們快速地新建一個網站項目；

它在執行的過程中，會交互式的詢問一些配置項，如果你現在還不能確定的話，那就大膽的使用默認值吧，後面還可以在配置文件中修改；

命令執行完成后，它會在我們的項目中新建如下的目錄和文件：

.
├── content         # 目錄，存放原始博文和相關靜態文件
├── output          # 目錄，存放構建后的網站源碼
├── Makefile        
├── pelicanconf.py  # 構建相關的配置文件
├── publishconf.py  # 發布相關的配置文件
└── tasks.py

其中，content/目錄存放所有的markdown格式的文本，我們還可以再新建一個content/images/的子目錄，用於存放所有的圖片；

注意：

在自動構建的過程中，content/images/中的文件會被無損地拷貝到output/images/中，通過修改pelicanconf.py文件中STATIC_PATHS的配置項（默認值為['images']）可以改變這種行為；

3. 第一篇博文

現在我們在content/目錄下添加第一篇markdown格式的文章，就以本文為例；

pelican可以很“聰明”地從文章的元數據中提取需要的信息，所以我們以特定的格式編寫文章的開頭：

Title: 一、從零開始搭建自己的靜態博客 -- 基礎篇
Date: 2019-11-21 14:37
Modified: 2019-11-22 11:09
Category: 工具
Tags: pelican
Author: luizyao
Slug: pelican-blog-chapter-1
Summary: 本文簡要的介紹 pelican 的基本用法
Status: published

<開始正文>

注意：

更多元數據以參考：；

如果你使用VSCode作為你的日常開發工具，那麼我建議你使用插件為不同類型的文件自動生成頭信息模版；

4. 修改配置文件

在正式開始構建之前，我們需要完善一下配置文件pelicanconf.py：

# pelicanconf.py

# 修改時區
TIMEZONE = 'Asia/Shanghai'

# 添加一個 GitHub 的“絲帶”鏈接
GITHUB_URL = 'https://github.com/luizyao'

# 修改社交賬號的展示
SOCIAL = (
    ('GitHub', 'https://github.com/luizyao'),
)

# 修改默認的時間格式（'%a %d %B %Y'）
DEFAULT_DATE_FORMAT = "%Y-%m-%d %H:%M"

# 為元數據定義默認值
DEFAULT_METADATA = {
    # 默認發布的文章都是草稿，除非在文章元數據中明確指定：Status: published
    'status': 'draft',
}

5. 本地構建和訪問

我們通過以下命令構建網站並自動適配文件的修改，通過訪問：

λ pipenv run pelican --autoreload --listen content/

注意：
不要忘記把文章元數據中的Status: draft改成Status: published，不然我們是看不到這篇文章的；
pelican默認使用notmyidea這個主題來構建網站；你可以通過pelican-themes命令查看已安裝的主題：
λ pipenv run pelican-themes --list
notmyidea
simple
然後通過在pelicanconf.py中設定THEME = 'simple'或者構建時傳入-t 'simple'選項來使用主題simple，實際上和純文本差不多了；

6. `markdown`解析異常

這是一個列表：

if 1：
    print('這是一段python代碼')

這個時候，如果你訪問我們的網站，你會發現上面的markdown代碼被展示成下面的形式，根本就不是我們想要的縮進代碼塊的效果：

為什麼會這樣呢？我們又該如何解決這個問題？

6.1. `Markdown`包的實現機制

pelican使用包作為markdown文本的解釋器，這個包嚴格實現了語法，並提供一些擴展；

John Gruber是markdown語法的發明者，他在2004發布了第一個版本的markdown語法，這一版本的語法有着明顯的特點：

不支持三個反引號（'```'）包裹代碼的寫法；
不支持表格；
定義了嚴格的嵌套縮進的格式，必須是4個空格；
…

雖然自從發布了第一版之後，就再也沒有更新過，但是現在流行的各種markdown語法都是基於它的擴展和補充，例如：、等；

注意：

雖然Markdown包嚴格實現了John Gruber’s Markdown語法，但是具體的實現還是有一些差別的，更多細節可以參考：

6.2. `pelican`默認使用的`Markdown`擴展

上一節中我們提到，Markdown包同樣提供一些擴展用於解析更多類型的語法，這些擴展又分為官方擴展和第三方擴展；

通過查閱pelican的源碼（或官方文檔），可以看到其默認使用了以下擴展：

# pelican/settings.py

'MARKDOWN': {
    'extension_configs': {
        'markdown.extensions.codehilite': {'css_class': 'highlight'},
        'markdown.extensions.extra': {},
        'markdown.extensions.meta': {},
    },
    'output_format': 'html5',
},

首先，我們看一下擴展：

它主要實現了大多數PHP Markdown的語法，是其它6個擴展的合集：

擴展	文檔	描述
Abbreviations
Attribute Lists
Definition Lists
Fenced Code Blocks		擴展了代碼塊的寫法
Footnotes
Tables		支持表格

我們重點看一下Fenced Code Blocks，因為它支持了我常用的三個反引號包裹代碼塊的寫法：

GitHub‘s backtick (“`) syntax is also supported:
# more python code

然後，我們再看一下擴展：

它基於包為我們提供了代碼的高亮显示，我們主要看一下它的一些可配置選項：

linenums：如果置為True，將會為代碼塊每行標上行號；
css_class：為<div>標籤加上class屬性，默認是codehilite；在這裏，pelican使用的是highlight;

最後，我們看一下：

它主要是pelican內部使用，還記得我們每個markdown文本的開頭都要有特定的格式嗎？就是通過這個擴展讀取的；感興趣的同學可以自己去看一下，這裏我們就不多說了；

6.3. 向第三方擴展尋求幫助

看到現在，我們也沒有找到想要的解決方案：對列表裡縮進嵌套反引號包裹的代碼塊，進行正確的渲染；

還好我們還有眾多的第三方擴展供我們使用：

我們找到一個的擴展貌似可以代替markdown.extensions.extra，來一起看一下吧：

它和markdown.extensions.extra大部分是一樣的，只是有以下不同：

新包含了擴展：優化粗體和斜體的展示（不關心）；
新包含了擴展：增加了對原始HTML代碼的處理（不關心）；
使用擴展代替Fenced Code Blocks：加強版的markdown語法解析（看來正式我們想要的）；

其實，看到SuperFences文檔的第一句話，我就知道妥了，嘻嘻；

Allowing the nesting of fences under blockquotes, lists, or other block elements (see Limitations for more info).

文檔的內容很豐富，我們就不再這裏一一解釋了，有興趣的同學可以自己去看一看，說不定有什麼意外的收穫呢！！！

6.4. 解決問題

現在，我們來實際解決這個問題：

安裝必要的包：
```
λ pipenv install pymdown-extensions
```

修改pelicanconf.py文件中MARKDOWN的默認配置：

# 使用第三方擴展來增強對 markdown 語言的解析，但是首先要安裝 pymdown-extensions 模塊
MARKDOWN = {
    'extension_configs': {
        'markdown.extensions.codehilite': {'css_class': 'highlight'},
        'pymdownx.extra': {},
        'markdown.extensions.meta': {},
    },
    'output_format': 'html5',
}

7. One more thing

我在瀏覽SuperFences文檔時，發現一個很有意思的章節：；

它推薦了代替markdown.extensions.codehilite，那我們就來看看這到底是個什麼鬼？

在它的文檔中有一句話大概能說明兩者的關係：

The Highlight extension is inspired by CodeHilite, but differs in features. PyMdown Extensions chooses not to implement special language headers for standard Markdown code blocks like CodeHilite does; PyMdown Extensions takes the position that language headers are better suited in fenced code blocks.

更多實現上的細節，我們不再去深究，主要看看我們可以用來干什麼？

比如，為代碼塊每行加上行號：

咦？markdown.extensions.codehilite也可以啊，它不是也有一個linenums的選項嗎？置成True不就行了；

說的對，不過丑。

一般情況下，為代碼塊添加行號有兩種樣式：

table：默認的樣式，創建一個表，第一列是行號；
inline：在每行代碼的開頭，但是複製代碼會把行號一起複制，不方便；

不過，pymdownx.highlight提供了第三種樣式：pymdownx-inline，它和inline很像，只是複製時不會加上行號，因為實際上把行號元素渲染成下面這樣：

<span class="lineno" data-linenos="1 "></span>

然後，我們通過以下的CSS樣式去“激活”它：

[data-linenos]:before {
  content: attr(data-linenos);
}

下面，我們來將它具體的應用到我們的項目中吧：

首先，修改pelicanconf.py文件中MARKDOWN的默認配置：

# 使用第三方擴展來增強對 markdown 語言的解析，但是首先要安裝 pymdown-extensions 模塊
MARKDOWN = {
    'extension_configs': {
        'pymdownx.highlight': {
            'css_class': 'highlight',
            'linenums': True,
            'linenums_style': 'pymdownx-inline',
        },
        'pymdownx.extra': {},
        'markdown.extensions.meta': {},
    },
    'output_format': 'html5',
}

然後，在output/theme/css/main.css文件的末尾加上下面這段代碼：

[data-linenos]:before {
  content: attr(data-linenos);
}

最後重啟下服務，就能看到效果了：

注意：

這裡有個問題，如果我們重新執行構建命令，output/theme/css/main.css文件又會被覆蓋成原先的內容，我們這個效果就看不到了；

不過這並不是我們最終的方案，所以我們也不在這裏繼續深究了。

GitHub：

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想要讓你的商品成為最夯、最多人討論的話題?網頁設計公司讓你強力曝光

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

【Flume】Flume基礎之安裝與使用

2020-03-092020-03-09 admin

1、Flume簡介

(1) Flume提供一個分佈式的，可靠的，對大數據量的日誌進行高效收集、聚集、移動的服務，Flume只能在Unix環境下運行。

(2) Flume基於流式架構，容錯性強，也很靈活簡單。

(3) Flume、Kafka用來實時進行數據收集，Spark、Flink用來實時處理數據，impala用來實時查詢。

2、Flume角色

2.1 Source

用於採集數據，Source是產生數據流的地方，同時Source會將產生的數據流傳輸到Channel，這個有點類似於Java IO部分的Channel。

2.2 Channel

用於橋接Sources和Sinks，類似於一個隊列。

2.3 Sink

從Channel收集數據，將數據寫到目標源(可以是下一個Source，也可以是HDFS或者HBase)。

2.4 Event

傳輸單元，Flume數據傳輸的基本單元，以事件的形式將數據從源頭送至目的地。

3、Flume傳輸過程

source監控某個文件或數據流，數據源產生新的數據，拿到該數據后，將數據封裝在一個Event中，並put到channel后commit提交，channel隊列先進先出，sink去channel隊列中拉取數據，然後寫入到HDFS或其他目標源中。

4、Flume安裝與部署

4.1 上傳包

將flume的gz包上傳到/opt/soft/目錄下；

[root@bigdata111 conf]# rz

若不支持rz命令，則用yum安裝lrzsz命令：

查詢含有rz的yum源，由結果可見，yum源中含有lrzsz.x86_64包；

[root@bigdata111 soft]# yum search rzsz
已加載插件：fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.tuna.tsinghua.edu.cn
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
============================================================================================================================= N/S matched: rzsz ==============================================================================================================================
lrzsz.x86_64 : The lrz and lsz modem communications programs

  名稱和簡介匹配 only，使用“search all”試試。

安裝rz命令

[root@bigdata111 soft]# yum -y install lrzsz

4.2 解壓包

將flume解壓到/opt/module/目錄下，並改短名字flume-1.8.0：

[root@bigdata111 soft]# tar -zvxf apache-flume-1.8.0-bin.tar.gz -C /opt/module
[root@bigdata111 module]# mv apache-flume-1.8.0-bin flume-1.8.0

4.3 配置參數

切換到/opt/module/flume-1.8.0/conf目錄，將flume-env.sh.template文件名改為：flume-env.sh

[root@bigdata111 module]# mv flume-env.sh.template flume-env.sh

查詢JAVA_HOME的值；

[root@bigdata111 conf]# echo $JAVA_HOME
/opt/module/jdk1.8.0_144

編輯flume-env.sh，將文件內容中的JAVA_HOME的值修改為上面查到的；

export JAVA_HOME=/opt/module/jdk1.8.0_144

4.4 配置環境變量

在/etc/profile末尾添加flume的家路徑

export FLUME_HOME=/opt/module/flume-1.8.0
export PATH=$PATH:$FLUME_HOME/bin

4.5 驗證flume成功與否

在xshell客戶端下，輸入flu，按tab鍵，看是否能夠自動補全：flume-ng

如果可以自動補全，則代表安裝flume成功，否則失敗。

[root@bigdata112 opt]# flume-ng
Error: Unknown or unspecified command ''

Usage: /opt/module/flume-1.8.0/bin/flume-ng <command> [options]...

commands:
  help                      display this help text
  agent                     run a Flume agent
  avro-client               run an avro Flume client
  version                   show Flume version info
............

4.6 配置其他兩台機器

利用scp命令，配置其他兩台機器；

首先，將flume目錄分發到bigdata112，bigdata113

[root@bigdata111 ~]# scp -r /opt/module/flume-1.8.0/ root@bigdata112:/opt/module/
[root@bigdata111 ~]# scp -r /opt/module/flume-1.8.0/ root@bigdata113:/opt/module/

其次，將/etc/profile環境變量文件分發到bigdata112，bigdata113

[root@bigdata111 ~]# scp -r /etc/profile root@bigdata112:/etc/
[root@bigdata111 ~]# scp -r /etc/profile root@bigdata113:/etc/

最後，在bigdata112，bigdata113上分別刷新環境變量

[root@bigdata112 opt]# source /etc/profile
[root@bigdata113 opt]# source /etc/profile

5、Flume案例

5.1 監控端口數據

目標：Flume監控一端Console，另一端Console發送消息，使被監控端實時显示。

5.1.1 安裝telnet命令

[root@bigdata111 conf]# yum -y install telnet

5.1.2 創建Agent配置文件

在flume根目錄下，新建一個myconf目錄，用於存放自定義conf配置文件；

新建flume-telnet.conf文件，文件內容如下：

# 定義agent
# <自定義agent名>.sources=<自定義source名稱>
a1.sources = r1
# <自定義agent名>.sinks=<自定義sink名稱>
a1.sinks = k1
# <自定義agent名>.channels=<自定義channel名稱>
a1.channels = c1

# 定義source
# <agent名>.sources.<source名稱>.type = 源類型
a1.sources.r1.type = netcat
# <agent名>.sources.<source名稱>.bind = 數據來源服務器
a1.sources.r1.bind = bigdata111
# <agent名>.sources.<source名稱>.port = 自定義未被佔用的端口
a1.sources.r1.port = 44445

# 定義sink
# <agent名>.sinks.<sink名稱>.type = 下沉到目標源的類型
a1.sinks.k1.type = logger

# 定義channel
# <agent名>.channels.<channel名稱>.type = channel的類型
a1.channels.c1.type = memory
# <agent名>.channels.<channel名稱>.capacity = 最大容量
a1.channels.c1.capacity = 1000
# transactionCapacity<=capacity
a1.channels.c1.transactionCapacity = 1000                  

# 雙向鏈接
# <agent名>.sources.<source名稱>.channels = channel名稱
a1.sources.r1.channels = c1
# <agent名>.sinks.<sink名稱>.channel = channel名稱
a1.sinks.k1.channel = c1

5.1.3 啟動flume配置文件

[root@bigdata111 conf]# flume-ng agent --conf /opt/module/flume-1.8.0/conf/ --name a1 --conf-file /opt/module/flume-1.8.0/conf/flume-telnet.conf -Dflume.root.logger==INFO,console

可以簡寫為：

[root@bigdata111 conf]# flume-ng agent --c /opt/module/flume-1.8.0/conf/ --n a1 --f /opt/module/flume-1.8.0/conf/flume-telnet.conf -Dflume.root.logger==INFO,console

5.1.4 發送測試數據

通過其他機器向bigdata111的44445端口發送數據

[root@bigdata112 ~]# telnet bigdata111 44445
Trying 192.168.1.111...
Connected to bigdata111.
Escape character is '^]'.
echo aaaa
OK
echo aaaa
OK
echo bbbbbbbbb
OK

運行結果如圖：

5.2 實時讀取本地文件到HDFS

5.2.1 創建Agent配置文件

創建flume-hdfs配置文件

# 1 agent  若同時運行兩個agent，則agent名字需要改變，比如下面a2
a2.sources = r2
a2.sinks = k2
a2.channels = c2

# 2 source 
# 因監控linux本地文件，執行shell命令，所以type為exec；
a2.sources.r2.type = exec
# 監控的文件路徑
a2.sources.r2.command = tail -F /opt/test.log
a2.sources.r2.shell = /bin/bash -c

# 3 sink
# 數據下沉到目標源hdfs
a2.sinks.k2.type = hdfs
# 如果集群為HA模式，則路徑為active的namenode地址，普通分佈式集群，直接寫namenode所在地址即可。
a2.sinks.k2.hdfs.path = hdfs://bigdata111:9000/flume/%Y%m%d/%H
#上傳文件的前綴
a2.sinks.k2.hdfs.filePrefix = logs-
#是否按照時間滾動文件夾
a2.sinks.k2.hdfs.round = true
#多少時間單位創建一個新的文件夾
a2.sinks.k2.hdfs.roundValue = 1
#重新定義時間單位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地時間戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#積攢多少個Event才flush到HDFS一次
a2.sinks.k2.hdfs.batchSize = 1000
#設置文件類型，可支持壓縮
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一個新的文件
a2.sinks.k2.hdfs.rollInterval = 600
#設置每個文件的滾動大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滾動與Event數量無關
a2.sinks.k2.hdfs.rollCount = 0
#最小副本數
a2.sinks.k2.hdfs.minBlockReplicas = 1

# 定義channel
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 1000

# 雙向鏈接綁定
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2

5.2.2 啟動flume配置文件

[root@bigdata111 flume-1.8.0]# flume-ng agent --conf /opt/module/flume-1.8.0/conf/ --name a2 --conf-file /opt/module/flume-1.8.0/myconf/flume-hdfs.conf

5.2.3 發送文件內容

[root@bigdata111 opt]# echo kjalksdjglkajsdg2333333333333333asdgasdgasdg >> test.log
[root@bigdata111 opt]# echo kjalksdjglkajsdg2333333333333333asdgasdgasdg >> test.log
[root@bigdata111 opt]# echo kjalksdjglkajsdg2333333333333333asdgasdgasdg >> test.log
[root@bigdata111 opt]# echo kjalksdjglkajsdg2333333333333333asdgasdgasdg >> test.log

運行結果：

5.3 實時讀取目錄文件到HDFS

目標：使用flume監聽整個目錄的文件

5.3.1 創建Agent配置文件

創建agent配置文件，命名為：flume-dir.conf，文件內容如下：

#1 Agent
a3.sources = r3
a3.sinks = k3
a3.channels = c3

#2 source
#監控目錄的類型
a3.sources.r3.type = spooldir
#監控目錄的路徑
a3.sources.r3.spoolDir = /opt/module/flume1.8.0/upload
#哪個文件上傳hdfs，然後給這個文件添加一個後綴
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true
#忽略所有以.tmp結尾的文件，不上傳（可選）
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)

# 3 sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://bigdata111:9000/flume/%H
#上傳文件的前綴
a3.sinks.k3.hdfs.filePrefix = upload-
#是否按照時間滾動文件夾
a3.sinks.k3.hdfs.round = true
#多少時間單位創建一個新的文件夾
a3.sinks.k3.hdfs.roundValue = 1
#重新定義時間單位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地時間戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
#積攢多少個Event才flush到HDFS一次
a3.sinks.k3.hdfs.batchSize = 100
#設置文件類型，可支持壓縮
a3.sinks.k3.hdfs.fileType = DataStream
#多久生成一個新的文件
a3.sinks.k3.hdfs.rollInterval = 600
#設置每個文件的滾動大小大概是128M
a3.sinks.k3.hdfs.rollSize = 134217700
#文件的滾動與Event數量無關
a3.sinks.k3.hdfs.rollCount = 0
#最小副本數
a3.sinks.k3.hdfs.minBlockReplicas = 1

# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

溫馨提示：

1) 不要在監控目錄中創建並持續修改文件

2) 上傳完成的文件會以.COMPLETED結尾

3) 被監控文件夾每500毫秒掃描一次文件變動

5.3.2 啟動flume配置文件

[root@bigdata111 myconf]# flume-ng agent --conf /opt/module/flume-1.8.0/conf/ --name a3 --conf-file /opt/module/flume-1.8.0/myconf/flume-dir.conf

5.3.3 上傳文件到upload目錄

[root@bigdata111 opt]# mkdir upload
[root@bigdata111 opt]# ls
module  soft  test.log  upload
[root@bigdata111 opt]# mv test.log upload/
[root@bigdata111 opt]# ls
module  soft  upload
[root@bigdata111 opt]# vi test1.log
[root@bigdata111 opt]# mv test1.log upload/

運行如圖：

5.4 扇出例子01

扇出：數據用於多個地方。（簡單理解：一個數據源對應多個channel，sink,並且輸出到多個目標源）

例子01示意圖：

目標：在flume1裏面接收數據，然後數據下沉到兩個不同目標源（控制台和HDFS）

5.4.1 創建Agent配置文件

在myconf目錄下，新建一個flume-fanout1.conf文件，內容配置如下：

# 定義agent
a1.sources=c1
a1.channels=k1 k2
a1.sinks=s1 s2

# 定義source
a1.sources.c1.type=exec
a1.sources.c1.command=tail -F /opt/test.log
a1.sources.c1.shell=/bin/bash -c

# 將數據流複製給多個channel
a1.sources.r1.selector.type=replicating

# 定義channel1
a1.channels.k1.type=memory
a1.channels.k1.capacity = 1000
a1.channels.k1.transactionCapacity=1000

# 定義channel2
a1.channels.k2.type=memory
a1.channels.k2.capacity = 1000
a1.channels.k2.transactionCapacity=1000

# 定義sink1
a1.sinks.s1.type=logger

# 定義sink2
a1.sinks.s2.type=hdfs
a1.sinks.s2.hdfs.path = hdfs://bigdata111:9000/flume/%Y%m%d/%H
# 上傳文件的前綴
a1.sinks.s2.hdfs.filePrefix = logs-
# 是否按照時間滾動文件夾
a1.sinks.s2.hdfs.round = true
# 多少時間單位創建一個新的文件夾
a1.sinks.s2.hdfs.roundValue = 1
# 重新定義時間單位
a1.sinks.s2.hdfs.roundUnit = hour
# 是否使用本地時間戳
a1.sinks.s2.hdfs.useLocalTimeStamp = true
# 積攢多少個Event才flush到HDFS一次
a1.sinks.s2.hdfs.batchSize = 1000
# 設置文件類型，可支持壓縮
a1.sinks.s2.hdfs.fileType = DataStream
# 多久生成一個新的文件
a1.sinks.s2.hdfs.rollInterval = 600
# 設置每個文件的滾動大小
a1.sinks.s2.hdfs.rollSize = 134217700
# 文件的滾動與Event數量無關
a1.sinks.s2.hdfs.rollCount = 0
# 最小副本數
a1.sinks.s2.hdfs.minBlockReplicas = 1

# 雙向鏈接
a1.sources.c1.channels = k1 k2
a1.sinks.s1.channel=k1
a1.sinks.s2.channel=k2

5.4.2 啟動flume配置文件

[root@bigdata111 myconf]# flume-ng agent --conf /opt/module/flume-1.8.0/conf/ --name a1 --conf-file /opt/module/flume-1.8.0/myconf/flume-fanout1.conf -Dflume.root.logger==INFO,console

5.4.3 向文件添加內容

切換到/opt/目錄下，新建test.log文件，然後動態添加內容，觀察控制台輸出以及web的hdfs文件

[root@bigdata111 opt]# touch test.log
[root@bigdata111 opt]# touch test.log
[root@bigdata111 opt]# echo 'china' >>test.log 
[root@bigdata111 opt]# echo 'hello world' >>test.log
[root@bigdata111 opt]# echo 'nihao' >> test.log

控制台輸出如下：

web頁面結果：

5.5 扇出例子02

目標：flume1監控文件，然後將變動數據分別傳給flume2和flume3，flume2的數據下沉到HDFS；flume3的數據下沉到本地文件；

5.5.1 創建flume1配置文件

在bigdata111上的myconf目錄下，新建agent配置文件：flume-fanout1.conf;

flume1用於監控某文件的變動，同時產生兩個channel和兩個sink，分別輸送給flume2，flume3;

文件內容如下：

# 配置agent
a1.sources = c1
a1.channels = k1 k2
a1.sinks = s1 s2

# 定義source
a1.sources.c1.type=exec
a1.sources.c1.command=tail -F /opt/test.log
a1.sources.c1.shell=/bin/bash -c

# 將數據流複製給多個channel
a1.sources.c1.selector.type=replicating

# 定義channel1
a1.channels.k1.type=memory
a1.channels.k1.capacity = 1000
a1.channels.k1.transactionCapacity=1000

# 定義channel2
a1.channels.k2.type=memory
a1.channels.k2.capacity = 1000
a1.channels.k2.transactionCapacity=1000

# 定義sink1
a1.sinks.s1.type = avro
a1.sinks.s1.hostname = bigdata112
a1.sinks.s1.port = 4402

# 定義sink2
a1.sinks.s2.type = avro
a1.sinks.s2.hostname = bigdata113
a1.sinks.s2.port = 4402

# 雙向鏈接
a1.sources.c1.channels = k1 k2
a1.sinks.s1.channel=k1
a1.sinks.s2.channel=k2

5.5.2 創建flume2配置文件

在bigdata112的myconf目錄下，新建agent配置文件：flume-fanout2.conf

接收flume1的event數據，然後產生一個channel和一個sink，最後將數據下沉到hdfs

文件內容如下：

# 配置agent 不同agent之間，agent名不相同，但是source，channel,sink名可以相同
a2.sources = c2
a2.channels = k2
a2.sinks = s2

# 定義source
a2.sources.c2.type=avro
a2.sources.c2.bind = bigdata112
a2.sources.c2.port = 4402

# 定義channel
a2.channels.k2.type=memory
a2.channels.k2.capacity = 1000
a2.channels.k2.transactionCapacity=1000

# 定義sink
a2.sinks.s2.type = hdfs
a2.sinks.s2.hdfs.path=hdfs://bigdata111:9000/flume2/%H
#上傳文件的前綴
a2.sinks.s2.hdfs.filePrefix = flume2-
#是否按照時間滾動文件夾
a2.sinks.s2.hdfs.round = true
#多少時間單位創建一個新的文件夾
a2.sinks.s2.hdfs.roundValue = 1
#重新定義時間單位
a2.sinks.s2.hdfs.roundUnit = hour
#是否使用本地時間戳
a2.sinks.s2.hdfs.useLocalTimeStamp = true
#積攢多少個Event才flush到HDFS一次
a2.sinks.s2.hdfs.batchSize = 100
#設置文件類型，可支持壓縮
a2.sinks.s2.hdfs.fileType = DataStream
#多久生成一個新的文件
a2.sinks.s2.hdfs.rollInterval = 600
#設置每個文件的滾動大小大概是128M
a2.sinks.s2.hdfs.rollSize = 134217700
#文件的滾動與Event數量無關
a2.sinks.s2.hdfs.rollCount = 0
#最小副本數
a2.sinks.s2.hdfs.minBlockReplicas = 1

# 雙向鏈接
a2.sources.c2.channels = k2
a2.sinks.s2.channel=k2

5.5.3 創建flume3配置文件

在bigdata113的myconf目錄下，新建agent配置文件：flume-fanout3.conf

接收flume1的event數據，然後產生一個channel和一個sink，最後將數據下沉到本地/opt/flume3

文件內容如下：

# 配置agent
a3.sources = c3
a3.channels = k3
a3.sinks = s3

# 定義source
a3.sources.c3.type=avro
a3.sources.c3.bind = bigdata113
a3.sources.c3.port = 4402

# 定義channel
a3.channels.k3.type=memory
a3.channels.k3.capacity = 1000
a3.channels.k3.transactionCapacity=1000

# 定義sink
a3.sinks.s3.type = file_roll
# 提示：本地此目錄必須先建好，程序不會自動創建該目錄
a3.sinks.s3.sink.directory=/opt/flume3

# 雙向鏈接
a3.sources.c3.channels = k3
a3.sinks.s3.channel=k3

5.5.4 啟動三台機器配置文件

bigdata111:

[root@bigdata111 myconf]# flume-ng agent --conf /opt/module/flume-1.8.0/conf/ --name a1 --conf-file /opt/module/flume-1.8.0/myconf/flume-fanout1.conf -Dflume.root.logger==INFO,console

bigdata112:

[root@bigdata112 myconf]# flume-ng agent --conf /opt/module/flume-1.8.0/conf/ --name a2 --conf-file /opt/module/flume-1.8.0/myconf/flume-fanout2.conf

bigdata113:

[root@bigdata113 myconf]# flume-ng agent --conf /opt/module/flume-1.8.0/conf/ --name a3 --conf-file /opt/module/flume-1.8.0/myconf/flume-fanout3.conf

運行結果如圖：

bigdata112:

bigdata113:

5.6 扇入例子

5.6.1 創建flume1配置文件

flume1(agent1)監控端口數據變化，將數據sink到flume3(agent3);

在myconf目錄下新建agent文件：flume-fanin-1.conf

配置內容如下：

# 配置agent
a1.sources = c1
a1.channels = k1
a1.sinks = s1

# 配置source
a1.sources.c1.type = netcat
a1.sources.c1.bind = bigdata111
a1.sources.c1.port = 6666

# 配置sink
a1.sinks.s1.type=avro
a1.sinks.s1.hostname=bigdata113
a1.sinks.s1.port=5008

# 配置channel
a1.channels.k1.type=memory
a1.channels.k1.capacity=1000
a1.channels.k1.transactionCapacity=1000

# 雙向綁定
a1.sources.c1.channels = k1
a1.sinks.s1.channel = k1

5.6.2 創建flume2配置文件

flume2(agent2)監控本地文件變化，將數據sink到flume3(agent3);

在myconf目錄下新建agent文件：flume-fanin-2.conf

配置內容如下：

# 配置agent
a2.sources = c1
a2.channels = k1
a2.sinks = s1

# 配置source
a2.sources.c1.type = exec
a2.sources.c1.command = tail -F /opt/ceshi.log
a2.sources.c1.shell=/bin/bash -c

# 配置sink
a2.sinks.s1.type=avro
a2.sinks.s1.hostname=bigdata113
a2.sinks.s1.port=5008

# 配置channel
a2.channels.k1.type=memory
a2.channels.k1.capacity=1000
a2.channels.k1.transactionCapacity=1000

# 雙向綁定
a2.sources.c1.channels = k1
a2.sinks.s1.channel = k1

5.6.3 創建flume3配置文件

flume3(agent3)接收flume1和flume2的數據，將數據sink到HDFS ；

在myconf目錄下新建agent文件：flume-fanin-3.conf

配置內容如下：

# 配置agent
a3.sources = c1
a3.channels = k1
a3.sinks = s1

# 配置source
a3.sources.c1.type = avro
a3.sources.c1.bind = bigdata113
a3.sources.c1.port = 5008

# 配置sink
a3.sinks.s1.type=hdfs
a3.sinks.s1.hdfs.path=hdfs://bigdata111:9000/flume3/%H
# 上傳文件的前綴
a3.sinks.s1.hdfs.filePrefix = flume3-
# 是否按照時間滾動文件夾
a3.sinks.s1.hdfs.round = true
# 多少時間單位創建一個新的文件夾
a3.sinks.s1.hdfs.roundValue = 1
# 重新定義時間單位
a3.sinks.s1.hdfs.roundUnit = hour
# 是否使用本地時間戳
a3.sinks.s1.hdfs.useLocalTimeStamp = true
# 積攢多少個Event才flush到HDFS一次
a3.sinks.s1.hdfs.batchSize = 1000
# 設置文件類型，可支持壓縮
a3.sinks.s1.hdfs.fileType = DataStream
# 多久生成一個新的文件
a3.sinks.s1.hdfs.rollInterval = 600
# 設置每個文件的滾動大小大概是128M
a3.sinks.s1.hdfs.rollSize = 134217700
# 文件的滾動與Event數量無關
a3.sinks.s1.hdfs.rollCount = 0
# 最小冗餘數
a3.sinks.s1.hdfs.minBlockReplicas = 1

# 配置channel
a3.channels.k1.type=memory
a3.channels.k1.capacity=1000
a3.channels.k1.transactionCapacity=1000

# 雙向綁定
a3.sources.c1.channels = k1
a3.sinks.s1.channel = k1

5.6.4 啟動三個flume配置文件

flume1:

[root@bigdata111 myconf]# flume-ng agent -c ../conf/ -n a1 -f flume-fanout1.conf -Dflume.root.logger==INFO,console

flume2:

[root@bigdata112 myconf]# flume-ng agent -c ../conf/ -n a2 -f flume-fanout2.conf

flume3:

[root@bigdata113 myconf]# flume-ng agent -c ../conf/ -n a3 -f flume-fanout3.conf

5.6.5 操作端口與文件

新開xshell選項卡，鏈接bigdata111服務器，然後執行telnet命令：

[root@bigdata111 ~]# telnet bigdata111 6666
Trying 192.168.1.111...
Connected to bigdata111.
Escape character is '^]'.
english
OK
chinese
OK
hello
OK
.net
OK
php
OK
java
OK

新開xshell選項卡，鏈接bigdata112服務器，然後向/opt/ceshi.log添加新內容：

[root@bigdata112 ~]# cd /opt/
[root@bigdata112 opt]# ls
ceshi.log  ha  module  soft  zookeeper.out
[root@bigdata112 opt]# cat ceshi.log
start-log-in
end-log
[root@bigdata112 opt]# echo `date` >> ceshi.log
[root@bigdata112 opt]# echo "end-log" >> ceshi.log
[root@bigdata112 opt]# cat ceshi.log 
start-log-in
end-log
2019年 09月 07日 星期六 23:36:03 CST
end-log

5.6.6 显示運行結果

web頁面結果：

hdfs的文件內容：

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

100天搞定機器學習|Day56 隨機森林工作原理及調參實戰（信用卡欺詐預測）

2020-03-092020-03-09 admin

本文是對的補充

前文對隨機森林的概念、工作原理、使用方法做了簡單介紹，並提供了分類和回歸的實例。
本期我們重點講一下：
1、集成學習、Bagging和隨機森林概念及相互關係
2、隨機森林參數解釋及設置建議
3、隨機森林模型調參實戰
4、隨機森林模型優缺點總結

集成學習、Bagging和隨機森林

集成學習

集成學習並不是一個單獨的機器學習算法，它通過將多個基學習器（弱學習器）進行結合，最終獲得一個強學習器。這裏的弱學習器應該具有一定的準確性，並且要有多樣性（學習器之間具有差異），比較常用的基學習器有決策樹和神經網絡。

集成學習的核心就是如何產生並結合好而不同的基學習器，這裡有兩種方式是，一種是Bagging，基學習器之間沒有強依賴關係，可同時生成的并行化方法。一種是Boosting，基學習器之間有強依賴關係，必須串行生成。
集成學習另一個關鍵問題是結合策略，主要有平均法、投票法和學習法，這裏不再展開。

Bagging

Bagging是Bootstrap AGGregaING的縮寫，Bootstrap即隨機採樣，比如給定含有$m$個樣本的數據集$D$，每次隨機的從中選擇一個樣本，放入新的數據集，然後將其放回初始數據集$D$，放回後有可能繼續被採集到，重複這個動作$m$次，我們就得到新的數據集$D’$。

用這種方式，我們可以採樣出TGE含m個訓練樣本的採樣集，然後基於每個採樣集訓練基學習器，再將基學習器進行結合，這便是Bagging的基本流程。

隨機森林
隨機森林是非常具有代表性的Bagging集成算法，它在Bagging基礎上進行了強化。
它的所有基學習器都是CART決策樹，傳統決策樹在選擇劃分屬性時是在當前結點的屬性集合（假定有d個屬性）中選擇最優屬性。但是隨機森林的決策樹，現在每個結點的屬性集合隨機選擇部分k個屬性的子集，然後在子集中選擇一個最優的特徵來做決策樹的左右子樹劃分,一般建議$k=log_2d$.分類決策樹組成的森林就叫做隨機森林分類器，回歸決策樹所集成的森林就叫做隨機森林回歸器。

RF的算法：

輸入為樣本集$D={(x_,y_1),(x_2,y_2), …(x_m,y_m)}$，弱分類器迭代次數T。

輸出為最終的強分類器$f(x)$

1）對於t=1,2…,T:
a)對訓練集進行第t次隨機採樣，共採集m次，得到包含m個樣本的採樣集Dt
b)用採樣集$D_t$訓練第t個決策樹模型$G_t(x)$，在訓練決策樹模型的節點的時候，在節點上所有的樣本特徵中選擇一部分樣本特徵，在這些隨機選擇的部分樣本特徵中選擇一個最優的特徵來做決策樹的左右子樹劃分

2)如果是分類算法預測，則T個弱學習器投出最多票數的類別或者類別之一為最終類別。如果是回歸算法，T個弱學習器得到的回歸結果進行算術平均得到的值為最終的模型輸出。

隨機森林參數解釋及設置建議

在scikit-learn中，RandomForest的分類類是RandomForestClassifier，回歸類是RandomForestRegressor，需要調參的參數包括兩部分，第一部分是Bagging框架的參數，第二部分是CART決策樹的參數。這裏我們看一下scikit-learn中隨機森林的主要參數

隨機森林模型調參實戰

這是一道kaggle上的題目,通過信用卡交易記錄數據對欺詐行為進行預測,信用卡欺詐檢測文件記錄了2013年9月歐洲信用卡持有者所發生的交易。在284807條交易記錄中共包含492條欺詐記錄。
數據集下載地址：請在公眾號後台回復[56]
需要說明的是，本文重點是RF模型調參，所以不涉及數據預處理、特徵工程和模型融合的內容，這些我會在本欄目未來的章節中再做介紹。
所以最終結果可能會不理想，這裏我們只關注通過調參給模型帶來的性能提升和加深對重要參數的理解即可。
1、導入用到的包

import numpy as np
import pandas as pd
from sklearn.model_selection import GridSearchCV,train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score

2、導入數據

df = pd.read_csv("D:\WKS\PyProject\Credit_Card\creditcard.csv")
data=df.iloc[:,1:31]

284807條交易記錄中只有492條欺詐記錄，樣本嚴重不平衡，這裏我們需要使用下採樣策略（減少多數類使其數量與少數類相同）

X = data.loc[:, data.columns != 'Class']
y = data.loc[:, data.columns == 'Class']

number_records_fraud = len(data[data.Class == 1]) # class=1的樣本函數
fraud_indices = np.array(data[data.Class == 1].index) # 樣本等於1的索引值

normal_indices = data[data.Class == 0].index # 樣本等於0的索引值

random_normal_indices = np.random.choice(normal_indices,number_records_fraud,replace = False)
random_normal_indices = np.array(random_normal_indices)

under_sample_indices = np.concatenate([fraud_indices,random_normal_indices]) # Appending the 2 indices

under_sample_data = data.iloc[under_sample_indices,:] # Under sample dataset

X_undersample = under_sample_data.loc[:,under_sample_data.columns != 'Class']
y_undersample = under_sample_data.loc[:,under_sample_data.columns == 'Class']

X_train, X_test, y_train, y_test = train_test_split(X_undersample,y_undersample,test_size = 0.3, random_state = 0)

先用默認參數訓練RF

rf0 = RandomForestClassifier(oob_score=True, random_state=666)
rf0.fit(X_train,y_train)
print(rf0.oob_score_)
y_predprob = rf0.predict_proba(X_test)[:,1]
print("AUC Score (Train): %f" % roc_auc_score(y_test, y_predprob))

0.9244186046511628
AUC Score (Train): 0.967082
除oob_score將默認的False改為True, 我們重點優化n_estimators、max_depth、min_samples_leaf 這三個參數。為簡單起見，模型評價指標，我們選擇AUC值。
模型調優我們採用網格搜索調優參數（grid search），通過構建參數候選集合，然後網格搜索會窮舉各種參數組合，根據設定評定的評分機制找到最好的那一組設置。
先優化n_estimators

param_test1 = {'n_estimators':range(10,101,10)}
gsearch1 = GridSearchCV(estimator = RandomForestClassifier(oob_score=True, random_state=666,n_jobs=2), 
                       param_grid = param_test1, scoring='roc_auc',cv=5)
gsearch1.fit(X_train,y_train)
gsearch1.cv_results_, gsearch1.best_params_, gsearch1.best_score_

{‘n_estimators’: 50},
0.9799524239675649)
在優化后的n_estimators基礎上，優化max_features

param_test2 = {'max_depth':range(2,12,2)}
gsearch2 = GridSearchCV(estimator = RandomForestClassifier(n_estimators= 50,oob_score=True, random_state=666,n_jobs=2),
   param_grid = param_test2, scoring='roc_auc',cv=5)
gsearch2.fit(X_train,y_train)
gsearch2.cv_results_, gsearch2.best_params_, gsearch2.best_score_

{‘max_depth’: 6},
0.9809897227343921)
在上述兩個參數優化結果的基礎上優化max_depth

param_test2 = {'min_samples_split':range(2,8,1)}
gsearch2 = GridSearchCV(estimator = RandomForestClassifier(n_estimators= 50,max_depth=6,
                                  oob_score=True, random_state=666,n_jobs=2),
   param_grid = param_test2, scoring='roc_auc',cv=5)
gsearch2.fit(X_train,y_train)
gsearch2.cv_results_, gsearch2.best_params_, gsearch2.best_score_

{‘min_samples_split’: 5},
0.9819618127837587)

最後我們綜合再次嘗試

rf1 = RandomForestClassifier(n_estimators= 50,max_depth=6,min_samples_split=5,oob_score=True, random_state=666,n_jobs=2)
rf1.fit(X_train,y_train)
print(rf1.oob_score_)
y_predprob1 = rf1.predict_proba(X_test)[:,1]
print("AUC Score (Train): %f" % roc_auc_score(y_test, y_predprob1))

0.9331395348837209
AUC Score (Train): 0.977811
最終結果比調參前有所提升

隨機森林優缺點總結

RF優點
1.不容易出現過擬合，因為選擇訓練樣本的時候就不是全部樣本。
2.可以既可以處理屬性為離散值的量，比如ID3算法來構造樹，也可以處理屬性為連續值的量，比如C4.5算法來構造樹。
3.對於高維數據集的處理能力令人興奮，它可以處理成千上萬的輸入變量，並確定最重要的變量，因此被認為是一個不錯的降維方法。此外，該模型能夠輸出變量的重要性程度，這是一個非常便利的功能。
4.分類不平衡的情況時，隨機森林能夠提供平衡數據集誤差的有效方法
RF缺點
1.隨機森林在解決回歸問題時並沒有像它在分類中表現的那麼好，這是因為它並不能給出一個連續型的輸出。當進行回歸時，隨機森林不能夠作出超越訓練集數據範圍的預測，這可能導致在對某些還有特定噪聲的數據進行建模時出現過度擬合。
2.對於許多統計建模者來說，隨機森林給人的感覺像是一個黑盒子——你幾乎無法控制模型內部的運行，只能在不同的參數和隨機種子之間進行嘗試。

參考：

https://www.jianshu.com/p/708dff71df3a
https://zhuanlan.zhihu.com/p/30461746
https://www.cnblogs.com/pinard/p/6156009.html

《百面機器學習》中有一道關於隨機森林的面試題，大家可以思考一下：
可否將隨機森林中的基分類器由決策樹替換為線性分類器或K-近鄰呢？

解答：隨機森林屬於Bagging類的集成學習，Bagging的主要好處是集成后的分類器的方差比基分類器方差小。Bagging採用的分類器最好是本身對樣本分佈比較敏感（即不穩定的分類器），這樣Bagging才有價值。線性分類器或K-近鄰都是比較穩定，本身方差就很小，所以以他們作為基分類器使用Bagging並不能獲得更好地表現，甚至可能因為Bagging的採樣導致訓練中更難收斂，從而增大集成分類器的偏差。

本文由博客一文多發平台發布！

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

江淮和大眾“密謀”新能源偉業？

2020-03-062020-03-06 admin

據相關資料顯示，今年新能源汽車市場持續旺銷。有知情人士表示，江淮汽車近期一直在跟大眾汽車“親密接觸”，雙方商談的重點專案則是新能源車。

下一輛上市新車是iEV6E 在純電動車領域，江淮汽車已開發了兩代產品平臺共七代產品，目前在售的純電動乘用車有iEV4和iEV5、iEV6S等三款車型。今年江淮有兩款純電動車型上市，SUV車型iEV6S在今年4月份北京車展推向市場，下一款新車將是小型電動汽車iEV6E。有消息稱，該車將在9月份上市，但江淮乘用車行銷公司新能源行銷部部長雷兵表示，目前還沒有確定該車的上市具體時間。
與大眾汽車親密接觸中 目前江淮汽車已經與蔚來汽車達成戰略合作協定，雙方將在電動汽車領域進行全面戰略合作，整體合作規模將達到100億元。而與大眾汽車的“緋聞”，江淮汽車始終沒有正式回應。雙方從去年廣州車展開始接觸，12月初大眾汽車集團總裁兼CEO海茲曼對媒體公開表示，雙方進行了“初步的瞭解”，而大眾全球高管也已經造訪了江淮汽車。據知情人士表示，江淮汽車近期跟大眾汽車接觸頻繁，雙方商談的重點專案則是新能源汽車，至於會不會像比亞迪、戴姆勒的合作那樣，成立一個新的合資公司，推出獨立的新能源汽車品牌，目前則無法預判。文章來源：南方都市報

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想要讓你的商品成為最夯、最多人討論的話題?網頁設計公司讓你強力曝光

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

泰國最大能源公司與六家車企簽訂協定進軍電動汽車領域

2020-03-062020-03-06 admin

據報導，泰國最大的能源公司“泰國國家石油公司”近日與六家主要汽車製造商簽訂協定，將聯合開發電動汽車項目，並配合該專案建成第一批電動車輛充電站。
雙方聯合發表的聲明稱，根據協定，國營的泰國國家石油公司將負責建造由20個充電站組成的網狀系統，汽車製造商承諾研發電動車輛，並提升電車在泰國市場上的知名度和可信度。據悉，這六家企業分別是寶馬集團、賓士汽車、三菱汽車、日產汽車、保時捷汽車和沃爾沃集團在泰國的分部。據悉，泰國國家石油公司自2012年起開始研發電動車輛技術，目前已經運行4個電動車輛充電站。到目前為止，影響電動車輛生產和銷售的一大因素是充電站數量的不足。為刺激這一產業的發展，泰國政府已向製造電動車輛部件的生產商發放稅收鼓勵，包括發動機和電池生產商。文章來源：環球網

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

南都電源出資3千萬增資孔輝汽車佈局新能源汽車產業鏈

2020-03-052020-03-05 admin

南都電源週一晚間發佈公告稱，為促進公司在新能源汽車領域的相關產業發展，公司擬使用自有資金以現金方式出資人民幣3,000.03萬元增資參股長春孔輝汽車科技股份有限公司,其中272.73萬元認繳孔輝汽車新增的註冊資本，2727.30萬元作為孔輝汽車的資本公積。增資完成後，公司將持有孔輝汽車17.07%的股權比例。
南都電源表示，孔輝汽車主營汽車電子控制系統研製與銷售、汽車整車及部件的試驗測試等業務。此次增資會增強公司在新能源汽車系統集成領域的能力，從而為公司向新能源汽車產業鏈的發展奠定相關的基礎。文章來源：全景網

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想要讓你的商品成為最夯、最多人討論的話題?網頁設計公司讓你強力曝光

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

中國：「十三五」期間將力推新能源汽車技術創新

2020-03-052020-03-05 admin

近日，以「安全保障、創新引領」為主題的中國電動汽車百人會夏季論壇召開。科技部副部長陰和俊透露，科技部在「十三五」期間將大力推進新能源汽車技術創新發展，目標是到2020年建立完善的電動汽車動力系統科技體系和產業鏈，為我國新能源汽車產業發展提供更有力的科技支撐。
作為低碳化、資訊化和智慧化的最佳平臺，新能源汽車正成為新一輪科技革命的重要載體。2016年1—6月，全中國新能源汽車累計產銷量均超過17萬輛，較2015年同期大幅提高。然而，在新能源汽車示範推廣應用過程中，暴露出充電基礎設施建設不足、車輛安全隱患增加等問題。陰和俊介紹，從2015年下半年起，科技部聯合財政部、工信部等組織實施「十三五」國家重點研發計畫新能源汽車試點專項，從基礎科學問題、共性核心關鍵、動力系統技術、集成開發與示範四個層次，重點對動力電池與電池的管理系統、電機驅動與電力電池總成、電動汽車智能化、燃料電池動力系統、插電增程式混合動力系統、純電動系統六個方向進行研發部署，以完善中國新能源汽車研發體系。文章來源：科技日報

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選

斑馬快跑獲多氟多集團1.5億融資佈局新能源綠色通行產業鏈

2020-03-052020-03-05 admin

據報導，主打新能源綠色通行領域的斑馬快跑已於近期完成新一輪融資，總金額達1.5億並已全部到賬，多氟多集團旗下博嘉創投獨家投資。資方多氟多集團是鋰電池材料方面的知名企業，將在資源上給予斑馬快跑更多支援。斑馬快跑CEO李佳表示斑馬快跑將繼續深耕新能源綠色通行領域，按照“新能源商用車+新能源乘用車+充電樁”的思路，進行新能源綠色通行全產業鏈佈局。
今年3月底，斑馬快跑互聯網+新能源綠色通行大巴項目從武漢啟動，切入了巴士出行的蛋糕。李佳說，斑馬巴士免費運營3個月以後，斑馬紋已經給當地社會帶來了品牌效應，並且上座率也實現了98%，新的盈利點破局。據悉，本月斑馬快跑即將上線第一批七座乘用車並將在年底鋪開。關於以後發展方向，斑馬快跑希望能做最大的新能源車輛運營商，打造車、樁、網的“斑馬雲”，做成武漢這座城市的互聯網名片。日前，定制物流車型“東風斑馬”已由工信部《道路機動車輛生產企業及產品公告》車輛新產品公示發佈，斑馬快跑迎來又一個里程碑，讓車輛從一出廠即將帶有斑馬紋。文章來源：CNEV-H

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

工信部：電動汽車電池管理系統標準正在編制修訂

2020-03-042020-03-04 admin

近日，參加電動汽車百人會論壇的中國汽車工業協會常務副會長董揚表示，電動車續航里程在400公里是一道檻。國內對動力電池，一直存在著磷酸鐵鋰電池和三元材料電池路線之爭，爭論的核心其實是，將續航里程還是安全性放在第一，或者兩者有沒有更好的結合點。目前對於如何選擇電動車技術路線存在多方爭論，但是還要看市場發展狀況和需求。
據工信部資料統計，自2009以來，中國新能源汽車安全事故共31例，其中2015年以來發生17起，在這17起事故中有4起是電池系統的事故、有6起是相關部件的事故、有2起是充電系統缺陷引起的，當然還有5起是違規改裝或者不當使用引起的。截至2015年底，事故率達到0.17‰，高出世界平均水準。工業和資訊化部裝備工業司司長李東表示：「國家已經組織制定了電動汽車遠端監控標準，並且電動客車安全條件即將發佈實施。電池管理系統技術條件、動力電池的編碼、規格尺寸等標準正在編制、修訂，並且也要儘快出臺。與此同時，正在組織修訂新能源汽車生產企業和產品准入規則，擬大幅度提高企業的研發能力和生產條件要求，提高性能和安全的要求。」文章來源：證券時報

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想要讓你的商品成為最夯、最多人討論的話題?網頁設計公司讓你強力曝光

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

1. 準備環境

2. 新建項目

3. 第一篇博文

4. 修改配置文件

5. 本地構建和訪問

6. markdown解析異常

6.1. Markdown包的實現機制

6.2. pelican默認使用的Markdown擴展

6.3. 向第三方擴展尋求幫助

6.4. 解決問題

7. One more thing

1、Flume簡介

2、Flume角色

2.1 Source

2.2 Channel

2.3 Sink

2.4 Event

3、Flume傳輸過程

4、Flume安裝與部署

4.1 上傳包

4.2 解壓包

4.3 配置參數

4.4 配置環境變量

4.5 驗證flume成功與否

4.6 配置其他兩台機器

5、Flume案例

5.1 監控端口數據

5.1.1 安裝telnet命令

5.1.2 創建Agent配置文件

5.1.3 啟動flume配置文件

5.1.4 發送測試數據

5.2 實時讀取本地文件到HDFS

5.2.1 創建Agent配置文件

5.2.2 啟動flume配置文件

5.2.3 發送文件內容

5.3 實時讀取目錄文件到HDFS

5.3.1 創建Agent配置文件

5.3.2 啟動flume配置文件

5.3.3 上傳文件到upload目錄

5.4 扇出例子01

5.4.1 創建Agent配置文件

5.4.2 啟動flume配置文件

5.4.3 向文件添加內容

5.5 扇出例子02

5.5.1 創建flume1配置文件

5.5.2 創建flume2配置文件

5.5.3 創建flume3配置文件

5.5.4 啟動三台機器配置文件

5.6 扇入例子

5.6.1 創建flume1配置文件

5.6.2 創建flume2配置文件

5.6.3 創建flume3配置文件

5.6.4 啟動三個flume配置文件

5.6.5 操作端口與文件

5.6.6 显示運行結果

集成學習、Bagging和隨機森林

隨機森林參數解釋及設置建議

隨機森林模型調參實戰

隨機森林優缺點總結

6. `markdown`解析異常

6.1. `Markdown`包的實現機制

6.2. `pelican`默認使用的`Markdown`擴展