ハッカソン
ハッカソンの評価制度について - 絶対評価・相対評価とは？どうやって採点するのか
CraftStadiumの評価方式について
CraftStadiumで開催されているレイド（ハッカソン）に参加するか迷っている方もいるかもしれません。
CraftStadiumで採用している評価方式は相対評価方式と絶対評価方式です。それらを審査員とプレイヤーや観客といった誰が評価するかによってその評価方式を分けています。
この記事では、審査や評価といったところはブラックボックスになりがちですので、透明性を担保するためにもデモデイでプロダクトをどう評価するのかを説明します。
1. 相対評価方式
1.1. 概要
- 参加者が、各チームのアプリケーションを相対的に比較し、順位をつける評価方式です。
- 「実際に使ってみたい度」の観点で、1位から3位までの順位をつけます。（全ての順位をつける方式でも良いですが、CraftStadiumではより評価が簡単になるように3位までとしています。）
1.2. 手順
- 各参加者は、「実際に使ってみたい度」が高い順に、チームに1位から3位までのランキングをつけます。
- 各チームの順位を点数化します（1位: 3点、2位: 2点、3位: 1点）。
- 全参加者の点数を合計し、チームごとの得点を算出します。
- 得点の最高点を100点満点に換算し、他のチームの得点も比例配分します
1.3. 具体例
例えば、5つのチームが参加し、3人の参加者が以下のようにランキングをつけたとします。
チーム
参加者A
参加者B
参加者C
チーム1
1位
2位
1位
チーム2
3位
1位
2位
チーム3
2位
3位
-
チーム4
-
-
3位
チーム5
-
-
-
この場合、各チームの得点は以下のようになります。
チーム
合計点
換算点
チーム1
8
100
チーム2
7
87.5
チーム3
3
37.5
チーム4
1
12.5
チーム5
0
0
1.4. メリット
- 参加者にとって直感的で評価しやすい方式です。
- チーム間の優劣がつけやすくなります。
- アプリケーションの実用性と革新性の両面を評価できます。
1.5. デメリット
- 参加者数が少ない場合、順位のつけ方が難しくなる可能性があります。
- 点数化の際、順位の差が得点に大きく影響します。
2. 絶対評価方式
2.1. 概要
- 参加者が、各チームのアプリケーションを独立して評価し、基準に沿って点数をつける評価方式です。
- 実際に使ってみたい度とイノベーティブ度の2つの観点で点数をつけます。
2.2. 手順
- 実際に使ってみたい度を3点満点、イノベーティブ度を2点満点で評価します。
- 各参加者が全チームに対して点数をつけます。
- チームごとに全参加者の点数を合計し、平均点を算出します。
- 満点が5点なので、これを100点満点に換算します（平均点 × 20）。
2.3. 具体例
例えば、5つのチームが参加し、3人の参加者が以下のように点数をつけたとします。
チーム
参加者A
参加者B
参加者C
チーム1
5
4
5
チーム2
4
5
4
チーム3
3
3
2
チーム4
2
1
3
チーム5
1
2
1
この場合、各チームの得点は以下のようになります。
チーム
合計点
平均点
換算点
チーム1
14
4.67
93.4
チーム2
13
4.33
86.6
チーム3
8
2.67
53.4
チーム4
6
2.00
40.0
チーム5
4
1.33
26.6
2.4. メリット
- 各チームを独立して評価できます。
- 点数基準が明確なので、参加者が評価しやすくなります。
- チーム間の得点差が明確になります。
2.5. デメリット
- 参加者によって点数のつけ方にばらつきが出る可能性があります。
- 点数基準の設定が難しい場合があります。
まとめ
絶対評価・相対評価の実施の仕方と具体的な点数の付け方、メリットデメリットを説明しました。
CraftStadiumでは、これらの評価方式を採用することで、公平で透明性の高い評価を目指しています。プレイヤーの皆さんの出場をお待ちしております！
Shin Yamamoto